IT 꿈나무의 일상

## 카프카 설정 시작 ## 9. 카프카 로그 폴더 생성 [kafka@localhost app]$ mkdir -p /home/kafka/app/logs/kafka1 [kafka@localhost app]$ mkdir -p /home/kafka/app/logs/kafka2 [kafka@localhost app]$ mkdir -p /home/kafka/app/logs/kafka3 10. $KAFKA_HOME/config 에서 3개의 server.properties 생성 >> 카프카 환경변수 이미 설정되어 있어야함 (export KAFKA_HOME=/home/kafka/app/kafka) [kafka@localhost ~]$ cd app/kafka/config/ [kafka@localhost config]$ ..

## 카프카를 설치하기 위해서는 Zookeeper를 설치해야 합니다. ## 해당 글은 서버 한대에 zookeeper와 kafka를 모두 실행합니다. 1. 카프카 유저생성 하기 [root@localhost home]# useradd kafka [root@localhost home]# passwd kafka [root@localhost home]# chmod -R 777 /home/kafka​ 2. 카프카 설치 # app과 data 디렉토리 생성 [kafka@localhost ~]$ mkdir app [kafka@localhost ~]$ mkdir data [kafka@localhost ~]$ ls app data # 카프카 2.12-2.8.0 버전 다운로드 [kafka@localhost ~]$ cd app..

# 하둡을 설치 하였으니 이번 글은 하둡명령어를 통해 하둡 사용을 해보겠습니다. 1. 파일 목록 조회 : hadoop fs -ls /user/ ls 명령어를 통해 하둡 디렉토리에 존재하는 파일을 확인 할 수 있습니다. [Hadoop@viera ~]$ hdfs dfs -ls / 21/07/02 18:28:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Found 5 items drwxrwxr-x - Hadoop supergroup 0 2021-05-26 16:10 /viera drwxrwxr-x - root superg..

0. 하둡 환경변수 설정 vim .bash_profile 에 다음과 같은 환경변수 설정 export HADOOP_HOME=/usr/local/hadoop export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native" export HADOOP_PID_DIR=${HADOOP_HOME}/pids ..

Hadoop 설치 (완전분산모드) 다음은 하둡 완전분산모드 설치하는 방법입니다. # 환경구성 - 하둡을 설치하기 전에 모든 서버는 JDK설치, hadoop실행계정 생성, ssh 인증같은 기본적인 환경설정이 완료되어 있어야합니다. ## 설치순서 0. 자바설치 (두개의 서버 계정에) 1. hadoop 계정 생성 2. 통신 라이브러리 설치 (ssh, rsync) 3. hadoop 바이너리 설치 4. 하둡설정변경 5. protocol buffer 설치 6. fully-distributed configuration 환경 구성 0. 자바설치 바이너리 받아서 서버에 각각 설치 1. hadoop 계정 생성 각 서버에 동일한 이름으로 hadoop 설치 할 계정을 생성한다. (계정 이름은 동일한 편이 다루기 쉽다.) [M..