[Linux] Ubuntu에 Kafka 설치하기 및 실행하기

Kafka 설치하기

Kafka 다운로드 받기

카프카를 실행하기 위해서는 아래에 위치한 Apache Kafka 공식 사이트를 통해 다운로드 받을 수 있습니다 !

Apache Kafka

다운로드 받은 이후 filzila를 통해 서버 안으로 해당 파일을 넣어주시면 됩니다.

 

정상적으로 파일이 서버 안으로 이동했을 경우 아래의 명령어를 통해 압축 해제 후 폴더로 이동해주세요 !

tar -xzf kafka_2.13-3.1.0.tgz
cd kafka_2.13-3.1.0

 

Kafka 상세 설정하기

config 폴더 안에 위치한 server.properties 파일을 열어 Kafka 설정을 변경해줘야합니다 ! (서버 정보 변경 필요할 경우)

서버 또는 클라우드를 통해 Kafka를 실행 시킬 경우 아래 위치한 옵션의 주석을 해재하시고 해당 서버의 정보를 기재해주시면 됩니다.

$ vi config/server.properties

listeners = PLAINTEXT://your.host.name:9092

advertised.listeners=PLAINTEXT://your.host.name:9092

하지만 실행해본 결과 listeners 옵션의 주석을 해제하였을 경우 에러가 발생하였습니다......

그래서 저는 listeners를 다시 주석하였습니다. 이유에 대해서는 조금 더 찾아봐야할 것 같습니다ㅠ_ㅠ

 

Zookeeper와 Kafka 실행하기

Kafka Broker를 띄우기 전에 먼저 아래 명령어를 통해 Zookeeper를 실행해줘야 합니다.

Zookeeper란 카프카 클러스터의 메타데이터(브로커, 컨트롤러 ID 등)을 저장하는 서버로 현재는 Broker를 실행하려면 필수로 싱행되고 있어야하는 서비스입니다 :)

$ bin/zookeeper-server-start.sh config/zookeeper.properties

// 백그라운드에서 실행하기
$ bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

 

error가 발생하지 않고 zookeeper가 정상적으로 실행되었을 경우 Kafka 서버를 실행해줍니다 !

bin/kafka-server-start.sh config/server.properties

// 백그라운드에서 실행하기
bin/kafka-server-start.sh -daemon config/server.properties

 

* zookeeper와 kafka의 상태 확인하기
// 2181은 zookeeper의 실행 포트번호, 9092는 Kafka의 실행 포트번호
$ netstat -ntlp | grep 2181
$ netstat -ntlp | grep 9092

 

Topic 관리

zookeeper와 Kafka가 정상적으로 실행되고 있는 상태라면 아래 명령어를 통해 Topic 생성은 당연히 문제 없이 진행될 것입니다 !

// Topic 생성
$ sh bin/kafka-topics.sh --create -topic TOPICNAME --bootstrap-server yourport:9092
// Topic 목록 확인
$ sh bin/kafka-topics.sh --list --bootstrap-server yourport:9092