[Kafka, 카프카] 카프카 설치 및 실행하기

회사 업무도 많고, 혼자 만들고 있는 서비스도 있고 이런 저런 공부도 하고 바쁘다 바빠 현대사회~~~~~

그래도 꾸준하게 공부하기 위해 개념만 알고 서비스에 간단하게 적용만 해보았던 Kafka를 유료 강의와 함께 깊게 공부해 보려고합니다 !!

 

🦾 Kafka 설치하기

설치 환경 : Mac OS M1

카프카 버전 : 3.1.0

 

카프카를 설치하기 전 Java JDK를 먼저 설치해주세요 ! 3.1.0에 맞는 JDK 버전은 11이라고 합니다.

 

먼저 아래의 경로를 통해 .tgz 파일을 다운 받아줍니다 !

 

Apache Kafka

 

저는 강의에 맞춰 아래 파일을 다운 받았습니다 !

 

다운 받은 파일의 압축을 해제한 후 download 파일에서 'command + ↑'를 눌러 최상단에 압축 해제한 폴더를 옮겨 놓습니다.

 

환경변수 설정

압축 해제한 폴더명은 kafka_2.13-3.1.0 이고 해당 폴더에 bin 폴더로 이동하면 .sh 파일이 무수히 많습니다 !

저희는 .sh 파일을 사용할 일이 많아 쉽게 접근할 수 있도록 환경변수를 먼저 설정해 주도록 하겠습니다.

kafka 폴더를 옮겨 놓은 최상단 디렉토리에서 vim 또는 nano를 통해 .zshrc 파일을 열어줍니다.

vim .zshrc

 

파일 내부에 아래와 같이 작성한 뒤 echo $PATH 명령어로 잘 설정됬는지까지 확인하면 끝 !

 

kafka 실행하기

환경 변수가 정상적으로 설정되었다면 .sh 파일을 통해 Kafka를 실행해주겠습니다 !

kafka-topics.sh
// 환경 변수가 설정되지 않았다면
kafka_2.13-3.1.0/bin/kafka-topics.sh

 

3.1.0 버전은 kafka만 실행하면 되는 것이 아닌.....zookeeper를 꼭 실행시켜줘야한다는거 !

.sh 파일을 통해 zookeeper.properties 파일을 읽어 실행 시킨다는 의미이고 당장 기본 설정에서 변경해야할 사항은 없으니 기본 셋팅으로 진행하시면 됩니다 !

zookeeper-server-start.sh ~/kafka_2.13-3.1.0/config/zookeeper.properties

🚨에러 발생 🚨

확인해보니 이전 혼자 공부할 때 백그라운드에 실행해 놓은 zookeeper의 포트가 실행되고 있어서 발생한 에러였습니다.

포트 죽이고 다시 실행하니 정상적으로 작동되었습니다 !!

 

🏠 brew로 설치하기

위에서 설명한 방법이 아닌 Mac OS에서는 brew를 통해 간단하게 설치할 수 있습니다.(Homebrew는 패키지를 Mac에 설치해주는 입니다.)

방법을 알아보겠습니다 !

 

먼저 Homebrew를 설치해줍니다 !

Homebrew

 

아래 명령어를 통해 Kafka를 설치해줍니다.

brew install kafka

위 스크립트를 통해 설치할 경우 kafka-topics.sh 로 실행하는 것이 아닌 kafka-topics 스크립트로 실행할 수 있습니다.