Kafka topic을 조작하는 Shell Script인 Kafka-topics.sh, Kafka-configs.sh 등의 명령어를 정리해보겠습니다 !당장 학습하며 자주 사용하는 명령어 위주로 작성할 예정이지만 Kafka를 계속 공부하면서 지속적으로 업데이트할 예정입니다 ! Kafka-topics.sh 명령어topic 생성하기(기본 옵션)bin/kafka-topics.sh --create --bootstrap-server my-kafka:9092 --topic hello.kafkahello.kafka는 생성하고 싶은 topic 이름my-kafka는 Kafka브로커의 호스트이름 또는 도메인 이름topic 생성하기(옵션 추가)bin/kafka-topics.sh --create --bootstrap-serv..

Kafka의 내부 구조기존에 1:1 매칭으로 개발하고 운영하던 데이터 파이프라인은 커플링으로 인해 한쪽의 이슈가 다른 한쪽의 애플리케이션에 영향을 미치곤 했지만, 카프카는 이러한 의존도를 타파하였습니다.이제 소스 애플리케이션에서 생성되는 데이터는 어느 타깃 애플리케이션으로 보낼 것인지 고민하지 않고 이단 Kafka로 넣으면 됩니다. Kafka 내부에 데이터가 저장되는 파티션의 동장은 FIFO방식으로 큐 자료구조와 유사합니다.큐에 데이터를 보내는 것이 프로듀서이고 큐에서 데이터를 가져가는 것이 컨슈머입니다.  Kafka가 데이터 파이프라인으로 적합한 이유높은 처리량동일한 양의 데이터를 보낼 때 네트워크 통신 횟수를 최소한으로 줄인다면 동일 시간 내에 더 많은 데이터를 전송할 수 있습니다. 많은 양의 데이터..

회사 업무도 많고, 혼자 만들고 있는 서비스도 있고 이런 저런 공부도 하고 바쁘다 바빠 현대사회~~~~~그래도 꾸준하게 공부하기 위해 개념만 알고 서비스에 간단하게 적용만 해보았던 Kafka를 유료 강의와 함께 깊게 공부해 보려고합니다 !! 🦾 Kafka 설치하기설치 환경 : Mac OS M1카프카 버전 : 3.1.0 카프카를 설치하기 전 Java JDK를 먼저 설치해주세요 ! 3.1.0에 맞는 JDK 버전은 11이라고 합니다. 먼저 아래의 경로를 통해 .tgz 파일을 다운 받아줍니다 !  Apache KafkaApache Kafka: A Distributed Streaming Platform.kafka.apache.org 저는 강의에 맞춰 아래 파일을 다운 받았습니다 ! 다운 받은 파일의 압축을 해제..

개발 하면서 종종 사용하는 Linux 명령어 모음집 ! 계속계속 업데이트할 예정입니다~~Linux 명령어포트 죽이기kill -9 PID번호 실행 중인 포트 조회하기// 전체 포트 조회sudo netstat -nlpt// 특정 포트 조회sudo netstat -nlpt | grep 포트번호// 백그라운드에서 실행 중인 포트 조회sudo netstat -tuln DNS 정보 조회하기nslookup 도메인이름 ufw 방화벽 목록 확인하기sudo ufw status verbose ufw 방화벽에 포트 추가하기sudo ufw allow 포트번호 파일 권한 확인하기ls -al파일, 폴더에 권한 부여하기// 777은 모든 권한sudo chmod 777 파일이름 파일 내용 보기// 파일 내용 출력하기cat 파일명// ..

설치환경- Linux : Ubuntu 22.04- Eleasticsearch, logstash : 7.17.21 미리 준비하기① 도메인 : 서버 IP를 DNS 정보로 등록하기② SSL인증서 : 위 도메인 정보가 포함되어있는 인증서 발급하기 도메인의 경우는 유로로 구매할 수도 있고 무료로 사용할 수도 있습니다 ! 저는 아래 포스팅과 같은 방법으로 진행하였으니 무료로 사용하실 분들은 참고해서 진행하셔도됩니다 ! [Linux] nginx에 certbot으로 SSL(https) 보안 인증서 적용하기프로젝트를 배포하고 SSL 설정은 급한게 아니라 천천히 하려고 했지만 배포한 http에서 cookie에 저장이 안되는 이슈가 생겼다....이유는 https 적용할 경우 해결된다고 해서 부랴부랴 cerbot으로 SSL ..

설치환경- Linux : Ubuntu 22.04- Eleasticsearch, logstash : 7.17.21Docker를 이용한 설치가 아닌 Ubuntu 자체에 설징하는 방법입니다 ! Java 설치하기OpenJDK를 설치한 후 진행하야됩니다 ! 아래있는 게시글을 통해 어렵지 않게 설치할 수 있습니다 ! [Java, Linux] Linux에 Java 17 설치하기설치환경- Linux : Ubuntu 22.04- JDK : openjdk-amd64 v17 설치하기① Ubuntu로 접속한 뒤 sudo 권한으로 apt를 업데이트한 이후 openjdk를 설치합니다.$ sudo apt update$ sudo apt install openjdk-17-jdk ② 설치한 자바 버전chanhan.tistory.com..

Elasticsearch 실행 상태 확인하기아래 명령어를 통해 Elasticsearch가 정상적으로 작동하고 있는지 확인하실 수 있습니다 !curl localhost:9200 만약 curl: (7) Faild connect to localhost:9200; Connection refused 와 같은 에러가 발생했을 경우 elasticsearch.yml 파일의 network 설정을 확인해보시길 바랍니다 ! elasticsearch.yml 설정 정보Elasticsearch의 실행 환경에 대한 설정은 elasticsearch.yml에서 관리합니다.yml의 주요 설정은 아래와 같습니다. cluster.name : "클러스터명"클러스터명을 설정할 수 있습니다.노드들은 클러스터명이 같으면 클러스터로 묶입니다.클러스..

Mac OS X는 UNIX기반의 운영체제로 OpenSSH SSH Client와 SSH Server를 기본적으로 포함하고있습니다 !Mac에서 사용할 수 있는 다양한 SSH 클라이언트 프로그램이 있지만, Mac에 설치되어있는 기본 터미널로도 원격지에 있는 서버에 SSH연결할 수 있습니다 ! 터미널로 SSH 연결하기어렵지 않게 아래의 명령어를 통해 원격지 서버에 SSH 연결을 할 수 있습니다.ssh [원결지서버 ID]＠[원격지서버 HostName] -p [포트번호] 예) ssh root@10.10.10.12 -p 2233  서버의 포트번호가 ssh의 기본 포트번호 22번이라면 -p 옵션을 생략해줄 수 있습니다 !ssh [원결지서버 ID]＠[원격지서버 HostName] 예) ssh root@10.10.10.12