Kafka 설치하기Kafka 다운로드 받기카프카를 실행하기 위해서는 아래에 위치한 Apache Kafka 공식 사이트를 통해 다운로드 받을 수 있습니다 ! Apache KafkaApache Kafka: A Distributed Streaming Platform.kafka.apache.org다운로드 받은 이후 filzila를 통해 서버 안으로 해당 파일을 넣어주시면 됩니다. 정상적으로 파일이 서버 안으로 이동했을 경우 아래의 명령어를 통해 압축 해제 후 폴더로 이동해주세요 !tar -xzf kafka_2.13-3.1.0.tgzcd kafka_2.13-3.1.0 Kafka 상세 설정하기config 폴더 안에 위치한 server.properties 파일을 열어 Kafka 설정을 변경해줘야합니다 ! (서버 정보..

설치환경- Linux : Ubuntu 22.04 설치하기① Ubuntu로 접속한 뒤 sudo 권한으로 apt를 업데이트 해줍니다.$ sudo apt update② Mysql-server 설치하기$ sudo apt-get install mysql-server설치 중간 중간 Password를 물어보는데 빈칸으로 두고 OK를 누르면 Ubuntu 서버 비밀번호와 자동으로 동기화됩니다. ③ MySQL 기본 설정외부 접속 기능 설정(3305 port 오픈)$ sudo ufw allow mysqlMySQL 실행$ sudo systemctl start mysqlUbuntu 서버 재시작 시 MySQL 자동 재시작$ sudo systemctl enable mysql④ MySQL 접속$ sudo mysql -u root -..

설치환경- Linux : Ubuntu 22.04- JDK : openjdk-amd64 v17 설치하기① Ubuntu로 접속한 뒤 sudo 권한으로 apt를 업데이트한 이후 openjdk를 설치합니다.$ sudo apt update$ sudo apt install openjdk-17-jdk② 설치한 자바 버전을 확인합니다.$ java -version ③ 설치된 java 경로를 확인합니다.- default : /usr/lib/jvm/java-[버전]-openjdk-amd64/bin/java ④ environment 파일에서 JAVA_HOME 환경변수를 설정합니다.$ sudo vi /etc/entironment ⑤ source 명령어를 실행하고, 변경 값이 적용되었는지 확인합니다.$ source /etc/en..

logstash를 통해 mysql에 있는 데이터를 elasticsearch로 불러오는 방법은 여기에서 보실 수 있습니다 !다중 테이블 가져오기이전 포스팅에서 logstash.conf 파일 input에 JDBC를 통해 Mysql에서 데이터를 가져올 수 있도록 코드를 작성해봤는데요.쿼리를 통해 조회된 데이터를 output에 등록해 놓은 index로 데이터를 전달해줄 수 있도록 하였습니다.그런데 ! 과연 쿼리를 1개만 작성할 수 있는지 궁금해서 multi pipeline 관련된 내용을 찾아봤습니다.conf 파일을 따로 생성하여 알맞은 port에 접속했을 때 특정 conf 파일이 실행되는 형태였습니다.하지만 저는 그냥 단순히 쿼리를 하나 더 써서 다른 index에 값을 가져오고 싶던 찰나 아래와 같은 방법을 찾..

시스템환경OS version : MacOS sonomalogstash version : 7.17.3mysql version: 8.2.0logstash 설치하기저는 local 환경에서 진행한 점 참고 부탁드리며, elasticsearch와 kibana가 설치가 안되어있다면 여기서 게시글을 보고 먼저 다운 받아주세요 !먼저 logstash를 설치하기 위해 아래 사이트를 통해 알맞은 버전으로 다운로드 받아줍니다.이후 tar.gz파일의 압축을 풀어줍니다. Download Logstash Free | Get Started NowDownload Logstash or the complete Elastic Stack (formerly ELK stack) for free and start collecting, searc..

Elasticsearch 설치하기brew를 통해 설치하는 방법과 설치파일을 통해 설치하는 방법이 있는데 설치파일을 통해 설치하는 방법을 알아보겠습니다 !Elasticsearch를 사용하기 위해서는 자바 1.8 이상의 버전이 설치되어있어야되며, 각 버전 별로 필용한 자바 버전은 여기를 클릭하여 확인 가능합니다 !  Download ElasticsearchDownload Elasticsearch or the complete Elastic Stack (formerly ELK stack) for free and start searching and analyzing in minutes with Elastic....www.elastic.co 위 사이트를 통해 elasticsearch 다운로드 후 tar.gz 파일을..

Elasticsearch란 ?Elasticsearch는 Apache Lucene(아파치 루씬) 기반의 Java 오픈소스 분산 검색 엔진입니다.Elasticsearch를 통해 루씬 라이브러리를 단독으로 사용할 수 있게 되었으며, 방대한 양의 데이터를 신속하게, 거의 실시간(NRT, Near Real Time)으로 저장, 검색, 분석할 수 있습니다. Elasticsearch는 검색을 위해 단독으로 사용되기도 하며, ELK(Elasticsearch, Logstatsh, Kibana)스택으로 사용되기도 합니다.ELK 스택이란 다음과 같습니다 ! Logstash다양한 소스(DB, csv파일 등)의 로그 또는 트랜잭션 데이터를 수집, 집계, 파싱하여 Elasticsearch로 전달합니다.ElasticsearchLo..

이전 포스팅을 통해 Redis를 설치하신 뒤 Redis를 효율적으로 활용하기 위해 Redis의 자료구조에 대해 알아보려고합니다 :) Redis의 자료구조 종류Redis는 아래의 자료구조를 공식적으로 지원하고 있습니다 ! StringsVinary-safe한 기본적인 key-value의 구조ListsString element의 모음, 순서는 삽입된 순서를 유지하며 기본적인 자료구조로 Linked List를 사용합니다.Sets유일한 값들의 모임인 자료구조, 순서는 유지되지 않습니다.Hashes내부에 key-value 구조를 하나 더 가지는 Redis 자료구조Bit arrays(bitMaps)bit array를 다룰 수 있는 자료구조HyperLogLogsHyperLogLog는 집합의 원소의 개수를 추정하는 방법..