Kafka

Kafka 설치

wget https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz

tar -xvf Kafka_2.13-2.7.0.tgz

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

bin/kafka-server-start.sh -daemon config/server.properties

bin/kafka-topics.sh --create --bootstrap-server 3.34.171.104:9092 --replication-factor 1 --partitions 3 --topic test

`bin/kafka-console-producer.sh –bootstrap-server 3.34.171.104:9092 –topic test

bin/kafka-console-consumer.sh --bootstrap-server 3.34.171.104:9092 --topic test --from-beginning

Producer

• 프로듀서는 Kafka의 토픽으로 메세지를 보내는 역할이다
• 각각의 메세지를 토픽 파티션에 매핑하여 파티션의 리더에 요청을 보낸다.
• 키 값을 정해 해당 키를 가진 모든 메세지를 동일한 파티션으로 전송한다.
• 키 값을 입력하지 않으면, 파티션은 라운드 로빈 방식으로 파티션에 균등하게 분배된다.

AWS IoT Core 규칙에 Kafka 트리거하기

• VPC입력

• Kafka 주제입력
• 키 입력
• 파티션 구분
• 클라이어트 속성
  • Bootstrap.server 입력
  • SSL 구성 : 진행 중

유사서비스

• 구글의 펍/섭 pub/sub
• AWS의 키네시스 kinesis