SpringBoot集成Kafka

本篇主要講解SpringBoot 如何集成Kafka ，并且簡單的 編寫了一個Demo 來測試 發送和消費功能

前言

選擇的版本如下：

springboot ： 2.3.4.RELEASE

spring-kafka ： 2.5.6.RELEASE

kafka : 2.5.1

zookeeper : 3.4.14

本Demo 使用的是 SpringBoot 比較高的版本 SpringBoot 2.3.4.RELEASE 它會引入 spring-kafka 2.5.6 RELEASE ，對應了版本關系中的Spring Boot 2.3 users should use 2.5.x (Boot dependency management will use the correct version).

spring和 kafka 的版本 關系

https://spring.io/projects/sp...

1.搭建Kafka 和 Zookeeper 環境

搭建kafka 和 zookeeper 環境 并且啟動 它們

2.創建Demo 項目引入spring-kafka2.1 pom 文件

<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId></dependency><dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId></dependency><dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId></dependency>2.2 配置application.yml

spring: kafka: bootstrap-servers: 192.168.25.6:9092 #bootstrap-servers：連接kafka的地址，多個地址用逗號分隔 consumer: group-id: myGroup enable-auto-commit: true auto-commit-interval: 100ms properties: session.timeout.ms: 15000 key-deserializer: org.apache.kafka.common.serialization.StringDeserializer value-deserializer: org.apache.kafka.common.serialization.StringDeserializer auto-offset-reset: earliest producer: retries: 0 #若設置大于0的值，客戶端會將發送失敗的記錄重新發送 batch-size: 16384 #當將多個記錄被發送到同一個分區時， Producer 將嘗試將記錄組合到更少的請求中。這有助于提升客戶端和服務器端的性能。這個配置控制一個批次的默認大小（以字節為單位）。16384是缺省的配置 buffer-memory: 33554432 #Producer 用來緩沖等待被發送到服務器的記錄的總字節數，33554432是缺省配置 key-serializer: org.apache.kafka.common.serialization.StringSerializer #關鍵字的序列化類 value-serializer: org.apache.kafka.common.serialization.StringSerializer #值的序列化類2.3 定義消息體Message

/** * @author johnny * @create 2020-09-23 上午9:21 **/@Datapublic class Message { private Long id; private String msg; private Date sendTime;}2.4 定義KafkaSender

主要利用 KafkaTemplate 來發送消息 ，將消息封裝成Message 并且進行 轉化成Json串 發送到Kafka中

@Component@Slf4jpublic class KafkaSender { private final KafkaTemplate<String, String> kafkaTemplate; //構造器方式注入 kafkaTemplate public KafkaSender(KafkaTemplate<String, String> kafkaTemplate) { this.kafkaTemplate = kafkaTemplate; } private Gson gson = new GsonBuilder().create(); public void send(String msg) { Message message = new Message(); message.setId(System.currentTimeMillis()); message.setMsg(msg); message.setSendTime(new Date()); log.info('【++++++++++++++++++ message ：{}】', gson.toJson(message)); //對 topic = hello2 的發送消息 kafkaTemplate.send('hello2',gson.toJson(message)); }}2.5 定義KafkaConsumer

在監聽的方法上通過注解配置一個監聽器即可，另外就是指定需要監聽的topickafka的消息再接收端會被封裝成ConsumerRecord對象返回，它內部的value屬性就是實際的消息。

@Component@Slf4jpublic class KafkaConsumer { @KafkaListener(topics = {'hello2'}) public void listen(ConsumerRecord<?, ?> record) { Optional.ofNullable(record.value()).ifPresent(message -> { log.info('【+++++++++++++++++ record = {} 】', record); log.info('【+++++++++++++++++ message = {}】', message);}); }}3.測試 效果

提供一個 Http接口調用 KafkaSender 去發送消息

3.1 提供Http 測試接口

@RestController@Slf4jpublic class TestController { @Autowired private KafkaSender kafkaSender; @GetMapping('sendMessage/{msg}') public void sendMessage(@PathVariable('msg') String msg){ kafkaSender.send(msg); }}3.2 啟動項目

監聽8080 端口

KafkaMessageListenerContainer中有 consumer group = myGroup 有一個 監聽 hello2-0 topic 的 消費者

3.3 調用Http接口

http://localhost:8080/sendMessage/KafkaTestMsg

至此 SpringBoot集成Kafka 結束 。。

以上就是SpringBoot集成Kafka的步驟的詳細內容，更多關于SpringBoot集成Kafka的資料請關注好吧啦網其它相關文章！