首页 > Java > java教程 > 正文

处理 Kafka 批量监听器反序列化错误的重试机制

聖光之護
发布: 2025-09-01 18:05:02
原创
202人浏览过

处理 kafka 批量监听器反序列化错误的重试机制

本文将介绍如何在 Kafka 批量监听器中配置和实现反序列化错误的重试机制。如摘要所述,默认情况下,DeserializationException 被认为是致命错误,不会进行重试。但是,通过适当的配置和代码实现,我们可以改变这种行为,使 Kafka 能够在遇到反序列化错误时自动重试,从而提高系统的健壮性。

移除默认的致命异常

Spring Kafka 提供了 DefaultErrorHandler 类来处理 Kafka 监听器中的异常。默认情况下,DeserializationException 被包含在不会重试的异常列表中。要启用反序列化错误的重试,首先需要从这个列表中移除 DeserializationException。

@org.springframework.context.annotation.Configuration
@EnableKafka
public class Configuration {
    @Bean("myContainerFactory")
     public ConcurrentKafkaListenerContainerFactory<String, String> createFactory(
             KafkaProperties properties
    ) {
        var factory = new ConcurrentKafkaListenerContainerFactory<String, String>();
        factory.setConsumerFactory(
                new DefaultKafkaConsumerFactory(
                        properties.buildConsumerProperties(),
                        new StringDeserializer(),
                        new ErrorHandlingDeserializer(new MyDeserializer())
                )
        );
        factory.getContainerProperties().setAckMode(
                ContainerProperties.AckMode.MANUAL_IMMEDIATE
        );
        DefaultErrorHandler errorHandler = new DefaultErrorHandler();
        errorHandler.removeClassification(DeserializationException.class);
        factory.setCommonErrorHandler(errorHandler);
        return factory;
    }

    // this fakes occasional errors which succeed after a retry
    static class MyDeserializer implements Deserializer<String> {
        int retries = 0;
        @Override
        public String deserialize(String topic, byte[] bytes) {
            String s = new String(bytes);
            if (s.contains("7") && retries == 0) {
                retries = 1;
                throw new RuntimeException();
            }
            retries = 0;
            return s;
        }
    }
}
登录后复制

在上面的代码中,我们创建了一个 DefaultErrorHandler 实例,并使用 removeClassification(DeserializationException.class) 方法从不会重试的异常列表中移除了 DeserializationException。然后,我们将这个配置好的 errorHandler 设置到 ConcurrentKafkaListenerContainerFactory 中。

批量监听器中的异常处理

对于批量监听器,当发生反序列化错误时,需要获取到具体的异常信息,并将其重新抛出,才能触发重试机制。可以通过以下两种方式获取异常信息:

  1. Consume List<Message<String>>: 如果监听器消费的是 List<Message<String>>,则可以通过 Message 对象的 header 获取异常信息。 使用 SerializationUtils.VALUE_DESERIALIZER_EXCEPTION_HEADER 获取header中的异常信息。

    序列猴子开放平台
    序列猴子开放平台

    具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

    序列猴子开放平台 0
    查看详情 序列猴子开放平台
  2. 使用 @Header: 可以在监听器方法中添加一个额外的参数,并使用 @Header 注解来获取异常信息。

   @Component
   public class StringListener {
       @KafkaListener(
               topics = {"string-test"},
               groupId = "test",
               batch = "true",
               containerFactory = "myContainerFactory"
       )
       public void listen(List<Message<String>> messages, Acknowledgment acknowledgment) {
           for (Message<String> message: messages) {
               try {
                   String s = message.getPayload();
                   System.out.println(s);
               } catch (Exception e) {
                   // 获取反序列化异常
                   byte[] exceptionBytes = (byte[]) message.getHeaders().get(SerializationUtils.VALUE_DESERIALIZER_EXCEPTION_HEADER);
                   DeserializationException deserializationException = byteArrayToDeserializationException(exceptionBytes);

                   // 重新抛出异常,触发重试
                   throw new ListenerExecutionFailedException("Deserialization failed", deserializationException);
               }
           }
           acknowledgment.acknowledge();
       }

       private DeserializationException byteArrayToDeserializationException(byte[] bytes) {
            ByteArrayInputStream bais = new ByteArrayInputStream(bytes);
            ObjectInputStream ois;
            try {
                ois = new ObjectInputStream(bais);
                return (DeserializationException) ois.readObject();
            } catch (IOException | ClassNotFoundException e) {
                throw new RuntimeException("Failed to deserialize exception from byte array", e);
            }
        }
   }
登录后复制

注意事项:

  • 如果使用@Header方法获取异常,需要确保header中存在SerializationUtils.VALUE_DESERIALIZER_EXCEPTION_HEADER。
  • 需要手动将byte数组反序列化为DeserializationException对象。

总结

通过以上步骤,我们可以配置 Kafka 批量监听器,使其在遇到反序列化错误时自动重试。首先,需要从 DefaultErrorHandler 的默认致命异常列表中移除 DeserializationException。然后,在批量监听器中,需要捕获异常,获取异常信息,并将其重新抛出,才能触发重试机制。这种方法可以有效地处理间歇性的反序列化问题,提高 Kafka 消费的稳定性和可靠性。需要注意的是,可以配置重试次数和重试间隔,以避免无限重试。

以上就是处理 Kafka 批量监听器反序列化错误的重试机制的详细内容,更多请关注php中文网其它相关文章!

相关标签:
Kafka Eagle可视化工具
Kafka Eagle可视化工具

Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点,重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等,有需要的小伙伴快来保存下载体验吧!

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号