对于采用事件驱动架构的开发者而言，自动化 Kafka 主题的创建和删除至关重要。无论是管理不断扩展的系统，还是实施基础设施即代码，随着 Kafka 部署规模的增长，手动管理主题将变得难以为继。本教程将指导您如何运用 JavaScript 和 GitHub Actions 自动化 Kafka 主题的创建和删除流程，将其无缝融入 DevOps 工作流。
Kafka 主题管理的挑战
主题是 Kafka 事件组织的基础。随着架构的演进，您需要创建不同的主题来：
- 组织不同类型的事件
- 存储事件的过滤版本
- 维护事件的转换版本
随着系统规模的扩大，手动管理这些主题将变得日益复杂且容易出错。每个新服务可能都需要新的主题，而每个环境（开发、测试、生产）都需要各自一套配置一致的主题。缺乏自动化的情况下，这种手动操作会降低开发效率并引入配置错误。
自动化主题管理的优势
自动化 Kafka 主题的创建和删除具有诸多优势：
立即学习“Java免费学习笔记（深入）”；
- 确保跨环境的主题配置一致性
- 减少人为错误
- 支持主题配置的版本控制
- 简化 DevOps 工作流程
- 将主题变更纳入 CI/CD 管道
选择合适的自动化工具
本教程采用 JavaScript 来构建自动化解决方案。尽管您可以选择多种编程语言，但 JavaScript 在此任务中具备以下优势：
- 简化脚本编写（相较于 Bash）
- 利用团队现有的 JavaScript 专业知识
- 通过 npm 提供丰富的包生态系统
- 提供简洁的异步/等待语法来处理 Kafka 操作
我们将此解决方案实现为一个 Kubernetes 作业运行的 Node.js 应用程序，非常适合使用 VPC 访问 Kafka 集群的团队。
应用程序设置
解决方案是一个 Node.js 应用程序，您需要创建一个 Node.js 项目。可以使用 npm init 命令创建一个新项目。如果您尚未安装 Node.js 和 npm，请访问 nodejs.org/en/download 下载并安装必要的二进制文件。
在终端中打开目标目录，然后运行命令 npm init -y。使用命令 npm install kafkajs 安装 Kafka JavaScript 客户端作为依赖项。
解决方案实施
我们的自动化方法包含三个主要部分：
- 一个 JSON 配置文件，声明要创建或删除的主题
- 与 Kafka 交互以执行这些操作的 Node.js 应用程序
- GitHub Actions 工作流程，在 JSON 配置文件发生更改时触发自动化
让我们逐步构建每个组件。
配置文件设置
应用程序将通过 JSON 文件读取要创建或删除的主题列表。这种方法允许任何人修改 GitHub 仓库中的 JSON 文件并创建 PR。一旦 PR 合并到主分支，代码将读取该文件中的数据，然后根据需要创建或删除主题。
创建一个名为 topics.json 的文件，内容如下：
{
"create": [],
"delete": []
}
此结构提供了主题管理操作的清晰、版本控制的记录。create 数组包含要创建的主题，delete 数组指定要删除的主题。
构建主题管理 API
创建一个名为 api.js 的文件，包含以下代码：
async function createtopics(topics, kafkaadmin) {
if (topics.length > 0) {
await kafkaadmin.createtopics({
topics: topics.map((topic) => ({
topic,
numpartitions: 1, // 根据吞吐量需求调整
replicationfactor: 3, // 通常与 Broker 数量匹配
configentries: [
{ name: "min.insync.replicas", value: "2" } // 确保写入持久性
],
})),
});
}
}
async function deletetopics(topics, kafkaadmin) {
if (topics.length > 0) {
await kafkaadmin.deletetopics({ topics: topics });
}
}
module.exports = { createtopics, deletetopics };
该模块导出用于创建和删除 Kafka 主题的函数。此处显示的配置值仅为示例 - 您应根据吞吐量、持久性和集群大小的具体要求进行调整。
创建主应用程序
创建一个名为 index.js 的文件，包含以下代码：
const { kafka } = require("kafkajs");
const { createtopics, deletetopics } = require("./api");
const topics = require("../topics.json");
// ... (连接Kafka的代码，此处省略，与原文一致) ...
admin.connect().then(async () => {
const existingtopics = await admin.listtopics();
// 只创建尚不存在的主题
const newtopics = topics.create.filter((x) => !existingtopics.includes(x));
await createtopics(newtopics, admin);
// 只删除当前存在的主题
const deletiontopics = topics.delete.filter((x) =>
existingtopics.includes(x)
);
await deletetopics(deletiontopics, admin);
await admin.disconnect();
});
此主应用程序处理与 Kafka 的连接，读取主题配置，并协调主题的创建和删除。它包含安全检查以避免重复操作并确保连接管理的整洁性。(此处省略了与Kafka连接的代码，因为与原文一致，避免重复)
使用 GitHub Actions 自动化部署
主题管理应用程序准备就绪后，让我们将其集成到持续部署管道中。每当主题配置发生变化时，我们将使用 GitHub Actions 自动运行主题管理代码。(此处省略了GitHub Actions的YAML配置，因为原文中该部分代码不完整且难以理解，建议参考完整的GitHub Actions配置文档)
结论
您已经学习了如何使用 JavaScript 自动创建和删除 Kafka 主题。这种利用 JSON 配置文件和 GitHub Actions 的自动化方法提供了一种可扩展的方式来管理 Kafka 主题，以适应系统规模的增长。通过将主题管理集成到 CI/CD 管道中，您可以确保整个 Kafka 部署中的主题配置的一致性和可靠性。
本解决方案展示了如何将手动主题管理转变为一个简化、自动化的流程，非常适合现代 DevOps 实践。提供的代码是一个基础，您可以根据自己的特定需求进行构建和定制。
需要 DevOps 专业知识或指导？请联系我，我很乐意为您的团队提供支持。 访问 devopsforjavascript.dev 了解更多信息
请注意，原文中提供的GitHub Actions配置不完整，无法直接使用。 您需要根据您的具体环境和需求完善该配置。 建议参考GitHub Actions官方文档，学习如何配置AWS凭证、连接到ECR和Kubernetes集群等。
