在数据工程和机器学习项目中，经常需要从外部系统触发或调度Azure Databricks上的脚本（如Notebook或Jobs）。虽然Azure Databricks没有提供直接的Java SDK来执行此操作，但可以通过调用外部进程或利用CI/CD工具链来实现这一目标。
一、使用Databricks CLI进行按需执行
Databricks CLI（命令行接口）是与Azure Databricks平台交互的强大工具。它提供了一系列命令，允许用户管理工作区对象、集群、作业等。外部应用程序（包括Java应用程序）可以通过调用操作系统命令的方式来执行Databricks CLI指令，从而实现按需触发Databricks脚本。
1. Databricks CLI简介与安装
Databricks CLI是一个基于Python的工具，可以通过pip进行安装：
pip install databricks-cli
安装后，需要进行认证配置，通常是使用Azure Databricks个人访问令牌（Personal Access Token, PAT）。
databricks configure --token
系统会提示输入Databricks工作区的URL和PAT。
2. 从Java应用程序调用Databricks CLI
Java应用程序可以通过Runtime.getRuntime().exec()方法执行外部shell命令，进而调用Databricks CLI。这种方式允许Java应用作为协调器，触发Databricks上的预定义作业或Notebook。
以下是一个概念性的Java代码示例，展示了如何执行一个Databricks CLI命令来触发一个已存在的Databricks作业：
import java.io.BufferedReader;
import java.io.InputStreamReader;
public class DatabricksJobTrigger {
public static void main(String[] args) {
String databricksJobId = "YOUR_DATABRICKS_JOB_ID"; // 替换为你的Databricks作业ID
// 构建Databricks CLI命令，用于立即运行一个作业
// 推荐使用作业ID，因为作业名称可能重复或更改
String command = String.format("databricks jobs run-now --job-id %s", databricksJobId);
try {
System.out.println("正在执行Databricks CLI命令: " + command);
// 执行外部命令
Process process = Runtime.getRuntime().exec(command);
// 读取命令的标准输出
BufferedReader reader = new BufferedReader(new InputStreamReader(process.getInputStream()));
String line;
while ((line = reader.readLine()) != null) {
System.out.println(line);
}
// 读取命令的错误输出
BufferedReader errorReader = new BufferedReader(new InputStreamReader(process.getErrorStream()));
while ((line = errorReader.readLine()) != null) {
System.err.println("错误: " + line);
}
// 等待命令执行完成并获取退出码
int exitCode = process.waitFor();
System.out.println("命令执行完毕，退出码: " + exitCode);
if (exitCode != 0) {
System.err.println("Databricks CLI命令执行失败。");
// 根据业务需求处理失败情况
} else {
System.out.println("Databricks作业已成功触发。");
}
} catch (Exception e) {
System.err.println("执行Databricks CLI命令时发生异常: " + e.getMessage());
e.printStackTrace();
}
}
}注意事项：
-
作业ID与Notebook路径： databricks jobs run-now命令用于触发已配置的Databricks作业，这是生产环境中推荐的做法，因为它提供了更强大的调度、重试和集群管理功能。如果需要直接运行Notebook，可以使用databricks notebooks run --path
，但这通常用于开发或测试场景。 - 参数传递： databricks jobs run-now支持通过--json参数传递Notebook参数，例如：--json '{"notebook_params":{"param1":"value1"}}'。
-
异步执行： Databricks作业通常是长时间运行的。run-now命令会立即返回一个运行ID，但作业本身可能仍在后台执行。如果Java应用程序需要等待作业完成并获取结果，则需要实现一个轮询机制，使用databricks runs get --run-id
来检查作业状态。
二、结合Azure DevOps实现持续集成与交付
对于更复杂的自动化需求，特别是涉及代码版本控制、测试、部署和生产调度，将Azure Databricks与Azure DevOps集成是更优的选择。Azure DevOps提供强大的CI/CD管道，可以自动化Databricks脚本的部署和执行。
1. Azure DevOps与Databricks集成优势
- 版本控制： 将Databricks Notebook和脚本存储在Git仓库中（如Azure Repos），通过Azure DevOps进行版本管理。
- 自动化部署： 自动将代码部署到Databricks工作区。
- 自动化测试： 在部署前运行单元测试或集成测试。
- 自动化执行： 触发Databricks作业，可以是基于时间、代码提交或外部事件。
- 审批流程： 引入人工审批环节，确保代码质量和部署安全。
2. 集成方式
Azure DevOps管道可以通过以下方式与Databricks交互：
- 使用Databricks CLI任务： 在Azure DevOps管道中，可以添加脚本任务来执行Databricks CLI命令，其原理与上述Java调用CLI类似。
- 使用Databricks扩展： Azure DevOps Marketplace提供了专门的Databricks扩展，包含预构建的任务，如“Databricks Notebook Run”、“Databricks Job Create/Update”等，简化了管道配置。
3. 示例场景
一个典型的Azure DevOps CI/CD管道可能包含以下步骤：
- 代码提交： 开发者将Databricks Notebook代码提交到Git仓库。
-
持续集成 (CI)：
- 触发Azure DevOps构建管道。
- 运行单元测试。
- 将Notebook文件打包成部署 artifact。
-
持续部署 (CD)：
- 触发Azure DevOps发布管道。
- 使用Databricks CLI或Databricks扩展将Notebook部署到Databricks工作区。
- 更新或创建Databricks作业，指向新部署的Notebook。
- （可选）触发该Databricks作业进行验证性运行。
三、重要注意事项
无论选择哪种方法，以下几点都至关重要：
-
安全性：
- Databricks个人访问令牌（PAT）是敏感凭据，应妥善保管。在生产环境中，建议使用Azure Key Vault管理令牌，并在Java应用程序或Azure DevOps管道中安全地检索。
- 遵循最小权限原则，为Databricks PAT分配仅执行所需操作的权限。
-
错误处理与日志记录：
- 外部调用Databricks脚本时，必须捕获并处理可能的错误（如CLI命令执行失败、Databricks作业运行失败）。
- 将CLI的输出（包括标准输出和错误输出）记录到日志中，以便于调试和审计。
-
环境配置：
- 确保执行Java应用程序或Azure DevOps代理的机器上已正确安装Databricks CLI，并配置了正确的认证信息。
- 对于生产环境，建议使用容器化（如Docker）来标准化执行环境。
-
异步与同步：
- Databricks作业通常是异步执行的。如果外部应用程序需要等待作业完成并获取结果，则需要实现状态轮询机制。Databricks CLI提供了查询作业运行状态的命令。
-
成本管理：
- 按需触发Databricks作业意味着会启动集群并产生计算费用。确保在不需要时关闭集群，或配置作业以在完成后自动终止集群。
总结
从外部应用程序（如Java）调用或按需执行Azure Databricks脚本，主要通过Databricks CLI作为桥梁，Java应用程序通过执行外部进程来间接控制Databricks。对于需要更高级自动化、版本控制和部署管理的企业级场景，Azure DevOps的CI/CD管道是更全面和强大的解决方案，它能够将Databricks脚本的生命周期无缝集成到DevOps实践中。选择哪种方法取决于具体的业务需求、自动化程度和团队的DevOps成熟度。
