0

0

Nifi ExecuteScript处理器运行机制解析

霞舞

霞舞

发布时间:2025-09-26 11:27:00

|

955人浏览过

|

来源于php中文网

原创

Nifi ExecuteScript处理器运行机制解析

Nifi的ExecuteScript处理器在Nifi JVM内部执行,而非作为独立进程。它支持Groovy、Jython等JVM兼容的脚本语言,直接访问Nifi API,具有低开销和高效率的特点。这与ExecuteStreamCommand通过操作系统fork外部进程的方式截然不同,理解其运行机制对于优化Nifi流程和脚本性能至关重要。

ExecuteScript处理器概述

nifi的executescript处理器是一个高度灵活的组件,允许用户在数据流中执行自定义脚本,以实现复杂的数据转换、路由逻辑或与nifi api的交互。它支持多种脚本语言,为nifi流程带来了极大的扩展性。

执行环境:JVM内部运行

与某些通过操作系统fork子进程来执行外部命令的处理器(如ExecuteStreamCommand)不同,ExecuteScript处理器是在Nifi的Java虚拟机(JVM)内部直接执行其脚本的。 这意味着:

  1. 共享JVM资源: 脚本与Nifi本身运行在同一个JVM进程中,共享Nifi的内存空间和CPU资源。
  2. 直接API访问: 脚本可以直接访问Nifi的Java API,例如通过session对象操作FlowFile,通过log对象记录日志,以及访问处理器上下文中的其他Nifi服务。
  3. 无进程开销: 由于不涉及操作系统级别的进程创建和销毁,ExecuteScript的执行开销相对较低,通常性能更优。

与ExecuteStreamCommand的对比: ExecuteStreamCommand处理器会通过操作系统fork一个全新的子进程来执行外部可执行文件或脚本(例如,Python解释器、Bash脚本等)。它通过标准输入/输出流与外部进程进行通信。这种方式的优点是可以运行任何操作系统支持的程序,但缺点是每次执行都会有额外的进程创建和销销毁开销,并且无法直接访问Nifi的内部API。

支持的脚本语言

ExecuteScript处理器支持的脚本语言必须是JVM兼容的。这意味着它们能够直接在Java虚拟机上运行,或者有相应的JVM实现。常见的支持语言包括:

  • Groovy: 一种强大的、可选静态类型和动态类型的编程语言,针对Java平台,与Java语法高度兼容。
  • Jython: Python语言在Java平台上的实现。它允许Python代码直接访问Java类库,并在JVM上运行。
  • JRuby: Ruby语言在Java平台上的实现,同样允许Ruby代码与Java代码无缝交互。
  • Nashorn / GraalJS: 用于在JVM上执行JavaScript代码。

注意事项: 当您选择Python作为脚本语言时,实际上使用的是Jython。这意味着您编写的Python代码必须符合Jython的规范,并且可以直接调用Java类。一些原生Python库(尤其是那些依赖C扩展的库)可能无法在Jython环境中正常工作。

示例代码:Groovy脚本操作FlowFile

以下是一个简单的Groovy脚本示例,演示了如何在ExecuteScript处理器中获取FlowFile内容并添加一个属性:

创想商务B2B网站管理系统
创想商务B2B网站管理系统

本次升级更新内容:优化分类置顶功能处理机制;修复域名变化带来的cookie域问题;文件上传js的兼容ie9,ie10问题;更新内容编辑器版本;会员服务权限新增求购信息的发布总量限制,求购信息的每日发布量限制;新增供应信息的每日发布量限制;新增分类信息的审核机制控制;新增分类信息的每日发布量限制;新增分类信息的重发刷新功能;优化会员中心的服务类型内容;优化模板运行处理机制;优化会员商铺模板运行机制;

下载
import org.apache.nifi.processor.io.StreamCallback
import java.nio.charset.StandardCharsets

// 获取当前FlowFile
def flowFile = session.get()
if (flowFile != null) {
    // 读取FlowFile内容并转换为字符串
    def content = new StringBuilder()
    session.read(flowFile, { inputStream ->
        content.append(new String(inputStream.bytes, StandardCharsets.UTF_8))
    } as StreamCallback)

    log.info("Original FlowFile content: ${content.toString()}")

    // 添加一个属性
    flowFile = session.putAttribute(flowFile, "my.custom.attribute", "processed_by_groovy")

    // 更新FlowFile内容(可选)
    // def newContent = "Modified: " + content.toString()
    // flowFile = session.write(flowFile, { outputStream ->
    //     outputStream.write(newContent.getBytes(StandardCharsets.UTF_8))
    // } as StreamCallback)

    // 转移FlowFile到成功关系
    session.transfer(flowFile, REL_SUCCESS)
} else {
    // 如果没有FlowFile,则停止处理
    log.warn("No FlowFile available for processing.")
}

代码说明:

  • session.get():获取当前传入的FlowFile。
  • session.read(flowFile, ...):读取FlowFile的内容。StreamCallback用于处理输入流。
  • session.putAttribute(flowFile, key, value):为FlowFile添加或更新属性。
  • session.transfer(flowFile, REL_SUCCESS):将处理后的FlowFile路由到“成功”关系。REL_FAILURE或REL_ORIGINAL等也是常见选项。
  • log.info(...):使用Nifi的日志系统记录信息。

总结

Nifi的ExecuteScript处理器是一个强大且高效的工具,用于在Nifi数据流中嵌入自定义逻辑。其核心优势在于在Nifi JVM内部执行,从而实现低开销、高效率以及对Nifi API的直接访问。理解这一执行机制,特别是与ExecuteStreamCommand的差异,对于选择合适的处理器、优化Nifi流程性能以及有效利用其支持的JVM兼容脚本语言至关重要。在编写脚本时,务必考虑所选语言的JVM实现特性(例如Jython对原生Python库的兼容性),以确保脚本的稳定和高效运行。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

755

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

636

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

759

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

618

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1262

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

547

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

577

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

707

2023.08.11

Golang gRPC 服务开发与Protobuf实战
Golang gRPC 服务开发与Protobuf实战

本专题系统讲解 Golang 在 gRPC 服务开发中的完整实践,涵盖 Protobuf 定义与代码生成、gRPC 服务端与客户端实现、流式 RPC(Unary/Server/Client/Bidirectional)、错误处理、拦截器、中间件以及与 HTTP/REST 的对接方案。通过实际案例,帮助学习者掌握 使用 Go 构建高性能、强类型、可扩展的 RPC 服务体系,适用于微服务与内部系统通信场景。

8

2026.01.15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
React 教程
React 教程

共58课时 | 3.7万人学习

TypeScript 教程
TypeScript 教程

共19课时 | 2.2万人学习

Bootstrap 5教程
Bootstrap 5教程

共46课时 | 2.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号