凭什么说流处理是未来？

策划编辑｜natalie

作者｜Stephan Ewen

整理｜秦江杰

编辑｜Debra

本文整理自 Flink 创始公司 dataArtisans（现已更名为 Ververica）的联合创始人兼 CTO Stephan Ewen 在 Flink Forward China 2018 上的演讲《Stream Processing takes on Everything》。演讲主题看似大胆：流处理解决一切问题。很多人对 Flink 的认知仍停留在流处理引擎的层面，但实际上，Flink 还可以承担批处理和应用程序等多种任务。

在演讲中，Stephan 首先简要阐述了他对 Flink 功能的看法，之后深入探讨了一个特定领域的事件处理场景。这个场景乍看之下似乎不适合流处理，但在 Stephan 看来，这恰恰是一个有趣的流处理应用场景。

上图解释了为什么流处理能够应对一切问题。将数据视为流是一个自然而强大的概念。大部分数据是随着时间生成的流，比如一个 Petabyte 的数据不是凭空产生的。这些数据通常是一些事件的积累，比如支付、将商品放入购物车、网页浏览、传感器采样输出等。

基于数据是流的概念，我们对数据处理有了新的理解。比如，将过去的历史数据视为截至某一时刻的有限流，或者将实时处理应用视为从某一时刻开始处理未来到达的数据。如果在未来某个时刻停止，那么它就变成了处理从开始到停止时刻的有限数据的批处理。当然，它也可能一直运行，不断处理新到达的数据。这种对数据的理解方式非常强大，基于此，Flink 能够支持数据处理领域内的所有场景。

最常见的 Flink 使用场景是流分析和连续处理（或称渐进式处理），Flink 在这些场景中实时或近实时地处理数据，或者采集并持续计算历史数据。

晓伟在之前的演讲中提到一个很好的例子，解释了如何通过优化 Flink 来处理有限数据集，使得 Flink 能够很好地支持批处理场景，并且在性能上与最先进的批处理引擎相媲美。

无阶未来模型擂台/AI 应用平台

无阶未来模型擂台/AI 应用平台，一站式模型+应用平台

35

查看详情

而在另一端，我今天将要介绍的事件驱动应用的场景。这种应用在任何服务或微服务架构中都很常见。这些应用接收各种事件（可能是 RPC 调用或 HTTP 请求），并对这些事件作出响应，比如将商品放入购物车，或加入社交网络中的某个群组。

在进一步展开今天的演讲之前，我想先介绍一下社区在 Flink 的传统领域（实时分析、连续处理）近期所做的工作。

Flink 1.7 已于 2018 年 11 月 30 日发布。在 Flink 1.7 中，为典型的流处理场景添加了一些非常有趣的功能。比如我个人非常感兴趣的流式 SQL 中带时间版本的 Join。其基本思想是有两个不同的流，其中一个流被定义为随时间变化的参照表，另一个是与参照表进行 Join 的事件流。比如事件流是一个订单流，参照表是不断更新的汇率，每个订单需要使用最新的汇率进行换算，并将换算结果输出到结果表。

这个例子在标准 SQL 中实际上不容易表达，但在我们对 Streaming SQL 进行了一些小的扩展之后，这个逻辑表达变得非常简单，我们发现这样的表达有非常多的应用场景。

另一个在流处理领域非常强大的新功能是将复杂事件处理（CEP）和 SQL 结合。CEP 应用观察事件模式。比如某个 CEP 应用观察股市，当有两个上涨后紧跟一个下跌时，这个应用可能进行一些交易。再比如一个观察温度计的应用，当它发现有温度计在两个超过 90 摄氏度的读数之后的两分钟内没有任何操作，可能会进行一些操作。与 SQL 的结合使这类逻辑的表达变得非常简单。

第三个在 Flink 1.7 中做了很多工作的功能是 Schema 升级。这个功能与基于流的应用密切相关。就像你可以对数据库进行数据 Schema 升级一样，你可以修改 Flink 表中列的类型或重新定义一个列。

另外，我想简单介绍的是流处理技术不仅仅是简单地对数据进行计算，这还包括了与外部系统进行事务交互。流处理引擎需要在采用不同协议的系统之间以事务的方式移动数据，并保证计算过程和数据的一致性。这一部分功能也在 Flink 1.7 中得到了增强。

以上就是凭什么说流处理是未来？的详细内容，更多请关注php中文网其它相关文章！