今天的目标是了解flink table & sql的发展历程,理解为何使用table api & sql,掌握如何使用flink table & sql进行批处理和流处理开发,以及学习常见的开发案例和flink-sql的常用算子。
Flink Table & SQL提供了一种更高抽象层次的操作,其底层依赖于Flink Runtime的Stream流程。批处理可以看作是流处理的一种特殊形态。Flink SQL遵循ANSI的SQL规范。在Flink 1.9之前,Flink SQL包含两套Table API:DataStream Table API(用于流处理)和DataSet Table API(用于批处理)。
Planner(查询器)负责将抽象语法树通过parser、optimizer和codegen(模板代码生成)转化为Flink Runtime直接执行的代码。Planner包括旧版Planner和Blink Planner,后者实现了流批一体化处理,是默认的Planner。

Flink Table & SQL的程序结构涉及动态表和连续查询。Flink-SQL的常用算子包括Join操作,如full join。

此外,介绍了多语言实现WordCount问题,构建模块和导包问题,以及Operator state案例。如果没有设置每秒钟生成一条记录,状态不会被保存,每次都会从头开始。这是因为checkpoint需要1秒钟,但每5条数据生成时会抛出异常,导致完整的checkpoint状态备份未能完成,每次重启后都需要重新开始消费。

以上就是2021年最新最全Flink系列教程__FlinkTable&SQL(六、七)的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号