
亲爱的社区朋友们,Apache Doris 4.0.1 版本已于 2025 年 11 月 08 日重磅上线。本次版本发布重点打磨核心模块,持续优化系统性能,并在 AI 与全文检索能力上实现关键增强,同时进一步提升了 Lakehouse 架构和查询引擎的稳定性与执行效率。
行为变更
-
SHOW PARTITIONS 命令不再适用于 Iceberg 表,建议使用 Iceberg 自带的 $partitions 系统表进行分区信息查看。#56985
新增功能
- 引入 mmh64_v2 函数,确保生成的哈希值与其他主流第三方库保持一致。#57180
- 新增 json_hash 函数,支持对 JSONB 数据类型计算 Hash 值。#56962
- 支持 Binary 数据类型,并配套提供 length、from_base64_binary、to_base64_bianry、sub_binary 等操作函数。#56648
- 增加 sort_json_object_keys 和 normalize_json_numbers_to_double 函数,用于对 JSONB 中的键进行排序及数值标准化处理。
- 新增 UTC_DATE、UTC_TIME 和 UTC_TIMESTAMP 三个与 MySQL 兼容的时间函数。#57443
- 实现 MaxCompute Catalog 的层级映射支持。#56874
- 扩展 JSON_OBJECT 函数功能,现已支持使用 * 作为参数传递字段内容。#57256
功能改进
AI & Search
- SEARCH 函数现已支持短语匹配、通配符搜索以及正则表达式查询功能。#57372 #57007
- 对 SEARCH 函数参数进行扩展,新增 default_field(默认搜索字段)和 default_operator(多字段查询时的逻辑运算符,“and” 或 “or”)可选配置。#57312
- SEARCH 函数增强对 Variant 类型的支持,可通过点号语法(如 variantColumn.subcolumn: 关键词)直接检索 JSON 路径中的指定子字段。
- 将倒排索引默认存储格式从 V2 升级至更高效的 V3 版本。#57140
- 完善自定义分词器 Pipeline 功能,新增 char_filter 组件;Analyzer 框架中新增 Basic Tokenizer 和 ICU Tokenizer 两种内置分词器;支持内置分词器别名设置,允许组件同名配置,提升 Analyzer 架构统一性与易用性。#57055
Lakehouse
- 新增会话变量
merge_io_read_slice_size_bytes,有效缓解特定场景下外表 Merge IO 导致的读放大问题。
查询
- 优化 JOIN 操作中的 Shuffle 分区选择算法,提升数据分布合理性与执行性能。#56279
其他
- 缩减物理执行计划中 Runtime Filter 序列化后的元数据体积,降低内存开销。#56978
问题修复
AI & Search
- 修复非分词字段在使用 SEARCH 查询时结果异常的问题,现已支持在主键模型表(MOW)中正常调用 SEARCH 函数。#56927
- 修正倒排索引在处理 IS NULL 条件过滤时存在的计算错误。#56964
Lakehouse
- 修复某些条件下 Parquet Page Index 无法被谓词下推利用的问题。#55795
- 解决外表查询过程中可能出现的分片读取丢失问题。#57071
- 修复开启 Hadoop 文件系统缓存后,Catalog 属性修改不生效的问题。#57063
- 修复从旧版本升级时因连接属性校验导致元数据回放失败的问题。#56929
- 修复 Refresh Catalog 操作可能引发 FE 线程死锁的问题。#56639
- 修复无法读取由 Hive 转换生成的 Iceberg 表的兼容性问题。#56918
- 修复在收集 Query Profile 信息时偶发导致 BE 进程崩溃的问题。#56806
查询
- 修复 datetime 类型在涉及 Timezone 转换的 Cast 操作中边界情况下的结果错误。#57422
- 修正部分 datetime 相关函数返回精度推导不准的问题。#56671
- 修复当 inf 作为 float 类型谓词条件时触发 Core Dump 的问题。#57100
- 修复 explode 函数在可变参数场景下引发 Core 的缺陷。#56991
- 修复 decimal256 向 float 类型转换时结果不稳定的问题。#56848
- 修复 Spill 到磁盘时因重复调度可能导致 Core 的问题。#56755
- 修复偶发性错误调整 Mark Join 与其他 Join 执行顺序的问题。#56837
- 修复部分管理命令未正确转发至 Master Frontend 执行的问题。#55185
- 修复窗口函数偶尔错误生成 Partition TopN 计划的问题。#56622
- 修复同步物化视图定义包含 SQL 关键字时查询报错的问题。#57052
其他
- 禁止基于已有的同步物化视图再次创建新的同步物化视图,避免链式依赖风险。#56912
- 修复 Profile 信息中存在内存未及时释放的问题,减少资源泄漏隐患。#57257
源码地址:点击下载
以上就是Apache Doris 4.0.1 版本正式发布的详细内容,更多请关注php中文网其它相关文章!