Apache Doris 4.0.2 版本正式宣布

应用介绍

亲爱的社区小伙伴们，Apache Doris 4.0.2 版本已正式宣布。此版本新增了在 AI & Search、函数、物化视图、Lakehouse 等方面的功能，并同步进行了多项优化改进及问题修复，迎接下载体验！

• GitHub 下载：https://github.com/apache/doris/releases
• 官网下载：https://doris.apache.org/download

新增功能

AI & Search

• 倒排索引支撑自定义分析器，包含拼音分词器和拼音过滤器
• 倒排索引的搜刮函数新增多地位短语查询（PhraseQuery）支撑
• 新增 ANN 索引仅扫描才能

函数

• 新增 sem 聚合函数
• 支撑源自 Hive 的 factorial简单 SQL 函数
• 部分正则表达式函数新增零宽断言支撑
• JSON 类型支撑 GROUP BY 和 DISTINCT 操作
• 新增 add/sub_time 时光函数
• 新增 deduplicate_map 函数

物化视图

• 非分区基表数据变革时，物化视图仍可介入透明查询重写
• 创建 MTMV 支撑基于视图创建
• MTMV 刷新支撑多 PCT 表
• 物化视图包含窗口函数时，支撑窗口函数重写

Lakehouse

• 新增 Doris Catalog，该功能许可用户经由过程 Catalog 才能接洽关系多个自力的 Doris 集群并进行高效的联邦数据查询。解决 Doris 集群间数据无法接洽关系查询的问题。文档：https://doris.apache.org/docs/4.x/lakehouse/catalogs/doris-catalog
• 支撑经由过程 rewrite_data_files 办法对 Iceberg 表进行 compaction 操作。该操作许可用户对 Iceberg 小文件进行归并，从而优化读取效力。文档：https://doris.apache.org/docs/4.x/lakehouse/catalogs/iceberg-catalog#rewrite_data_files
• 支撑经由过程 WARM UP 语句对 Hive、Iceberg、Paimon 等外部表数据进行缓存预热。文档：https://doris.apache.org/docs/4.x/lakehouse/data-cache#cache-warmup
• 支撑经由过程 ALTER 语句对 Iceberg 表进行 Partition Evolution 操作。文档：https://doris.apache.org/docs/4.x/lakehouse/catalogs/iceberg-catalog#partition-evolution
• 支撑 HTTP Table Valued Function，支撑经由过程 Table Valued Function 直接读取 HTTP 资本文件。文档：https://doris.apache.org/docs/4.x/sql-manual/sql-functions/table-valued-functions/http
• 支撑直接拜访 Huggingface 上的数据集。文档：https://doris.apache.org/docs/4.x/lakehouse/huggingface
• 支撑经由过程 Iceberg REST Catalog 协定拜访 Microsoft OneLake。文档：https://doris.apache.org/docs/4.x/lakehouse/best-practices/doris-onelake
• 支撑直接映射 Hive、Iceberg、Paimon、JDBC 外表中的 binary 类型到 Doris 的 varbinary 类型。请参阅各 Catalog 文档的【列映射】末节。

优化改进

• 优化 FROM_UNIXTIME 函数机能
• 移除 PartitionKey 比较中的 castTo转换操作，晋升分区处理效力
• 降低 Catalog 中 Column 类的内存占用
• Ann 索引练习前累积多个小批次数据，晋升练习效力
• 进级 Hadoop 依附到 3.4.2 版本
• 优化 FE 和 BE 的优雅退出机制，降低节点退出对查询的影响
• 优化对包含大年夜量分区的 hive 表的写入的效力
• 优化 Paimon 表 Split 占用内存过大年夜的问题
• 优化对 Parquet RLE_DICTIONARY 编码的读取效力
• 优化 FE 和 BE 的优雅退出机制，降低节点退出对查询的影响

问题修复

查询

• 修复输入为 null 时 utc_time 函数返回成果缺点的问题
• 修复 UNION ALL 结合 TVF 时抛出异常的问题
• 修复独一键表创建物化视图时，WHERE 子句包含非键列的问题
• 修复 window 函数：LAG/LEAD 偏移参数支撑常量表达式计算
• 修复聚合函数：可空列投影前下推聚合操作异常；非空列 count 下推聚合问题
• 修复时光函数：second/microsecond 函数未处理时光字面量；time_to_sec 处理 null 值时因垃圾值报错
• 修复 AI 函数：_exec_plan_fragment_impl 调用 AI 函数时出现未知缺点
• 修复地舆信息：geo 模块内存泄漏
• 修复 information_schema：偏移时区格局不兼容

物化视图与模式变革

• 修复物化视图包含分组集合和扫描过滤器时重写掉败的问题
• 修复大年夜流量模式变革时读取单行集非重叠段导致的 coredump 问题

存算分别

• 修复 TopN 查询中广播长途读取的问题
• 修复云情况下删除 tablet 义务聚积的问题
• 修复云情况初次启动时办事上线耗时过长的问题

Lakehouse

• 修复某些情况下，Hive 分区变革导致元数据缓存不一致的问题
• 修复写入 TIMESTAMP 类型分区的 Iceberg 表缺点的问题
• 修复 Paimon 表 Incremental Read 行动和 Spark 不一致的问题
• 修复某些情况下，外表元数据缓存可能导致的逝世锁问题
• 修复 BE 端 s3 client 线程数不合理导致的 IO 吞吐低的问题
• 修复某些情况，写入存储在非 S3 对象存储上的外表时掉败的问题
• 修复某些情况下，应用 query() 进行 JDBC Catalog SQL 透传掉败的问题
• 修复 JNI Reader 时光统计导致读取机能降低的问题
• 修复 BE 侧 jni.log 无法打印的问题

其他

• 修复在非 Master 阶段 UNSET GLOBAL 变量时缺点的问题
• 修复某些情况下，异常的 export 义务无法撤消的问题