openGemini v1.5 机能大年夜进级:写入机能翻倍,查询效力再提速
openGemini 发布 v1.5 版本更新。带来了众多新功能,以及在读写性能方面实现了显著提升 一、数据模型:TSBS cpu-only 为了确保测试的公平性和可比性,项目团队就采用了业界广泛使用的 TSBS (cpu-only) 基准测试工...
应用介绍
openGemini 宣布 v1.5 版本更新。带来了浩瀚新功能,以及在读写机能方面实现了明显晋升
一、数据模型:TSBS cpu-only
为了确保测试的公平性和可比性,项目团队就采取了业界广泛应用的 TSBS (cpu-only) 基准测试对象,模仿了典范的时光序列数据模型。
- 测试情况:3节点集群
- 节点设备:8核32G内
- 时光线数:30万条
- 测试机型:c3.2xlarge.4,https://www.huaweicloud.com/product/ecs.html

二、写入机能测试:速度晋升,资本更省

在TSBS cpu-only 模型下,openGemini 写入机能约为 VM 的2 倍,内存占用仅为 VM 的1/2,CPU应用率则与 VM 相当。
三、查询机能测试:简单更快,复杂更稳
可以从成果看出来,openGemini在资本差不多的情况下,总共11个场景的10个场景查询机能优于VictoriaMetrics(简称 VM),查询模型single-groupby和查询模型cpu-max-all:openGemini查询机能约为 VM查询机能的1.2-2.4倍;查询模型double-groupby-5、double-groupby-all:openGemini查询机能约为VM查询机能的1-3倍。在single-groupby-1-1-1 场景下,VM依然表示出色。其设计理念是“极致简洁”,不做过多的计算下推,是以在最简单的查询场景中具有天然优势。
而 openGemini 在复杂聚合场景中表示更佳,重要得益于团队对计算下推的深度优。v1.5 做了多种计算下推的流程优化,使得在包含多个前提过滤、聚合和连接操作的复杂查询中,响应速度和机能表示明显优于简单查询场景。

当然,项目团队也意识到今朝的实现方法在某些简单查询中存在“过度计算”的问题。在后续版本中筹划引入更智能的下推策略,实现“既要又要”的目标:在简单查询中保持高效,在复杂查询中保持领先。
四、机能优化背后的“硬核技巧点”
核心优化点解析:
1. 查询语句匹配机制
- 特点辨认:基于车联网、及时监控等典范营业场景,提取高频查询语句特点。
- 高效匹配:经由过程预定义特点与履行链路的映射机制,使查询匹配成功后,履行器构建时延从毫秒级降至微秒级,极大年夜晋升响应速度。
2. 轻量化履行器设计
- 查询高低文简化:查询高低文更“轻”,收集传输编解码开销更小。
- 算子融合优化:持续优化扫描、过滤、聚合、投影四大年夜核默算子,部分算子融合(如 scan/filter、agg/merge),削减冗余计算。
- 调用链路优化:采取 pull-based 与push-based混用模式,简化调用栈,降低函数调用开销。
- 数据传递优化:构建内存亲和与向量化数据格局,晋升 CPU 缓存射中率,削减数据编解码开销。
3. 数据同一复用机制
- 同一数据构造:自底向上同一 Record 为数据载体,支撑 Record到JSON的数据转换,避免中心格局转换。
- 高效内存复用:构建分层内存池机制,实现 Record 数据的编解码复用与履行器构建复用,有效降低体系 GC 压力。
©软件著作权归作者所有。本站所有软件均来源于网络,仅供学习使用,请支持正版!
转载请注明出处: FQPY » openGemini v1.5 机能大年夜进级:写入机能翻倍,查询效力再提速

发表评论 取消回复