openGemini v1.5 机能大年夜进级:写入机能翻倍,查询效力再提速

openGemini 发布 v1.5 版本更新。带来了众多新功能,以及在读写性能方面实现了显著提升 一、数据模型:TSBS cpu-only 为了确保测试的公平性和可比性,项目团队就采用了业界广泛使用的 TSBS (cpu-only) 基准测试工...

应用介绍

openGemini 宣布 v1.5 版本更新。带来了浩瀚新功能,以及在读写机能方面实现了明显晋升

一、数据模型:TSBS cpu-only

为了确保测试的公平性和可比性,项目团队就采取了业界广泛应用的 TSBS (cpu-only) 基准测试对象,模仿了典范的时光序列数据模型。

  • 测试情况3节点集群
  • 节点设备8核32G内
  • 时光线数30万条
  • 测试机型c3.2xlarge.4,https://www.huaweicloud.com/product/ecs.html

二、写入机能测试:速度晋升,资本更省

在TSBS cpu-only 模型下,openGemini 写入机能约为 VM 的2 倍,内存占用仅为 VM 的1/2,CPU应用率则与 VM 相当。

三、查询机能测试:简单更快,复杂更稳

可以从成果看出来,openGemini在资本差不多的情况下,总共11个场景的10个场景查询机能优于VictoriaMetrics(简称 VM),查询模型single-groupby和查询模型cpu-max-all:openGemini查询机能约为 VM查询机能的1.2-2.4倍;查询模型double-groupby-5、double-groupby-all:openGemini查询机能约为VM查询机能的1-3倍。在single-groupby-1-1-1 场景下,VM依然表示出色。其设计理念是“极致简洁”,不做过多的计算下推,是以在最简单的查询场景中具有天然优势。

而 openGemini 在复杂聚合场景中表示更佳,重要得益于团队对计算下推的深度优。v1.5 做了多种计算下推的流程优化,使得在包含多个前提过滤、聚合和连接操作的复杂查询中,响应速度和机能表示明显优于简单查询场景。

当然,项目团队也意识到今朝的实现方法在某些简单查询中存在“过度计算”的问题。在后续版本中筹划引入更智能的下推策略,实现“既要又要”的目标:在简单查询中保持高效,在复杂查询中保持领先。

四、机能优化背后的“硬核技巧点”

核心优化点解析:

1. 查询语句匹配机制

  • 特点辨认:基于车联网、及时监控等典范营业场景,提取高频查询语句特点。
  • 高效匹配:经由过程预定义特点与履行链路的映射机制,使查询匹配成功后,履行器构建时延从毫秒级降至微秒级,极大年夜晋升响应速度。

2. 轻量化履行器设计

  • 查询高低文简化:查询高低文更“轻”,收集传输编解码开销更小。
  • 算子融合优化:持续优化扫描、过滤、聚合、投影四大年夜核默算子,部分算子融合(如 scan/filter、agg/merge),削减冗余计算。
  • 调用链路优化:采取 pull-based 与push-based混用模式,简化调用栈,降低函数调用开销。
  • 数据传递优化:构建内存亲和与向量化数据格局,晋升 CPU 缓存射中率,削减数据编解码开销。

3. 数据同一复用机制

  • 同一数据构造:自底向上同一 Record 为数据载体,支撑 Record到JSON的数据转换,避免中心格局转换。
  • 高效内存复用:构建分层内存池机制,实现 Record 数据的编解码复用与履行器构建复用,有效降低体系 GC 压力。

点赞(0) 打赏

立即下载

相关下载

评论列表 共有 0 条评论

暂无评论

微信小程序

微信扫一扫体验

立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部