Apache DolphinScheduler 3.4.0 重磅宣布!

最新消息,Apache DolphinScheduler 3.4.0 已正式发布! 本次版本带来了多租户调度隔离、工作流并行性能优化、任务重试与告警机制增强,以及资源管理和日志处理改进。无论是复杂企业业务场景,还是高并发任务调度...

应用介绍

最新消息,Apache DolphinScheduler 3.4.0 已正式宣布!

本次版本带来了多租户调剂隔离、工作流并行机能优化、义务重试与告警机制加强,以及资本治理和日记处理改进。无论是复杂企业营业场景,照样高并发义务调剂,3.4.0 都让体系更高效、更靠得住、更易用。急速进级,体验全新调剂才能!

进级与下载


https://dolphinscheduler.apache.org/zh-cn/download/3.4.0


https://github.com/apache/dolphinscheduler/releases/tag/3.4.0

3.4.0 引入了对 OpenID Connect(OIDC)的通用支撑,旨在简化与企业身份认证体系的集成。经由过程 OIDC,用户可以应用同一的身份供给商(如 Keycloak、Okta 等)进行 SSO 登录,无需额外实现复杂自定义逻辑。这晋升了安然性和用户体验,尤其是在多体系联邦登录与同一认证场景中,可以或许使 DolphinScheduler 更天然地融入企业级认证体系,削减反复设备和验证成本,从而进步登录设备的扩大性和一致性。


(参考图)

gRPC 义务插件支撑

本版本新增了 gRPC 义务插件才能,使调剂器可以或许经由过程原生 gRPC 协定直接与长途办事交互。用户可以将后端微办事裸露的 gRPC 接口作为义务履行目标,无需中心脚本封装。这种方法特别合适微办事生态或跨说话履行场景,经由过程明白参数契约和高机能通信协定晋升义务整合效力,从而削减资本调剂延迟、进步义务靠得住性。

在工作流血缘关系删除操作中,体系可能未能彻底清理相干引用,导致汗青血缘链路残留。3.4.0 改进了删除逻辑,使 DolphinScheduler 在删除血缘链时可以或许更精确地清理对应关系,避免分析后续依附时出现缺点链路。

支撑工作流串行策略

实现了 工作流串行履行策略(Workflow Serial Strategy) 的核心逻辑重构,经由过程引入一个全新的串行敕令队列机制(t_ds_serial_command 表及相干 DAO/Mapper),合营一套串行履行调和器(WorkflowSerialCoordinator)及策略处理器,使 DolphinScheduler 能更智能地治理串行类型的工作流(如 SERIAL_WAITSERIAL_PRIORITYSERIAL_DISCARD)。

该设计改进了工作流触发流程的履行类型断定、状况治理、敕令队列处理等关键路径,使串行调剂逻辑更清楚、更靠得住,有助于晋升串行工作流场景下的调剂稳定性与可控性。同时,3.4.0 重构了触发器与状况机相干代码,加强该才能的可保护性和扩大性。

移除 PyTorch 义务类型

3.4.0 对义务类型体系进行了精简,正式移除了内置的 PyTorch 义务类型。该调剂重要基于实际应用情况和经久保护成本的考量,因为原有 PyTorch 义务实现应用率较低,且与调剂器核心义务模型耦合度较高,增长了版本演进和兼容性保护的复杂度。经由过程移除该义务类型,DolphinScheduler 能保持核心架构的简洁与稳定。

我们鼓励用户经由过程更通用的 Shell、Python 或插件化方法运行 PyTorch 功课,从而晋升体系整体的可保护性和扩大性。

稳定性与重要修复

Kubernetes Worker 安排加强

在 Kubernetes 原生安排场景下,3.4.0 使 Worker StatefulSet 的 Helm Chart 支撑注入 Secrets 和 InitContainers。经由过程 Secrets 注入,可以安然传递证书或凭证;InitContainers 许可在主容器启动前完成须要的初始化逻辑,如预备文件体系或校验情况依附。

这些加强有助于在容器化情况下实现更安然、更一致的安排策略和生命周期治理。

SQL 义务撤消才能

针对 SQL 义务类型,本次版本供给了对义务履行撤消的原生支撑。当履行的 SQL 语句因为逻辑缺点或经久运行导致资本占用时,用户可以经由过程调剂器下发撤消操作,使义务尽快中断,而不是简单掉败或等待超时。这一才能改良了义务控制才能,避免长时光运行对集群资本的无效占用,有助于晋升整体资本应用率和履行调剂体验。

前提义务节点在前置掉败情况下履行逻辑修复

在某些复杂工作流中,当前提义务节点的前置义务掉败时,前提节点未按预期履行。3.4.0 修复了这一调剂核心逻辑,确保前提节点可以或许精确响应前置掉败状况。如许,工作流分支逻辑可以或许按照既定 DAG 定义靠得住运行,从而避免因逻辑缺点导致的流程中断或不一致履行。

ZooKeeper 节点清理问题修复

在应用 ZooKeeper 作为调和组件的高可用安排中,部分用户反馈 Master Server 在启动掉败后未精确清理已注册的 failover 节点路径,可能导致后续状况异常。该版本修复了这个问题,使 Master 在异常启动路径中可以或许精确清理接洽关系注册节点,保持注册中间状况一致,确保高可用处景下集群状况的健康和靠得住性。

Worker Group 分派逻辑缺点修复


进级时建议参考官方文档中的集群进级指南,确保兼容性和设备一致性。

核心功能加强与重要更新

通用 OIDC 认证支撑

GitHub Release 页面

此前版本中,项目与 Worker Group 接洽关系/移除操作可能在 API 层出现逻辑不一致,导致调剂器未能精确辨认项目与 Worker Group 的关系。本次版本修改了相干逻辑,使 API 行动与用户预期一致,从而改良 Worker 管控、资本隔离和调剂分派体验。

此外,3.4.0 版本还进行了很多功能优化和问题修复,包含文档与设备规范完美(时区、安然、负载均衡)、核心调剂与注册中间稳定性加强(TraceId、Failover 清理、可重入锁)、机能与资本治理优化(义务组索引)、前端与插件体验改进(日记查询、DataX 校验、文件展示)、依附与安然更新(PostgreSQL JDBC、Spring Boot CVE 修复)等,篇幅所限不再一一展开,详情可查询完全更新列表:https://github.com/apache/dolphinscheduler/releases/tag/3.4.0

Bug 修复亮点

标记义务为 Inactive 状况逻辑修复

下载页面(可选择镜像下载):

某些生命周期事宜中,当义务状况须要被标记为 Inactive 时,状况变革可能未精确触发,导致 UI 和履行引擎状况不一致。此版本修复了这一逻辑,使状况标记与生命周期事宜加倍一致。

Workflow Lineage 删除逻辑优化

其他 Bug 修复包含前置义务掉败导致前提节点不履行问题修复、项目级 Worker Group 绑定与移除逻辑修改、子工作流触发参数损掉问题修复等,详情请查询完全 Release Note:https://github.com/apache/dolphinscheduler/releases/tag/3.4.0

文档更新

  1. 宣布并完美 Apache DolphinScheduler 3.3.2 版本宣布解释文档。
  2. 修复文档 CI 构建缺点,晋升文档宣布流程的稳定性。
  3. 弥补 Prometheus 指标接口的认证机制及其在 Kubernetes 情况下的应用解释。
  4. 同步更新 JdbcRegistry 引入事务机制后的相干文档描述,包管文档与实际施为一致。

申谢

本次版本宣布离不开社区各位供献者的热忱介入与支撑。特别感激 @ Gallardot 作为 3.4.0 的 Release Manager,从版控、构建、候选版验证到最终投票组织,确保宣布流程高质量推动。

同时,感激以下本次版本的所有供献者(GitHub ID,排名不分先后):

Gallardot、njnu‑seafish、det101、Mrhs121、EinsteinInIct、sanfeng‑lhh、ruanwenjun、tusaryan、qiong‑zhou、SbloodyS、kvermeulen、npofsi、CauliflowerEater、ChaoquanTao、dill21yu、sdhzwc、zhan7236、KwongHing、jmmc‑tools、liunaijie

感激所有经由过程提交 PR、Issue、文档供献、社区评论辩论、测实验证等方法介入 Apache DolphinScheduler 项目标人。恰是你们的尽力推动了 DolphinScheduler 的持续演进与社区繁华,迎接更多人参加我们的部队!

点赞(0) 打赏

立即下载

相关下载

评论列表 共有 0 条评论

暂无评论

微信小程序

微信扫一扫体验

立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部