DolphinScheduler任务调度系统

简介

DolphinScheduler——新一代云原生分布式大数据工作流任务调度引领者

DolphinScheduler，作为云原生时代的先锋，为大数据领域带来了革命性的工作流任务调度体验。它专注于简化大数据任务间的复杂依赖关系，实现数据处理流程的即插即用，让您轻松驾驭大规模数据处理挑战。

通过有向无环图（DAG）的直观展现，DolphinScheduler将任务连接成流畅的工作流，让任务间的依赖关系一目了然。实时监控功能让您随时掌握任务的运行状态，而重试、指定节点恢复失败、暂停及终止任务等操作，则为您提供了灵活的任务控制手段。

DolphinScheduler的出色表现已经赢得了IBM、阿里、腾讯、360、JD等众多行业巨头的青睐，数千家公司已经将其应用于生产环境，共同见证其稳定、高效的调度能力。

作为分布式易扩展的可视化DAG工作流任务调度系统，DolphinScheduler具有以下显著优势：

• 部署灵活：提供Standalone、Cluster、Docker和Kubernetes四种部署方式，适应不同场景需求。
• 操作便捷：Web UI、Python SDK、Yaml文件和Open API四种创建和管理方式，满足不同用户的使用习惯。
• 高可靠高可用：多主多从的去中心化架构，原生支持横向扩展，确保系统稳定可靠。
• 高性能：性能卓越，相比其他编排平台更胜一筹，轻松应对千万级任务挑战。
• Cloud Native特性：支持多云/数据中心工作流编排，自定义任务类型，满足云原生时代的需求。

此外，DolphinScheduler还具备版本控制功能，对工作流和工作流实例进行精细管理；多种状态控制，让您随时掌控任务的运行；多租户支持，满足不同团队和项目的需求；回填支持，包括项目、资源和数据源的权限控制，保障数据安全与隐私。

在DolphinScheduler的主页，您可以轻松概览项目和工作流状态，实时了解最新的工作流实例和任务实例统计信息。工作流定义界面采用拖拉拽操作，让您轻松构建复杂的工作流。工作流树状图则为您呈现清晰的任务关系，便于理解和维护。

数据源管理方面，DolphinScheduler支持多种外部数据源，如MySQL、PostgreSQL、Hive、Trino等，并提供统一的数据访问能力，让您轻松整合各类数据资源。

监控功能则让您实时查看master、worker和数据库的状态，包括服务器资源使用情况和负载情况，无需登录服务器即可快速进行健康检查，确保系统稳定运行。

截图

开源地址