<返回更多

开源任务调度器 DolphinScheduler

2023-06-09  今日头条  白杨Shayne
加入收藏

简介

Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。并且支持中文界面。

目前,DolphinScheduler 已经是业界知名的分布式可视化大数据工作流调度系统,被联通、IDG、IBM、京东物流、联想、新东方、诺基亚、360、顺丰和腾讯等诸多公司使用

 

支持的任务类型(红颜色为常用的任务类型)

  • Shell:linux脚本,可执行JAVA任务
  • Dependent:任务依赖
  • Stored Procedure:存储过程
  • Hive CLI:执行HIve SQL
  • SQL:jdbc连接关系数据库执行SQL
  • Spark:Spark任务
  • MapReduce
  • Python/ target=_blank class=infotextkey>Python
  • Flink
  • DataX
  • Appendix
  • HTTP
  • Pigeon
  • Conditions
  • Switch
  • SeaTunnel
  • Amazon EMR
  • Apache Zeppelin
  • Jupyter
  • Kube.NETes
  • MLflow
  • Openmldb
  • DVC
  • Dinky
  • SageMaker
  • ChunJun
  • Pytorch
  • SubProcess

 

核心功能1-任务配置

  • 点击工作流定义->创建工作流定义->上线工作流定义

 

核心功能2-日志查看

运行工作流定义->点击工作流实例->点击工作流实例名称->双击任务节点->查看任务执行日志

 

 

核心功能3-告警配置

支持邮件、短信、钉钉、微信等告警方式

 

声明:本站部分内容来自互联网,如有版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
▍相关推荐
更多资讯 >>>