DolphinScheduler官方版

DolphinScheduler简介

DolphinScheduler提供工作流设计功能，可以帮助企业通过这个软件设计工作流，将各种工作计划导入到软件中，建立可视化的调度平台，从而使复杂的数据和工作流更加清晰，用户更容易管理自己的工作，将所有的流程定义可视化，直接在软件中拖动相关任务在软件中绘制DAG，然后连接数据库配置数据源和资源建立工作流。同时为第三方系统提供api模式，实现多对一或一对一映射，对于调度大数据作业非常重要。机器上可以调度的任务数量可以灵活配置，当任务队列中缓存任务过多时，机器不会被阻塞！

DolphinScheduler软件功能

1.通过DAG图的方式根据任务的依赖关系连接任务，可以实时直观地监控任务的运行状态。

2.支持丰富的任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql)、Python、Sub_Pcess、Pcedure等。

3.支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，支持故障重试/告警、从指定节点恢复故障、Kill任务等。

4.支持工作流优先级、任务优先级、任务故障转移和任务超时告警/故障。

5.支持工作流全局参数和节点用户自定义参数设置。

6.支持资源文件的在线上传/下载和管理，支持在线文件创建和编辑。

7.支持任务日志在线查看、日志动态在线下载等。

8.实现集群HA，通过Zookeeper实现主集群和工作者集群的去中心化。

9.支持在线查看主/工作cpu负载、内存和cpu。

10.支持工作流运行历史树/甘特图、任务状态统计和流程状态统计的显示。

1.支持补充

12.支持多租户。

13.支持国际化

DolphinScheduler软件特色

1.高科

分布式多主机和多路复用、高可用性自我支持、过载处理

2.使用方便

所有的过程定义都是可视化的，可视化的过程一目了然，关键可以通过一键部署来定义。

3.丰富的场景

支持暂停和恢复工作。支持多租户。支持更多的任务类型，比如spark、hive、mr、shell、python、sub_pcess。

4.高膨胀

支持自定义任务类型、分布式规划和整体规划的能力将随着集群规模的增加而增加。

DolphinScheduler使用说明

快速启动

管理员用户登录

地址:http://192 . 168 . xx . xx:12345/dolphin scheduler用户名和密码:admin/dolphinscheduler123

创建队列

创建租户

创建普通用户

创建警报组

创建工作人员组

创建令牌

以普通用户身份登录。

点击右上角的用户名“退出”，重新使用正常的用户登录名。

项目管理->；创建项目->。单击项目名称。

单击工作流定义->。创建工作流定义->。在线流程定义

运行过程定义->；单击工作流实例->；单击流程实例名称->。双击任务节点->；查看任务执行日志

DolphinScheduler作指南

1.主页

主页包含所有用户项目的任务状态统计、流程状态统计和工作流定义统计。

2.项目管理

2.1创建项目

点击“项目管理”进入项目管理页面，点击“创建项目”按钮，输入项目名称和描述，点击“提交”创建新项目。

2.2项目主页

在项目管理页面点击项目名称链接，进入项目首页，如下图所示，包含项目的任务状态统计、流程状态统计、工作流定义统计。

任务状态统计:统计指定时间范围内任务实例成功提交、正在运行、准备暂停、准备停止、停止、失败、成功、容错、终止、等待线程的数量。

流程统计:在指定的时间范围内，统计工作流实例提交成功、正在运行、准备暂停、暂停、准备停止、停止、失败、成功、容错、终止、等待线程的状态。

工作流定义统计:计算该用户创建的工作流定义以及管理员授予该用户的工作流定义。

2.3工作流定义

2.3.1创建工作流定义

单击项目管理->；工作流程->；工作流定义进入工作流定义页面，点击“创建工作流”按钮，进入工作流DAG编辑页面，如下图所示:

在工具栏中拖动，将Shell任务添加到画板中，如下图所示:

为此外壳任务添加参数设置:

1.填写“节点名称”、“描述”和“脚本”字段；

2.“正常”“运行标志”。如果选择“禁止执行”，则工作流运行时不会执行任务；

3.选择“任务优先级”:当工作线程数不足时，高级任务将首先在执行队列中执行，优先级相同的任务将按先进先出的顺序执行；

4.超时报警(可选):超时报警和超时失败，填写“超时时间”。当任务执行时间超过超时时，会发送提醒邮件，任务超时失败；

5.资源(可选)。文件位于资源中心->:在文件管理页面上创建或上传的文件。比如文件名为test.sh，脚本中调用资源的命令为sh test.sh

6.用户定义的参数(可选)

7.点击“确认添加”按钮保存任务设置。

增加任务执行顺序:点击右上角的连接图标连接任务；如下图所示，任务2和任务3并行执行。任务1完成后，任务2和任务3将同时执行。

删除依赖关系:点击右上角的箭头图标，选择连接器，点击右上角的删除图标，删除任务之间的依赖关系。

保存工作流定义:点击〖保存〗按钮，弹出“设置DAG图表名称”对话框，如下图所示。输入工作流定义名称、工作流定义描述，设置全局参数(可选，请参考“自定义参数”)，点击“添加”按钮，成功创建工作流定义。

2.3.2工作流被定义为功能

单击项目管理->；工作流程->；工作流定义进入工作流定义页面，如下所示:

工作流定义列表的功能如下:

编辑:只能编辑脱机工作流定义。工作流DAG编辑与创建工作流定义相同。

在线:当工作流状态为离线时，用于在线工作流。只有在线状态的工作流可以运行，但不能编辑。

离线:当工作流状态为在线时，用于离线工作流。只能编辑脱机工作流，但不能运行。

运行:只能运行在线工作流。有关步骤，请参见2.3.3运行工作流。

时间:只能在在线工作流中设置时间，系统会自动安排工作流定期运行。计时器创建后的状态为“脱机”，计时器必须在计时器管理页面上联机才能生效。计时步骤请参考2.3.4工作流计时。

定时管理:可以编辑、在线/离线、删除定时管理页面。

删除:删除工作流定义。

下载:本地下载工作流定义。

树形图:以树形结构显示任务节点类型和任务状态，如下图所示:

2.3.3运行流程

单击项目管理->；工作流程->；工作流定义，进入工作流定义页面，如下图所示，点击“在线”按钮启动工作流。

点击“运行”按钮，弹出设置启动参数的弹出框，如下图，设置启动参数，点击弹出框中的“运行”按钮，工作流开始运行，工作流实例页面生成工作流实例。

作为参数描述的工作流程:

*失败策略:当一个任务节点执行失败时，其他并行任务节点需要执行该策略。“继续& # 8221；意味着:某个任务失败后，其他任务节点正常执行；“End & # 8221意味着:终止所有正在执行的任务，并终止整个pcess。

*通知策略:pcess结束后，根据pcess状态发送pcess执行信息通知邮件，包括任何未发送、发送成功、发送失败、发送成功或发送失败的状态。

* Pcess操作范围:Pcess操作范围，分为五个级别:最高(最高)、高(高)、中(中)、低(低)和最低(最低)。当主线程数量不足时，高ll pcesses将首先在执行队列中执行，具有相同poty的PC ass将以先进先出的顺序执行。

* Worker gup:pcess只能在指定的Worker机器gup中执行。爆燃是爆燃，可以在任何工人身上执行。

*通知gup:选择通知策略| |超时报警| |当flt容差发生时，pcess信息或电子邮件将发送给通知gup中的所有成员。

*收件人:选择通知策略| |超时报警| |当出现flt容差时，将向收件人列表发送pcess信息或报警电子邮件。

* Cc:选择通知策略| |超时报警| |当flt容差出现时，pcess信息或警告电子邮件将被复制到Cc列表中。

*补语:包括封补和并补两种模式。封存补码:在规定的时间范围内，补码从开始日期到结束日期依次执行，只生成一个pcess实例；并行补全:在指定的时间范围内，多天同时补全，生成N个pcess实例。

比如你需要填写5月1日到5月10日的数据。

串行模式:从5月1日到5月10日依次执行补集，在流程实例页面生成流程实例。

并行模式:5月1日至5月10日的任务同时执行，在流程实例页面生成10个流程实例。

DolphinScheduler常见问题

问:这个项目叫什么？

答:在1.2版本之前，项目名是EasyScheduler，在1.2版本之前，项目名是DolphinScheduler。

Q: DolphinScheduler服务介绍和推荐运行内存

A: DolphinScheduler包含五个服务，MasterServer、WorkerServer、ApiServer、AlertServer、LoggerServer和UI。

问:pip安装kazoo这个安装有一个错误。需要安装吗？

答:这是Zookeeper删除Zookeeper中的主/工作临时节点需要用到的python连接。因此，如果您是第一次安装，可以忽略此错误。1.3.0版本之后，不再需要Kazuo了，我们用程序代替Kazuo做的工作。

问:如何指定机器操作任务？

答:对于1.2及更低版本，请使用管理员创建工作组，在流程定义开始时指定工作组，或在任务节点上指定工作组。如果未指定，则使用默认值。默认值是选择群集中的一个工作人员来提交和执行任务。在1.3版中，您可以为设置工作组。

问:任务的优先级。

答:我们也支持流程和任务的优先级。我们有五个优先级:最高、最高、中等、最低和最低。您可以在不同的流程实例之间设置优先级，也可以在同一流程实例中设置不同任务实例的优先级。

问:dolphinscheduler-grpc出现错误。

答:在根目录下运行:MVN-U Clean Package Assembly:Assembly-D maven . test . skip = true，刷新整个项目。1.3版本不使用grpc，我们直接使用netty。

问:DolphinScheduler支持在Windows上运行吗？

答:理论上，只有Worker需要在Linux上运行。其他服务可以在Windows上正常运行。但是，仍然建议在Linux上部署。

问:UI会在Linux中编译节点-sass提示:错误:EACCESS:权限被拒绝，mkdir xxxx

答:单独安装NPM安装节点& # 8211不安全-perm，然后安装npm。