数据同步 / 数据集成

此场景需要使用的应用: 数据集成, 数据调度
通过以下 4 步创建批处理数据同步任务, 本案例以 MySQL -> Doris 并且过滤掉 age 字段为例

创建数据连接

• 数据集成 - 数据连接管理 - 创建数据连接
  • 创建 MySQL 类型的源头 MySQLSourceExample
  • 创建 Doris 类型的目标 DorisSinkExample

创建同步任务

每个任务必须有源头和目标

• 点击应用数据集成 - 数据同步
• 点击批处理任务 , 点击创建任务
  • 选择 Zeta 引擎, 任务命名为 mysql_doris_batch_zeta.conf, 点击 确定 继续
  • 拖拽数据源头 - MySQLSourceExample & 数据目标 - DorisSinkExample到画布中
  • 拖拽转换节点 - FilterFieldTransform 选择 age 字段过滤
  • 用箭头按顺序依次连接 MySQLSourceExample、FilterFieldTransform、DorisSinkExample

发布同步任务

• 将数据同步任务配置发布到数据调度应用
  • 数据集成 - 数据同步 - 批处理任务 & 流处理任务列表 - 点击发布 到应用数据调度 的文件路径下
    • 首次使用未创建文件路径, 请点击提示跳转数据调度 - 资源中心创建文件路径, 即创建文件夹 example
    • 回到发布页面中点击刷新, 文件路径选择 example

创建调度工作流

通过数据调度应用创建调度工作流运行数据同步任务

• 点击应用数据调度 - 项目管理
• 点击 创建项目
  • 首次使用需创建项目, 数据调度中的工作流是以项目为维度管理的
  • 创建项目 数据集成 Example
• 点击项目 数据集成 Example - 创建工作流
  • 左侧列表选择 Shell 类型任务节点拖拽至画布中
• 节点名称命名为 mysql_doris_batch_zeta
  • 节点脚本参数填入如下脚本

  /opt/module/seatunnel-2.3.0/bin/seatunnel.sh \
  # -c 后替换为刚才发布的文件路径
  -c example/mysql_doris_batch_zeta.conf \
  -e local
  ```- 节点**资源**参数选择 `example/mysql_doris_batch_zeta.conf`
  - 保存工作流命名为 `mysql_doris_example`

• 回到数据集成 Example 项目内, 找到工作流mysql_doris_example
  • 测试运行: 点击上线, 点击运行即可立即运行测试
  • 定时调度: 点击上线, 点击右侧定时按钮使用 CORN 设置工作流执行周期, 并且点击定时管理再点击上线定时, 工作流则会定时执行