我的数据空间

主题

离线集成（DATA_SYNC）作业 ​

场景　外部业务库/文档库定期批量同步进湖仓,配置化,不用写代码。典型如把 MySQL/PostgreSQL 的业务表整表同步进 Iceberg,作为下游加工的 ODS 层。

能干什么

你想做的事配置成 DATA_SYNC 长这样(示意)
整表同步业务库数据源 mysql_demo.orders → 目标 iceberg_lake.ods.orders,全量覆盖
只同步部分字段字段映射里取消勾选不需要的列
同步进已有表建表方式选「选现存表」,按已有字段名映射
MongoDB 集合入湖provider 选 mongodb,集合当表用

亮点 ​

  • 多源一套流程——MySQL / PostgreSQL / MongoDB,以及信创国产库(达梦、人大金仓、openGauss、华为 GaussDB、OceanBase)统一走同一套「注册数据源 → 建 DATA_SYNC 作业」流程,不用为每种源单独学一套工具。
  • 凭据不进作业配置——数据源密码只存在 catalog 的连接配置里(脱敏展示);作业本身只引用数据源 ID,实际用户名密码由调度侧在运行时注入,作业定义和运行日志里都看不到明文。
  • 建表或复用现存表都行——目标表可以现建(平台按勾选的字段自动建 Iceberg 表),也可以选一张已有表,按字段名映射写入。
  • 全量覆盖或追加,按需选——写入模式两种:「全量覆盖」整表重写,「追加」在原表基础上加一批;没有增量/CDC 判定,要做实时增量入湖用实时集成(Flink CDC)。
  • 跟批作业共用资源池——DATA_SYNC 底层也是提交到本空间的 Spark k8s Job,和 Spark SQL 作业共用同一份「批作业资源」配额,不用为它额外申请。
  • 本质是可读的 SQL,不是黑盒——底层会把表单配置编译成两段 SQL(建临时视图读源 + INSERT 写目标),运行日志里能看到实际执行的语句,方便排查。

完整操作示例:MySQL 业务表同步进 Iceberg ​

下面是一次真实的整表同步:把业务库 MySQL 里的 orders 表同步进湖仓,再查一遍验证数据到了。

前置条件　DATA_SYNC 的源必须先注册成「数据源」类型的 catalog(区别于 Spark SQL 直接用湖仓/OLAP catalog)。先在「数据管理 → catalog 管理 → 注册 catalog」,provider 选 mysql/postgresql/mongodb 等,填连接串、用户名、密码、绑定的库,注册完才能在 DATA_SYNC 里选到它。

注册 MySQL 数据源 catalog

1. 配置源表、目标表与字段映射 ​

新建「离线集成」作业:选刚注册的数据源和其中的 orders 表当源;目标选湖仓 catalog、库,建表方式选「新建表」,平台按勾选的字段自动建 Iceberg 表;写入模式选「全量覆盖」。

离线集成作业的完整配置

2. 运行并核对结果 ​

保存后「运行一次」,几秒内跑完。作业详情页能看到源 → 目标的映射关系,以及这次运行成功、耗时多久。

离线集成作业运行成功

底层实际编译执行的是这样两段 SQL(运行日志里可见):

sql
CREATE TEMPORARY VIEW _ds_src USING jdbc OPTIONS (
  url 'jdbc:mysql://mysql.datastudio.svc.cluster.local:3306/demo_source?useSSL=false&allowPublicKeyRetrieval=true',
  dbtable 'demo_source.orders',
  user '__DS_SRC_USER__', password '__DS_SRC_PWD__',
  driver 'com.mysql.cj.jdbc.Driver'
);

INSERT OVERWRITE TABLE `iceberg_lake`.`site_demo_ws10`.`ods_orders_from_mysql`
SELECT `id` AS `id`, `user_id` AS `user_id`, `amount` AS `amount`,
       `status` AS `status`, `create_time` AS `create_time`
FROM _ds_src

用户名密码是运行时才注入的占位符,作业配置和日志里都不会出现明文密码。

3. 查询同步进来的数据 ​

同步进 Iceberg 之后就是一张普通湖表,走共享 Trino 引擎直接查:

sql
SELECT * FROM iceberg_lake.site_demo_ws10.ods_orders_from_mysql ORDER BY id

查询同步进来的订单数据

想直接对着湖表写批处理逻辑,看Spark SQL 作业;想了解作业跑挂了怎么办,看AI 智能诊断。

看全部作业类型 →