Skip to content

工作流编排 ​

一个电商数据团队每天凌晨要把前一天的数据全部算一遍:几十张源表抽进湖里,加工成明细、汇总,最后产出十几张看板。表与表之间是真实的读写依赖,谁先谁后、谁能并行,都要由调度来编排。

演示环境里放了两条这样的工作流,都配了每天凌晨的定时调度:

工作流规模看点
电商全域数仓日更77 个节点、133 条依赖、11 层规模:从 18 张源表一路算到 14 张看板,一轮约 32 分钟全部成功
电商经营日报(ODS→ADS)6 个节点一条小而完整的链路:触发规则、节点产出、补数

1. 77 个节点的全域数仓 ​

「电商全域数仓日更」工作流画板:左侧目录「05 全域数仓(大工作流)」下按层分了六个子目录;画板上「开始」节点扇出到 18 张源表,经维表、明细、汇总逐层收敛到 14 张看板,最后汇聚到「看板就绪」和「就绪通知」;顶栏显示 77 节点、133 依赖,每天 01:00 调度

从左往右是一天的数据怎么流:

层节点数做什么
源表(ODS)18订单、订单商品、支付、退款、用户、地址、商品、类目、品牌、店铺、优惠券、用券、加购、浏览埋点、搜索、物流、库存、评价
维表(DIM)7用户、商品(含类目与品牌)、店铺、优惠券、地区、日期、类目
明细(DWD)13订单、订单商品、支付、退款、用券、浏览、会话、搜索、加购、配送、库存、评价、新注册用户
汇总(DWS)22按用户、店铺、商品、类目、品牌、城市、渠道、时段、优惠券、页面、搜索词、快递公司……
看板(ADS)14经营总览、店铺排行、爆款商品、类目看板、转化漏斗、退款监控、物流时效、缺货预警、用户画像……
控制3「开始」与「看板就绪」两个虚拟节点负责扇出和汇聚,最后一个 Shell 节点发就绪通知

表名后缀也是约定:_di 是每天的增量,_df 是全量快照,_1d 是当天的汇总。每张表都按业务日期分区,每个节点只覆盖写自己那一天的分区——同一天重跑、补数,结果不变,也不会重复。

作业在左侧目录里按层归档,和画板上的分层一一对应。

依赖从哪来 ​

依赖不是为了画得好看拼出来的,每一条边都是真实的读写关系:节点的 SQL 读了哪张表,就依赖产出那张表的节点。

最长的一条链是「类目看板」,从源表数起要走 8 步:

类目 → 类目维 → 商品维 → 订单商品明细 → 商品交易日汇总 → 类目交易日汇总 → 类目库存日汇总 → 类目看板

前后再加上「开始」「看板就绪」「就绪通知」,一共 11 层。资源再充足,一轮也不可能比这条链更快:别的节点再快,类目看板也得等它前面 7 步依次做完。

关键节点:一个晚了,一串都得等 ​

有几张表被很多下游共用。它们晚了或者失败了,影响的不是一张表,而是一整片:

节点它做了什么直接下游
商品维把商品、类目、品牌拼成一张宽表,下游不用再各自关联三张表8 个:订单商品、加购、库存、评价四张明细,类目、品牌两张汇总,爆款商品、缺货预警两张看板
订单(源表)当天新增的订单5 个:订单、订单商品、支付、退款、配送明细都要拿它对订单
订单明细给每笔订单带上买家的城市、会员等级和店铺类型5 个:用户、店铺、城市、分时、优惠券汇总
用户交易日汇总每个用户当天下了几单、付了多少、退了多少5 个:会员等级、新老买家、活跃用户汇总,经营总览、转化漏斗两张看板
商品交易日汇总每个商品当天的销量、销售额、买家数4 个:类目、品牌汇总,爆款商品、缺货预警
浏览明细页面浏览埋点带上用户所在城市4 个:会话、页面流量、商品流量、活跃用户

上游失败时,下游一个都不会启动:不会出现「商品维没更新,下游拿着昨天的商品信息照样算完」这种数对不上又查不出来的情况。

明细层不只是搬运 ​

明细层把源表里散着的口径统一算好,下游直接用:

  • 订单商品明细剔除了已取消的订单 → 所有销量、销售额都不含取消单;
  • 支付明细算出从下单到支付用了几分钟 → 支付渠道看板里的「平均支付耗时」;
  • 配送明细算出发货时长、配送时长 → 快递时效评级、店铺发货时效;
  • 会话明细把一次访问的多条浏览合成一行,标出有没有到过购物车、支付页 → 跳出率、加购率;
  • 搜索明细标出没有结果的搜索 → 搜索热词的「无结果率」;
  • 评价明细把 2 分及以下标为差评 → 店铺差评率、商品差评数。

2. 14 张看板:产出什么、给谁用 ​

ADS 层的每张表对应一个看板,回答一个具体的业务问题:

看板产出谁用、用来做什么
经营总览GMV、订单数、买家数、退款率、会话数、支付转化率管理层每天第一眼;哪个数不对再往下钻
店铺排行GMV 前 10 的店铺,带评分和平均发货时长店铺运营:卖得多但评分低、发货慢的店重点跟进
爆款商品销售额前 20 的商品,带详情页访客、转化率、评分商品运营:首页推荐、资源位给谁
类目看板各类目销售额占比、库存、可售天数品类经理:看结构,判断哪个类目该备货
品牌看板品牌销售额排行与占比品牌合作
转化漏斗首页 → 商品详情 → 购物车 → 支付页 → 下单,每一步的访客数产品、增长:用户在哪一步流失最多
优惠券效果每张券的领取、使用、使用率、让利金额、带动的订单金额、投入产出比营销:下一期发哪种券
退款监控每家店的退款率,超过 5% 标红,附当天头号退款原因客服、品控:主动介入高退款的店
物流时效每家快递的发货时长、配送时长、签收率、A/B/C 评级供应链:订单分给哪家快递
搜索热词搜索量前 10 的词,带点击率、无结果率搜索、商品:无结果率高说明缺货或缺同义词
缺货预警库存不够卖 3 天的商品;库存比一天销量还少的标「紧急」采购:当天下补货单
地区销售大区、省份的销售额与占比区域运营、仓配规划
用户画像会员等级、新老买家、各城市下单率会员运营
支付渠道各渠道金额占比、平均支付耗时,以及当天下单高峰时段支付、技术:渠道费率、高峰扩容

14 张看板全部写完,「看板就绪」这个汇聚节点才算成功,随后「就绪通知」发出「电商看板 2026-11-19 已就绪」。下游的报表推送、BI 刷新只需要等这一个节点,不用逐张盯 14 张表。

跟着一张看板往回看:缺货预警 ​

以「缺货预警」为例,看一张看板是怎么一步步算出来的:

  • 库存:源表是两个仓的库存快照,明细层补上商品所属类目;
  • 销量:订单商品明细(已剔除取消单)按商品汇总成当天卖了多少;
  • 商品名:来自商品维;
  • 缺货预警:两个仓的库存相加,除以当天销量,得到「可售天数」;不足 3 天的进清单,库存连一天都不够卖的标「紧急」。

2026-11-19 这一轮,清单里有 37 个商品,其中 4 个「紧急」。排第一的「相机-207」只剩 10 台,当天卖了 52 台,只够卖 0.2 天:

查询缺货预警表 2026-11-19 的分区:按可售天数排序,相机-207 库存 10、当天销量 52、可售 0.2 天,标紧急;生鲜-52、茶饮-187、床品-58 也是紧急,之后是关注级别

每一列从哪来,平台在 SQL 执行时自动记下了列级血缘:「可售天数」来自库存明细的库存和商品交易日汇总的销量,商品名来自商品维,再往上能一直追到源表。哪天这张表的数不对,顺着血缘就知道该查哪几个上游:

缺货预警表的列级血缘,往上两层:库存来自库存明细 ← 库存源表;销量来自商品交易日汇总 ← 订单商品明细;商品名来自商品维 ← 商品源表、类目维、品牌源表

同一轮的另外几张看板:

  • 退款监控:30 家店里有 11 家退款率超过 5% 被标红,最高的一家 7.1%;当天头号退款原因是「尺码不合适」;
  • 类目看板:销售额最高的是「运动服」,15.6 万,占 5.9%,库存还够卖 7.5 天;
  • 优惠券效果:「满 150 减 5」让利 260 元带动 1.56 万订单金额,投入产出比约 60;「满 250 减 30」只有 10 左右。

3. 跑起来:按依赖推进,按配额排队 ​

77 个节点不会一窝蜂全部启动。一个节点要等所有上游都成功才能开始;就算可以开始了,也还要过空间的资源配额:

  • 这个空间批作业的额度是 6 核 CPU;
  • 每个 Spark SQL 节点按 2.5 核记账;
  • 所以同一时刻最多 2 个节点在跑,其余在队列里等。

运行中的实例画板:绿框是已成功的节点,蓝框是正在运行的,其余还在等上游或排队

运维监控里,同一次运行的每个节点状态一目了然:

运行到第 21 分钟的实例:明细层已全部成功,两个汇总节点运行中,十几个汇总和看板节点「排队中」,其余「等待上游」

橙色的「排队中」和灰色的「等待上游」是两回事:前者上游都已完成、只差资源,后者还有上游没跑完。鼠标停在排队的节点上,会写明它在等什么——「等空间 CPU 额度:本次需 2.5 核,已用 5/6 核」。

配额由空间管理员申请、平台管理员审批。一个空间的作业再多,也只用自己那一份,不会占满整个集群、挤掉别的团队。

4. 跑完的样子 ​

一轮从 10:48 开始,11:20 结束,77 个节点全部成功,中间没有一次重试:

整轮跑完的实例画板:77 个节点全部为绿色的成功状态

5. 小而完整的一条:经营日报 ​

另一条工作流只有 6 个节点:两路源表并行,汇成订单明细,再分成店铺、城市两个汇总,最后出日报。点开任一节点,能看到它的触发规则和产出:

「电商经营日报」画板,右侧是「经营日报」节点的属性:上游触发规则(全部成功 / 任一成功 / 任一失败)、产出 report_rows = 写入行数

  • 触发规则:默认「全部成功」;「任一成功」适合多个来源取其一;「任一失败」用来挂失败补偿,比如建工单、发通知。
  • 产出:「经营日报」把写入行数声明为产出 report_rows,下游节点可以引用这个值,比如据此决定走哪条分支。

自己去看 ​

切到 「展示·数据开发与调度」:

  • 数据开发 → 目录「05 全域数仓(大工作流)」→ 电商全域数仓日更:77 个节点的画板;点「记录」看运行历史,点开一次运行,画板按节点状态上色
  • 数据查询:缺货预警、退款监控、类目看板、优惠券效果 这一轮的产出(要先切到这个空间再打开)
  • 数据管理 → 表管理:在库 showcase_dw 里找到 ads_inventory_alert_1d,点「血缘」看列级血缘,深度可以一直加到源表
  • 数据开发 → 电商经营日报(ODS→ADS):6 个节点的小链路,点节点看属性
  • 运维监控 → 作业运维:所有生产作业的最新状态
下一篇:运维与补数 →