主题
工作流编排
一个电商数据团队每天凌晨要把前一天的数据全部算一遍:几十张源表抽进湖里,加工成明细、汇总,最后产出十几张看板。表与表之间是真实的读写依赖,谁先谁后、谁能并行,都要由调度来编排。
演示环境里放了两条这样的工作流,都配了每天凌晨的定时调度:
| 工作流 | 规模 | 看点 |
|---|---|---|
| 电商全域数仓日更 | 77 个节点、133 条依赖、11 层 | 规模:从 18 张源表一路算到 14 张看板,一轮约 32 分钟全部成功 |
| 电商经营日报(ODS→ADS) | 6 个节点 | 一条小而完整的链路:触发规则、节点产出、补数 |
1. 77 个节点的全域数仓

从左往右是一天的数据怎么流:
| 层 | 节点数 | 做什么 |
|---|---|---|
| 源表(ODS) | 18 | 订单、订单商品、支付、退款、用户、地址、商品、类目、品牌、店铺、优惠券、用券、加购、浏览埋点、搜索、物流、库存、评价 |
| 维表(DIM) | 7 | 用户、商品(含类目与品牌)、店铺、优惠券、地区、日期、类目 |
| 明细(DWD) | 13 | 订单、订单商品、支付、退款、用券、浏览、会话、搜索、加购、配送、库存、评价、新注册用户 |
| 汇总(DWS) | 22 | 按用户、店铺、商品、类目、品牌、城市、渠道、时段、优惠券、页面、搜索词、快递公司…… |
| 看板(ADS) | 14 | 经营总览、店铺排行、爆款商品、类目看板、转化漏斗、退款监控、物流时效、缺货预警、用户画像…… |
| 控制 | 3 | 「开始」与「看板就绪」两个虚拟节点负责扇出和汇聚,最后一个 Shell 节点发就绪通知 |
表名后缀也是约定:_di 是每天的增量,_df 是全量快照,_1d 是当天的汇总。每张表都按业务日期分区,每个节点只覆盖写自己那一天的分区——同一天重跑、补数,结果不变,也不会重复。
作业在左侧目录里按层归档,和画板上的分层一一对应。
依赖从哪来
依赖不是为了画得好看拼出来的,每一条边都是真实的读写关系:节点的 SQL 读了哪张表,就依赖产出那张表的节点。
最长的一条链是「类目看板」,从源表数起要走 8 步:
类目 → 类目维 → 商品维 → 订单商品明细 → 商品交易日汇总 → 类目交易日汇总 → 类目库存日汇总 → 类目看板
前后再加上「开始」「看板就绪」「就绪通知」,一共 11 层。资源再充足,一轮也不可能比这条链更快:别的节点再快,类目看板也得等它前面 7 步依次做完。
关键节点:一个晚了,一串都得等
有几张表被很多下游共用。它们晚了或者失败了,影响的不是一张表,而是一整片:
| 节点 | 它做了什么 | 直接下游 |
|---|---|---|
| 商品维 | 把商品、类目、品牌拼成一张宽表,下游不用再各自关联三张表 | 8 个:订单商品、加购、库存、评价四张明细,类目、品牌两张汇总,爆款商品、缺货预警两张看板 |
| 订单(源表) | 当天新增的订单 | 5 个:订单、订单商品、支付、退款、配送明细都要拿它对订单 |
| 订单明细 | 给每笔订单带上买家的城市、会员等级和店铺类型 | 5 个:用户、店铺、城市、分时、优惠券汇总 |
| 用户交易日汇总 | 每个用户当天下了几单、付了多少、退了多少 | 5 个:会员等级、新老买家、活跃用户汇总,经营总览、转化漏斗两张看板 |
| 商品交易日汇总 | 每个商品当天的销量、销售额、买家数 | 4 个:类目、品牌汇总,爆款商品、缺货预警 |
| 浏览明细 | 页面浏览埋点带上用户所在城市 | 4 个:会话、页面流量、商品流量、活跃用户 |
上游失败时,下游一个都不会启动:不会出现「商品维没更新,下游拿着昨天的商品信息照样算完」这种数对不上又查不出来的情况。
明细层不只是搬运
明细层把源表里散着的口径统一算好,下游直接用:
- 订单商品明细剔除了已取消的订单 → 所有销量、销售额都不含取消单;
- 支付明细算出从下单到支付用了几分钟 → 支付渠道看板里的「平均支付耗时」;
- 配送明细算出发货时长、配送时长 → 快递时效评级、店铺发货时效;
- 会话明细把一次访问的多条浏览合成一行,标出有没有到过购物车、支付页 → 跳出率、加购率;
- 搜索明细标出没有结果的搜索 → 搜索热词的「无结果率」;
- 评价明细把 2 分及以下标为差评 → 店铺差评率、商品差评数。
2. 14 张看板:产出什么、给谁用
ADS 层的每张表对应一个看板,回答一个具体的业务问题:
| 看板 | 产出 | 谁用、用来做什么 |
|---|---|---|
| 经营总览 | GMV、订单数、买家数、退款率、会话数、支付转化率 | 管理层每天第一眼;哪个数不对再往下钻 |
| 店铺排行 | GMV 前 10 的店铺,带评分和平均发货时长 | 店铺运营:卖得多但评分低、发货慢的店重点跟进 |
| 爆款商品 | 销售额前 20 的商品,带详情页访客、转化率、评分 | 商品运营:首页推荐、资源位给谁 |
| 类目看板 | 各类目销售额占比、库存、可售天数 | 品类经理:看结构,判断哪个类目该备货 |
| 品牌看板 | 品牌销售额排行与占比 | 品牌合作 |
| 转化漏斗 | 首页 → 商品详情 → 购物车 → 支付页 → 下单,每一步的访客数 | 产品、增长:用户在哪一步流失最多 |
| 优惠券效果 | 每张券的领取、使用、使用率、让利金额、带动的订单金额、投入产出比 | 营销:下一期发哪种券 |
| 退款监控 | 每家店的退款率,超过 5% 标红,附当天头号退款原因 | 客服、品控:主动介入高退款的店 |
| 物流时效 | 每家快递的发货时长、配送时长、签收率、A/B/C 评级 | 供应链:订单分给哪家快递 |
| 搜索热词 | 搜索量前 10 的词,带点击率、无结果率 | 搜索、商品:无结果率高说明缺货或缺同义词 |
| 缺货预警 | 库存不够卖 3 天的商品;库存比一天销量还少的标「紧急」 | 采购:当天下补货单 |
| 地区销售 | 大区、省份的销售额与占比 | 区域运营、仓配规划 |
| 用户画像 | 会员等级、新老买家、各城市下单率 | 会员运营 |
| 支付渠道 | 各渠道金额占比、平均支付耗时,以及当天下单高峰时段 | 支付、技术:渠道费率、高峰扩容 |
14 张看板全部写完,「看板就绪」这个汇聚节点才算成功,随后「就绪通知」发出「电商看板 2026-11-19 已就绪」。下游的报表推送、BI 刷新只需要等这一个节点,不用逐张盯 14 张表。
跟着一张看板往回看:缺货预警
以「缺货预警」为例,看一张看板是怎么一步步算出来的:
- 库存:源表是两个仓的库存快照,明细层补上商品所属类目;
- 销量:订单商品明细(已剔除取消单)按商品汇总成当天卖了多少;
- 商品名:来自商品维;
- 缺货预警:两个仓的库存相加,除以当天销量,得到「可售天数」;不足 3 天的进清单,库存连一天都不够卖的标「紧急」。
2026-11-19 这一轮,清单里有 37 个商品,其中 4 个「紧急」。排第一的「相机-207」只剩 10 台,当天卖了 52 台,只够卖 0.2 天:

每一列从哪来,平台在 SQL 执行时自动记下了列级血缘:「可售天数」来自库存明细的库存和商品交易日汇总的销量,商品名来自商品维,再往上能一直追到源表。哪天这张表的数不对,顺着血缘就知道该查哪几个上游:

同一轮的另外几张看板:
- 退款监控:30 家店里有 11 家退款率超过 5% 被标红,最高的一家 7.1%;当天头号退款原因是「尺码不合适」;
- 类目看板:销售额最高的是「运动服」,15.6 万,占 5.9%,库存还够卖 7.5 天;
- 优惠券效果:「满 150 减 5」让利 260 元带动 1.56 万订单金额,投入产出比约 60;「满 250 减 30」只有 10 左右。
3. 跑起来:按依赖推进,按配额排队
77 个节点不会一窝蜂全部启动。一个节点要等所有上游都成功才能开始;就算可以开始了,也还要过空间的资源配额:
- 这个空间批作业的额度是 6 核 CPU;
- 每个 Spark SQL 节点按 2.5 核记账;
- 所以同一时刻最多 2 个节点在跑,其余在队列里等。

运维监控里,同一次运行的每个节点状态一目了然:

橙色的「排队中」和灰色的「等待上游」是两回事:前者上游都已完成、只差资源,后者还有上游没跑完。鼠标停在排队的节点上,会写明它在等什么——「等空间 CPU 额度:本次需 2.5 核,已用 5/6 核」。
配额由空间管理员申请、平台管理员审批。一个空间的作业再多,也只用自己那一份,不会占满整个集群、挤掉别的团队。
4. 跑完的样子
一轮从 10:48 开始,11:20 结束,77 个节点全部成功,中间没有一次重试:

5. 小而完整的一条:经营日报
另一条工作流只有 6 个节点:两路源表并行,汇成订单明细,再分成店铺、城市两个汇总,最后出日报。点开任一节点,能看到它的触发规则和产出:

- 触发规则:默认「全部成功」;「任一成功」适合多个来源取其一;「任一失败」用来挂失败补偿,比如建工单、发通知。
- 产出:「经营日报」把写入行数声明为产出
report_rows,下游节点可以引用这个值,比如据此决定走哪条分支。
自己去看
切到 「展示·数据开发与调度」:
- 数据开发 → 目录「05 全域数仓(大工作流)」→ 电商全域数仓日更:77 个节点的画板;点「记录」看运行历史,点开一次运行,画板按节点状态上色
- 数据查询:缺货预警、退款监控、类目看板、优惠券效果 这一轮的产出(要先切到这个空间再打开)
- 数据管理 → 表管理:在库
showcase_dw里找到ads_inventory_alert_1d,点「血缘」看列级血缘,深度可以一直加到源表 - 数据开发 → 电商经营日报(ODS→ADS):6 个节点的小链路,点节点看属性
- 运维监控 → 作业运维:所有生产作业的最新状态