主题
功能巡览
以下截图均取自运行中的我的数据空间。按典型工作路径组织:从进入空间、接入数据,到开发调度、查询分析,再到运维治理与 AI 辅助。每一站想深入,跟着「深入」链接去对应能力页。
概览:一个工作空间看全局
进入即见本空间全貌:一排卡片给出生产作业(含失败数)、数据表、Notebook 内核、语义模型、我的查询与近期告警;下方是资源配额的申报 / 配给 / 实测三口径用量、**本月账单(预估)**与 LAKE 表存储量,再往下生产运行态、最近查询、最近告警实时滚动——空间健康度一屏看全。

数据查询:一套编辑器,三引擎执行
表感知的 SQL 编辑器,引擎可选 AUTO / Spark(Kyuubi)/ Doris / Trino。下图查询执行于 Kyuubi → Spark → Iceberg,对 iceberg_lake.ds_demo.orders 按状态聚合,1.0s 返回结果;提交即做语法检查 + 逐表权限检查,结果落对象存储,支持全量下载(受安全上限保护)。深入:数据查询。

AI 问数:口径由语义层保证,不是模型现猜
业务用自然语言问「7 月各支付渠道的营收」,大模型只负责解析意图,SQL 由语义层按预定义的指标口径确定性编译——下图编译出的查询真实执行,营收自动排除了已退款订单,和口径定义一字不差。问得含糊时会先给可点选项澄清,权限与人工查询同一套。深入:NL2SQL 语义层。

数据开发:DAG 编排 + 自研调度
把多个作业用 DAG 串起来,按上游触发规则(全成功 / 任一成功…)拓扑推进。作业类型覆盖 Spark SQL / Shell / Python / Spark Jar / Flink SQL / Flink CDC / 数据同步 / Notebook / Sensor / Dummy;调度引擎为自研:定时触发 + 错过自动补跑 + 节点级超时 + 编排环检测 + 时间参数,多副本部署下不重复触发、不漏触发。深入:数据开发。

Notebook:SQL 拿数、Python 接着算
SQL / Python / Markdown 混编,SQL cell 的结果自动变成 DataFrame 变量,Python cell 直接拿来清洗、画图——下图 df_1 一路从 SQL 查询流到中文标题的柱状图。引擎常驻有状态,变量跨 cell 保持;同一份 Notebook 发布版本后可直接挂上周期调度。深入:Notebook 交互式开发。

运维监控:生产作业一览 + 实例钻取
按任务维度看谁在跑、谁失败、最新状态与历史次数;支持类型过滤、自动刷新。下图 13 个生产作业涵盖批、流(Flink CDC 常驻)、离线同步等全部类型。

AI 智能诊断:失败实例一键根因
对失败实例做 agentic 取证——模型自主决定采集什么:日志、运行信息、Spark pod 死因、Flink 根异常、血缘,还能点名深挖某张表的采样、某个 stage 的明细——最后给出分类 + 根因 + 建议,并展开关键错误与诊断过程。旁边即是「重跑 / 置成功」运维动作。深入:智能诊断。

资源配额:申报 / 配给 / 实测三口径
每空间的批/流作业资源与 Spark 查询引擎规格独立管理。进度条为申报/配额,下方「配给」= k8s 实际给 pod 的 limit 之和,「实测」= metrics-server 实际用量——三口径并列,自动揭示虚占与超用。每空间落独立 k8s namespace,由 ResourceQuota / LimitRange 硬性兜底。深入:安全与多租户。

平台运营:多空间配额治理
平台运营(super_admin)视角集中审批各空间的配额申请(批作业 / 查询引擎 / 交互式内核),也可直接发放或调整任意空间的配额。

数据管理:统一元数据与分层建模
catalog.db.table 三级坐标,检索快速定位。下图 21 张表跨 iceberg_lake(ODS / DWS / ADS 分层)、doris_demo(OLAP 服务层)与 mongodb_demo(schemaless 采样推断),每张表可查详情、血缘、发起查询、空间授权。深入:元数据管理。

数据血缘:表级 + 列级
血缘边由调度系统在作业保存时自动解析 SQL / CDC 字段映射产出。下图焦点表 dws_orders_hourly 的上游链路:mysql_demo.orders →(列级实线)ecom.ods_orders →(表级虚线)ecom.dws_orders_hourly,完整还原 CDC → ODS → DWS 的加工路径。深入:数据血缘。

AI 助手「工小数」:带出处的智能问答
基于平台知识库回答业务 / 操作 / 报错问题,答案附引用出处(可点开看原文);指标口径、表结构直接读语义模型与元数据作答,和实际查数同一套口径。问得含糊会给可点选项反问;对话里贴失败实例号,自动转深度诊断。深入:智能问答。

数据质量(DQC):作业后置门禁
对表(可选列)定义校验规则(行数 / 空值 / 唯一性 / 值域 / 跨表一致性),经查询引擎实跑聚合 SQL 比较阈值,得通过/未通过,可作为作业的后置门禁,脏数据不流向下游。

工作空间与权限:空间为最小授权单元
空间信息、成员与角色(属主 / 管理员 / 开发 / 访客)、访问令牌(OpenAPI X-Token,他人令牌默认脱敏)、以及底层系统账号的凭据/密钥托管(DB / 对象存储 / 通用密钥加密存储)。授权湖表时联动下发对象存储前缀策略。深入:安全与多租户。
