主题
核心能力
我的数据空间把大数据与 AI 能力收进一个工作空间,并让它们联动起来。下面是核心能力的概览——数据开发、数据查询、元数据管理打底,AI 查数、智能诊断、智能问答在中间,安全与多租户、平台底座兜底。每块都点到「解决什么场景、有什么亮点」,展开细节看各自的子页面。
数据开发 · 作业与调度
场景 数据开发是整条数据生产的主干:每天要写各类作业、用 DAG 串成工作流、按时调度、失败要能补跑和排查。调度一旦不可靠,整条链路就塌了。
- 十余类作业:SQL / Shell / Python / Spark Jar / Flink SQL / Flink CDC / 离线同步 / Sensor / Notebook 等,覆盖批、流、集成。
- DAG + 子工作流编排,支持版本管理。
- 自研调度引擎:多副本部署下不重复触发、不漏触发,错过的调度自动补跑。
- 联动:作业保存时自动生成血缘;质量规则可作为作业后置门禁;失败可一键 AI 诊断。
数据查询
场景 分析师和开发要随手查数、跨源关联、还得防止一条大查询把集群拖垮。
- 一套编辑器,多引擎自动选路:表感知 SQL 编辑器,按数据源自动选择 Spark / Trino / Doris,对用户透明。
- 跨源联邦查询,交互式分析与批处理在同一套编辑器里完成。
- 逐表鉴权,提交即校验权限,结果异步获取、可直接下载。
- 大查询超时自动熔断,避免长期占用集群资源。
元数据管理与血缘
场景 表越来越多,找不到、看不懂口径、不知道下游谁在用、删一张表怕炸——元数据是数据平台的地基。
- 统一元数据:
catalog.db.table三级坐标,横跨数据湖、OLAP 与外部数据源。 - 快速检索,每张表可查详情、血缘,直接发起查询或授权。
- 表级 / 列级血缘随作业保存自动生成,完整还原加工路径。
- 治理:回收站、TTL、软删,被引用的表不允许误删。
- 授权与存储联动,表级权限变更自动同步到底层存储,上下始终一致。
AI 敢用 · NL2SQL 语义层
场景 业务想自助查数,但直接让大模型写 SQL 会算错口径、可能越权——「AI 生成的 SQL 没人敢真用」。
- 指标口径固化:由语义层保证同一问题在不同场景下答案一致,不是大模型现场瞎猜。
- 歧义主动澄清:模型 / 指标 / 取值有歧义会多轮追问,而不是随便给一个答案。
- 自我修正:结果不对时能自动检查并修正一次。
- 权限不可绕过:AI 生成的查询和人工查询走同一套鉴权,不会越权取数。
AI 智能诊断
场景 作业或工作流跑挂了,靠人工翻日志、猜 Spark / Flink 报错原因,费时又费经验。
- agentic 取证,还会深挖:19 种采集动作真连引擎,模型自己决定查什么,还能点名查某张表某个字段的采样、某个 stage 的明细。
- 给出根因与修复建议:分类 + 根因 + 建议一次性呈现,旁边就是重跑 / 置成功等运维动作。
- 覆盖面广:调度作业(失败/卡住)、即席查询、Notebook cell、对话里贴实例号,都能一键诊断。
- 不中断兜底:模型不可用或持续故障时自动降级为规则诊断,诊断功能始终可用。
智能问答
场景 操作疑问、报错看不懂、指标口径扯不清,总不能每个问题都翻手册或追着数据团队问。
- 答案带出处:基于平台知识库检索问答,回答附来源文档,检索不到就明确说,而不是模型现编。
- 懂口径:指标怎么算、表里有什么字段,直接读语义模型与元数据作答,和实际查数用同一套口径。
- 不确定就反问:问得含糊时给出可点候选,点一下带着选择继续答。
- 意图联动:对话里带上失败实例号,自动转深度诊断。
生产级安全与多租户隔离
场景 多租户数据平台最怕三件事:异常情况下绕过鉴权、密钥散落泄漏、一个空间吃满整个集群。
- 安全默认拒绝:异常或降级路径下,平台选择拒绝而不是放行。
- 双重隔离:每个空间在数据访问和计算资源上都有独立边界,互不影响。
- 资源有配额、有排队,不会被一个空间吃满集群。
- 密钥全程加密,不会明文出现在命令行或日志里。
Notebook 交互式开发
场景 SQL 拿数、Python 分析来回切工具,探索过程留不下来,更没法直接变成生产任务。
- SQL / Python / Markdown 混编:SQL 结果自动变成 DataFrame 变量,Python 直接接着算,变量跨 cell 保持。
- 有状态引擎,空间级共享:真 Spark 引擎常驻复用,依赖装一次全空间共享,各 Notebook 变量互不干扰。
- 探索直通生产:同一份 Notebook 发布版本后即可挂上周期调度,不用改写成脚本。