Medallion 架构

同一数据集按质量分层,从原始落地区到归档。

1 个Medallion 架构示例

五层 Medallion 架构

同一份调查数据集的原始、脱敏、暂存、聚合和归档五个层级。

每一层是同一数据在不同质量级别的形态,每张卡说明它存什么、谁写入、如何写入。聚合层是焦点,因为业务读的就是它,归档的推进用虚线。

在编辑器中打开

什么是 Medallion 架构?

Medallion 架构(奖牌架构)是 Databricks 推广的湖仓数据分层方法:同一数据集按质量逐层提炼,经典三层是青铜层(原始数据)、白银层(清洗与整合)和黄金层(面向业务的聚合)。实际项目中也会增加脱敏、归档等层。

读图时从左到右或自下而上,每往前一层数据更干净、更可信,也更贴近使用场景。

什么时候用 Medallion 架构图

  • 设计数据湖或湖仓时,和团队约定每一层的质量标准和访问权限。
  • 向业务方解释为什么报表要等清洗完成后才能使用。
  • 如果要展示多个数据源与系统之间的接口,而非同一数据的质量分层,用数据平台集成图。

怎样画好一张 Medallion 架构图

  1. 每一层写清楚进入条件,例如「去重并通过 schema 校验」。
  2. 标出每层的存储格式和保留期限。
  3. 注明谁可以访问哪一层,原始层通常只对数据工程师开放。