五层 Medallion 架构
同一份调查数据集的原始、脱敏、暂存、聚合和归档五个层级。
每一层是同一数据在不同质量级别的形态,每张卡说明它存什么、谁写入、如何写入。聚合层是焦点,因为业务读的就是它,归档的推进用虚线。
在编辑器中打开同一数据集按质量分层,从原始落地区到归档。
同一份调查数据集的原始、脱敏、暂存、聚合和归档五个层级。
每一层是同一数据在不同质量级别的形态,每张卡说明它存什么、谁写入、如何写入。聚合层是焦点,因为业务读的就是它,归档的推进用虚线。
在编辑器中打开Medallion 架构(奖牌架构)是 Databricks 推广的湖仓数据分层方法:同一数据集按质量逐层提炼,经典三层是青铜层(原始数据)、白银层(清洗与整合)和黄金层(面向业务的聚合)。实际项目中也会增加脱敏、归档等层。
读图时从左到右或自下而上,每往前一层数据更干净、更可信,也更贴近使用场景。