Arquitectura medallion

Niveles de un mismo conjunto de datos por calidad, de la zona de aterrizaje al archivo.

1 ejemplo de arquitectura medallion

Arquitectura medallion de cinco niveles

Niveles raw, anonimizado, staging, agregado y archivo de un mismo conjunto de datos de encuesta.

Cada nivel es el mismo dato con distinta calidad, y cada tarjeta dice qué contiene, quién lo escribe y cómo. El nivel agregado es focal porque es lo que lee el negocio, y la promoción al archivo va discontinua.

Abrir en el editor

¿Qué es una arquitectura medallion?

La arquitectura medallion organiza un lago de datos en niveles de calidad creciente. Databricks la popularizó con tres capas, bronze (datos en bruto), silver (limpios y conformados) y gold (agregados para negocio), aunque muchas plataformas añaden niveles como anonimizado o archivo.

Se lee de izquierda a derecha o de abajo arriba: cada nivel es el mismo conjunto de datos tras una transformación. Las flechas entre niveles nombran el paso, como quitar PII, limpiar o agregar, y cada nivel indica formato, herramienta y quién escribe en él.

Cuándo usar una arquitectura medallion

  • Para explicar a una oficina de estadística cómo pasa una encuesta de datos con PII a indicadores publicables.
  • Para acordar quién puede escribir en cada nivel y qué garantías de calidad ofrece cada uno.
  • Si quieres mostrar toda la plataforma, con fuentes, herramientas y consumidores, usa una arquitectura de alto nivel.

Cómo hacer un buen diagrama de arquitectura medallion

  1. Nombra cada nivel por su función y no solo por su color, sobre todo si tienes más de tres.
  2. Indica en cada nivel el formato (Parquet, Iceberg), la herramienta que escribe y el rol responsable.
  3. Etiqueta las transiciones con la transformación en mayúsculas cortas: QUITAR PII, LIMPIAR, AGREGAR.
  4. Destaca el nivel que consume el negocio; es el que justifica todo lo anterior.