Stufen eines Datensatzes nach Qualität, von der Rohdaten-Landezone bis zum Archiv.
1 Beispiel: Medallion-Architektur
Medallion-Architektur mit fünf Stufen
Roh-, anonymisierte, Staging-, aggregierte und Archivstufe eines Erhebungsdatensatzes.
Jede Stufe sind dieselben Daten in anderer Qualität, und jede Karte sagt, was sie enthält, wer sie schreibt und wie. Die aggregierte Stufe ist fokal, weil das Geschäft sie liest, und die Archiv-Promotion ist gestrichelt.
Die Medallion-Architektur ist ein Muster für Data Lakehouses, das Databricks bekannt gemacht hat. Daten durchlaufen Qualitätsstufen, klassisch Bronze für Rohdaten, Silber für bereinigte und angereicherte Daten, Gold für geschäftsfertige Aggregate.
Jede Stufe enthält dieselben Daten in höherer Qualität. Du liest das Diagramm von der Landezone zur Gold-Stufe, und jede Karte sagt, was die Stufe enthält, welcher Job sie schreibt und wer sie liest.
Wann eine Medallion-Architektur sinnvoll ist
Beim Aufbau eines Lakehouse, um Teams zu zeigen, aus welcher Stufe Dashboards lesen dürfen.
Wenn regulatorische Anforderungen eigene Stufen verlangen, etwa eine anonymisierte Stufe zwischen Rohdaten und Analyse.
Nicht, um eine ganze Datenplattform mit Quellen und Werkzeugen zu zeigen: Dafür passt eine High-Level-Architektur.
So erstellst du ein gutes Medallion-Diagramm
Benenne die Stufen so, wie sie in deinem Katalog heißen, auch wenn es mehr als drei sind.
Schreib zu jeder Stufe Format, schreibenden Job und Aufbewahrungsdauer.
Hebe die Stufe hervor, die das Geschäft tatsächlich liest.
