Das DataOps-Qualitätsmanifest
Nach Jahren der Arbeit mit Datenteams jeder Größe und jedes Technologie-Stacks sind wir überzeugt: Qualität entsteht nur durch Tests, und was getestet werden muss, ist die gesamte Lieferung, nicht nur die Daten. Perfekte Daten, die durch den falschen Code, den falschen Bericht oder das falsche Modell laufen, sind trotzdem ein Fehler, und Ihr Kunde sieht keinen Unterschied. Wir waren selbst die lästige Stimme, die ständig Datenqualität anmahnt. Wir haben Zeilenzahlen per Augenmaß geprüft und gehofft. Wir haben das zwölfmonatige Assessment durchgeführt, das ein Dokument erzeugt und nichts behoben hat. Wir haben das Dashboard gebaut, das niemand geöffnet hat, und wir haben um 9 Uhr vom Kunden erfahren, dass die Daten falsch sind. Wir wollen eine Methode, die Qualität an jedem Punkt beweist, mit Tests, die ohne Helden an der Tastatur laufen, und mit Belegen, die wir der Person übergeben können, die das Problem beheben kann. Das DataOps-Manifest sagt, Qualität steht über allem. Das Data Journey Manifest sagt, es ist nicht in Ordnung, wenn Kunden die Probleme finden. So setzen wir beides in die Praxis um.
Unterschreiben Sie das ManifestDurch unsere Arbeit haben wir Folgendes zu schätzen gelernt:
- Automatisierte Tests statt Hoffnung und manueller Prüfungen
- Kontinuierliche Praxis statt einmaliger Projekte
- Messung statt Meinung
- Generierte Tests statt handgeschriebener Regeln
- Testabdeckung statt Lineage-Diagrammen
- Qualitätsstationen an der Linie statt Inspektion am Ende
- Einfluss und Belege statt Anordnungen
- Heute zu 70 % funktionieren statt irgendwann perfekt
24 Prinzipien in sechs Gruppen, plus eins. Wählen Sie eines aus, um dorthin zu springen.
1-4
Belege
-
1
Sie wissen nur, was Sie getestet haben
Hoffnung ist kein Test. Ein Business-Review oder ein grüner Pipeline-Lauf auch nicht. Wenn kein Test es geprüft hat, wissen Sie nicht, ob es stimmt.
-
2
Daten testen, Tools beobachten
Qualität ist Datenqualität plus Prozessqualität. Eine perfekte Tabelle ist nutzlos, wenn die Aktualisierung nie gelaufen ist, und ein grüner Job sagt nichts über die Zahlen darin. Prüfen Sie jedes Tool auf Fehler und auf Timing.
-
3
Keine manuellen Prüfungen
Manuelle Prüfungen laufen, wenn jemand daran denkt, und um 2 Uhr nachts denkt niemand daran. Ihre Daten kommen jeden Tag, also läuft jeder Test automatisch, bei jedem Ladevorgang. Das Data Journey Manifest sagt es deutlich: Meiden Sie manuelle Qualitätstests wie die Pest.
-
4
Erst messen, dann Standards setzen
Profilieren Sie Ihre Daten, erstellen Sie Tests, und lassen Sie die Baseline zeigen, wie die Standards aussehen sollten. Ein Gremium, das sie zuerst schreibt, verzögert jede Entscheidung danach. Ohne Testergebnisse sind Sie nur eine weitere Person mit einer Meinung.
5-6
Menschen
-
5
Fangen Sie mit einer Person an
Eine motivierte Person mit einem kostenlosen Tool schlägt einen Lenkungsausschuss mit Satzung. Finden Sie die Person, die keine Ruhe gibt, und geben Sie ihr Belege in die Hand.
-
6
Einfluss ist die Aufgabe
Wer einen Fehler findet, besitzt selten das System, das ihn erzeugt hat. Quelldaten sind gut genug für den Zweck, für den sie gebaut wurden, also hat ihr Eigentümer keinen Grund, sie zu ändern. Machen Sie es leicht, zur Korrektur Ja zu sagen.
7-9
Tests
-
7
Lassen Sie das Profil die Tests schreiben
Hunderte Tests pro Tabelle von Hand zu schreiben, wird nie fertig. Generieren Sie sie, und heben Sie Ihr SQL für die Geschäftsregeln auf, die nur Ihre Fachexperten kennen.
-
8
Tests sind eine gemeinsame Ressource
Analyst, Data Steward, Engineer und Modell arbeiten alle an derselben Regel, und nur einer von ihnen hat einen Git-Account. Halten Sie jeden Test und jedes Ergebnis in einer maßgeblichen Datenbank, erreichbar für Menschen über eine UI, für Code über eine API und für ein Modell über MCP. Eine Kopie ist maßgeblich, und jede Änderung geht nach Git, für Diff, Review und Rollback.
-
9
Heute 70 % schlägt irgendwann perfekt
Liefern Sie heute Nachmittag einen funktionierenden Test. Jede Runde lehrt Sie etwas über Ihre Daten, und die Standards werden mit jeder besser.
10-13
Scores und Handeln
-
10
Bewerten Sie, was zählt
Niemand ändert sein Verhalten wegen einer Faxnummer-Spalte. Bewerten Sie die Elemente, die Ihrem Kunden wichtig sind, und erstellen Sie für jeden Kunden einen eigenen Score.
-
11
Jeder Score führt zu einem Test
Ein Score ohne Weg zur Korrektur ist Rauschen. Jede Zahl im Dashboard führt zu einem Test, der das Problem zeigt und die Korrektur beweist.
-
12
Machen Sie Handeln leicht
Jedes Dashboard hat einen benannten Kunden und eine benannte Person, die die Daten korrigieren kann. Übergeben Sie ihr das Problem, seine Auswirkung, wie man es reproduziert und was zu ändern ist, in dem Ticketsystem, das sie bereits nutzt.
-
13
Halten Sie die Trendlinie
Ein Score ist eine Meinung. Sechs Monate Scores, verknüpft mit einem KPI, den jemand über Ihnen bereits beobachtet, sind ein Budget. Beginnen Sie mit zwei Zahlen: Fehler in der Produktion und Zeit bis zur Auslieferung einer Änderung. Auf den Trend zeigen Sie, wenn Sie mehr Spielraum verlangen.
14-19
Praxis
-
14
Lieben Sie Ihre Fehler
Jeder Fehler lehrt Sie etwas über Ihre Daten oder Ihren Prozess. Besprechen Sie sie gemeinsam in einem Qualitätszirkel und korrigieren Sie den Schritt, der sie erzeugt hat. Beschuldigen Sie den Schritt, nicht die Person.
-
15
Lieferbedingungen gehören in Tests
Ein Datenvertrag ist eine Menge von Tests, auf die sich beide Seiten einigen. Bedingungen, die Sie ausführen können, schlagen Versprechen, die Sie nicht ausführen können.
-
16
Beweisen Sie die Migration
Eine Migration verspricht, dass das neue System dieselbe Wahrheit enthält wie das alte. Testen Sie beide Seiten und beweisen Sie es, von Zeilenzahlen bis zu Spaltenwerten.
-
17
Reduzieren Sie das Rauschen
Ein Alarm, dem niemand traut, ist schlimmer als kein Alarm. Justieren Sie jeden Test, bis ein Fehlschlag etwas bedeutet, und schicken Sie ihn an die Person, die handeln kann. Stufen Sie die herab, die jede Nacht anschlagen. Schalten Sie sie nie stumm.
-
18
In der Produktion gehört es Ihnen
Das Deployment ist die Mitte der Arbeit, nicht ihr Ende. Jemand beobachtet die Linie, und dieser Jemand sind Sie.
-
19
Testen Sie, was der Agent geschrieben hat
Ein Agent liefert eine Transformation in Sekunden aus und hat nichts von der Pipeline im Kopf. Lassen Sie ihn das Korrekturticket und das individuelle SQL entwerfen. Alles andere, was er anfasst, ist ungetestet, bis ein Test etwas anderes sagt.
20-24
Qualität an jedem Punkt beweisen
-
20
Tests… an der Quelle
Beweisen Sie, dass die Quelle für ihren Zweck taugt, Tabelle für Tabelle, Spalte für Spalte. Sie gehört Ihnen nicht, also müssen Ihre Belege die Person überzeugen, der sie gehört.
-
21
Tests… bei der Aufnahme
Überwachen Sie jede Tabelle auf Aktualität, Volumen, Schemaänderungen und Drift. 6.000 Tabellen können Sie nicht von Hand überwachen. Anomalieerkennung kann es.
-
22
Tests… in der Produktion
Setzen Sie zwischen jede Schicht einen Stolperdraht und halten Sie bei einem Fehler das Band an. Nicht jeder Fehlschlag rechtfertigt einen Stopp, also legen Sie vorher fest, welche anhalten und welche warnen. Die Produktion bleibt auf den letzten bekannt guten Daten, während jemand nachsieht.
-
23
Tests… in der Entwicklung
Lassen Sie den Code von heute vor dem Deployment gegen einen Klon oder Ausschnitt der Produktionsdaten von gestern laufen. Benennen Sie eine Spalte um, und ein rotes Licht sollte Ihnen sagen, welchen nachgelagerten Bericht Sie kaputt gemacht haben. Ein hier gefundener Bug kostet ein Hundertstel dessen, was Ihr Kunde findet.
-
24
Tests… überall, jedes Mal und automatisiert
Ein einziger Null-Check erledigt vier Aufgaben an vier Stellen. Lassen Sie einen weg, und Sie übersehen genau diesen Fehler. Decken Sie jede Tabelle ab, jede Spalte, jedes Tool und jede Zahl, die Ihr Kunde liest. Keine manuellen Tests.
Beginnen Sie DataOps mit Qualität
Das DataOps-Manifest hat 18 Prinzipien, und niemand führt sie alle am Montag ein. Beginnen Sie mit automatisierten Datentests. Sie sind der günstigste Schritt, und Ihr Kunde spürt sie zuerst. Orchestrierung, CI/CD und Observability hängen alle davon ab, zu wissen, ob die Daten stimmen.
Unterschreiben Sie das DataOps-Qualitätsmanifest
Tragen Sie Ihren Namen ein, wenn Sie Qualität lieber mit automatisierten Tests beweisen, als auf sie zu hoffen.
Setzen Sie das Manifest mit Open Source um
DataOps TestGen
Profile your data and generate the quality tests automatically. Full coverage in minutes, with no hand-written rules to maintain.
Install TestGenDataOps Process Observability
Watch every tool and every run from source to the dashboards that depend on it. Catch errors, late arrivals, and bottlenecks before your customer does.
Get Process ObservabilityWeiterlesen
Free Books
Free Training & Certification
Die anderen Manifeste
The DataOps Manifesto
18 principles for delivering analytics, plus one: start with data testing.
Read the DataOps ManifestoThe Data Journey Manifesto
22 principles for observing the paths your data takes, so you find the problem before your customer does.
Read the Data Journey Manifesto