El Manifiesto DataOpsde la calidad
Tras años trabajando con equipos de datos de todos los tamaños y tecnologías, hemos llegado a creer que la calidad solo llega con las pruebas, y que la calidad que merece probarse es la de toda la entrega, no solo la de los datos. Unos datos perfectos que pasan por el código, el informe o el modelo equivocado siguen siendo un error, y tu cliente no nota la diferencia. Hemos sido el pesado de la calidad de datos. Hemos revisado recuentos de filas a ojo cruzando los dedos. Hemos hecho la evaluación de 12 meses que produjo un documento y no arregló nada. Hemos construido el panel que nadie abrió, y nos hemos enterado de los datos erróneos por el cliente a las 9 de la mañana. Queremos un método que demuestre la calidad en cada punto, con pruebas que se ejecuten sin un héroe al teclado, y evidencias que podamos entregar a quien pueda arreglarlo. El Manifiesto DataOps dice que la calidad es primordial. El Manifiesto Data Journey dice que no es aceptable que los clientes encuentren los problemas. Así es como ponemos ambos en práctica.
Firma el ManifiestoCon nuestro trabajo, hemos aprendido a valorar:
- Las pruebas automatizadas por encima de la esperanza y las comprobaciones manuales
- La práctica continua por encima de los proyectos puntuales
- La medición por encima de la opinión
- Las pruebas generadas por encima de las reglas escritas a mano
- La cobertura de pruebas por encima de los diagramas de linaje
- Las estaciones de calidad en la línea por encima de la inspección al final
- La influencia y las evidencias por encima de las imposiciones
- Funcionar al 70 % hoy por encima de la perfección algún día
24 principios en seis grupos, más uno. Elige uno para ir directamente a él.
1-4
Evidencia
-
1
Solo sabes lo que has probado
La esperanza no es una prueba. Tampoco lo es una revisión de negocio ni un pipeline en verde. Si ninguna prueba lo comprobó, no sabes si está bien.
-
2
Prueba los datos, vigila las herramientas
La calidad es calidad de datos más calidad de procesos. Una tabla perfecta no sirve de nada si la actualización nunca se ejecutó, y un job en verde no dice nada de los números que contiene. Revisa cada herramienta en busca de errores y de retrasos.
-
3
Nada de comprobaciones manuales
Las comprobaciones manuales se hacen cuando alguien se acuerda, y nadie se acuerda a las 2 de la madrugada. Tus datos llegan todos los días, así que cada prueba se ejecuta automáticamente, en cada carga. El Manifiesto Data Journey lo dice sin rodeos: huye de las pruebas de calidad manuales como de la peste.
-
4
Mide antes de fijar estándares
Perfila tus datos, crea pruebas y deja que la línea base te diga cuáles deben ser los estándares. Un comité que los redacta primero retrasa todas las decisiones que vienen después. Sin resultados de pruebas, eres solo otra persona con una opinión.
5-6
Personas
-
5
Empieza con una persona
Una persona motivada con una herramienta gratuita vale más que un comité de dirección con sus estatutos. Encuentra al pesado de la calidad y dale evidencias.
-
6
Influir es el trabajo
Quien encuentra un defecto rara vez es dueño del sistema que lo produjo. Los datos de origen son lo bastante buenos para el uso para el que se crearon, así que su dueño no tiene motivos para cambiarlos. Haz que la corrección sea fácil de aceptar.
7-9
Pruebas
-
7
Deja que el perfil escriba las pruebas
Programar a mano cientos de pruebas por tabla es un trabajo que nunca se termina. Genéralas, y guarda tu SQL para las reglas de negocio que solo conocen tus expertos del dominio.
-
8
Las pruebas son un recurso compartido
El analista, el responsable de datos, el ingeniero y el modelo tocan la misma regla, y solo uno de ellos tiene cuenta de Git. Guarda cada prueba y cada resultado en una única base de datos de referencia, accesible para una persona a través de una UI, para el código a través de una API y para un modelo a través de MCP. Una sola copia es la que vale, y cada cambio va a Git para diff, revisión y reversión.
-
9
El 70 % hoy vale más que la perfección algún día
Publica una prueba que funcione esta misma tarde. Cada ciclo te enseña algo sobre tus datos, y los estándares mejoran con cada vuelta.
10-13
Puntuaciones y acción
-
10
Puntúa lo que importa
Nadie cambia su comportamiento por una columna de números de fax. Puntúa los elementos que le importan a tu cliente, y crea una puntuación distinta para cada cliente.
-
11
Cada puntuación lleva a una prueba
Una puntuación sin camino hacia la corrección es ruido. Cada número del panel lleva a una prueba que muestra el problema y demuestra la corrección.
-
12
Facilita la acción
Cada panel tiene un cliente con nombre y una persona con nombre que puede arreglar los datos. Entrégales el problema, su impacto, cómo reproducirlo y qué cambiar, en el sistema de tickets que ya usan.
-
13
Conserva la línea de tendencia
Una puntuación es una opinión. Seis meses de puntuaciones ligadas a un KPI que alguien por encima de ti ya vigila son un presupuesto. Empieza con dos números: errores en producción y tiempo para publicar un cambio. La tendencia es lo que señalas cuando pides más margen.
14-19
Práctica
-
14
Ama tus errores
Cada defecto te enseña algo sobre tus datos o tu proceso. Revísalos juntos en un círculo de calidad y corrige el paso que los produjo. Culpa al paso, no a la persona.
-
15
Pon las condiciones de entrega en pruebas
Un contrato de datos es un conjunto de pruebas que ambas partes acuerdan. Unas condiciones que puedes ejecutar valen más que unas promesas que no.
-
16
Demuestra la migración
Una migración promete que el sistema nuevo contiene la misma verdad que el antiguo. Prueba ambos lados y demuéstralo, desde el recuento de filas hasta los valores de las columnas.
-
17
Elimina el ruido
Una alerta en la que nadie confía es peor que ninguna alerta. Ajusta cada prueba hasta que un fallo signifique algo, y envíalo a la persona que puede actuar. Degrada las que saltan cada noche. Nunca las silencies.
-
18
En producción, es cosa tuya
Desplegar es la mitad del trabajo, no el final. Alguien vigila la línea, y ese alguien eres tú.
-
19
Prueba lo que escribió el agente
Un agente publica una transformación en segundos y no retiene nada del pipeline en la cabeza. Deja que redacte el ticket de corrección y el SQL a medida. Todo lo demás que toque queda sin probar hasta que una prueba diga lo contrario.
20-24
Demostrar la calidad en cada punto
-
20
Probar… en el origen
Demuestra que el origen sirve para su propósito, tabla a tabla y columna a columna. No es tuyo, así que tus evidencias tienen que convencer a su dueño.
-
21
Probar… en la ingesta
Vigila cada tabla: frescura, volumen, cambios de esquema y deriva. No puedes vigilar 6.000 tablas a mano. La detección de anomalías, sí.
-
22
Probar… en producción
Pon un control entre cada capa y para la línea ante un defecto. No todos los fallos merecen una parada, así que decide de antemano cuáles detienen y cuáles avisan. Producción se queda con los últimos datos buenos conocidos mientras alguien lo revisa.
-
23
Probar… en desarrollo
Ejecuta el código de hoy contra un clon o una muestra de los datos de producción de ayer antes de desplegar. Si renombras una columna, una luz roja debería decirte qué informe posterior has roto. Un error detectado aquí cuesta la centésima parte de uno que encuentra tu cliente.
-
24
Probar… en todas partes, siempre y de forma automática
Una misma comprobación de nulos cumple cuatro funciones en cuatro lugares. Sáltate una y se te escapará ese fallo. Cubre cada tabla, cada columna, cada herramienta y cada número que lee tu cliente. Nada de pruebas manuales.
Empieza el DataOps por la calidad
El Manifiesto DataOps tiene 18 principios, y nadie los adopta todos de un día para otro. Empieza con pruebas de datos automatizadas. Son el paso más barato, y tu cliente es el primero en notarlas. La orquestación, CI/CD y la observabilidad dependen de saber si los datos son correctos.
Firma el Manifiesto DataOps de la calidad
Añade tu nombre si prefieres demostrar la calidad con pruebas automatizadas en lugar de limitarte a esperarla.
Pon el manifiesto en práctica con código abierto
DataOps TestGen
Profile your data and generate the quality tests automatically. Full coverage in minutes, with no hand-written rules to maintain.
Install TestGenDataOps Process Observability
Watch every tool and every run from source to the dashboards that depend on it. Catch errors, late arrivals, and bottlenecks before your customer does.
Get Process ObservabilityPara seguir leyendo
Free Books
Free Training & Certification
Lee los otros manifiestos
The DataOps Manifesto
18 principles for delivering analytics, plus one: start with data testing.
Read the DataOps ManifestoThe Data Journey Manifesto
22 principles for observing the paths your data takes, so you find the problem before your customer does.
Read the Data Journey Manifesto