TheDataOpsManifesto

O Manifesto deQualidade DataOps

Depois de anos a trabalhar com equipas de dados de todas as dimensões e tecnologias, chegámos à conclusão de que a qualidade só vem dos testes, e de que a qualidade que vale a pena testar é a entrega completa, não apenas os dados. Dados perfeitos que passam pelo código, relatório ou modelo errado continuam a ser um erro, e o seu cliente não nota a diferença. Já fomos o chato da qualidade dos dados. Já contámos linhas a olho e torcemos para que estivesse tudo bem. Já fizemos a avaliação de 12 meses que produziu um documento e não corrigiu nada. Já construímos o dashboard que ninguém abriu, e já soubemos dos dados errados pelo cliente às 9 da manhã. Queremos um método que prove a qualidade em cada ponto, com testes que correm sem um herói ao teclado, e com evidências que possamos entregar a quem as pode corrigir. O Manifesto DataOps diz que a qualidade é primordial. O Manifesto Data Journey diz que não é aceitável serem os clientes a encontrar os problemas. É assim que pomos ambos em prática.

Assine o Manifesto

Através do nosso trabalho, passámos a valorizar:

  • Testes automatizados em vez de esperança e verificações manuais
  • Prática contínua em vez de projetos pontuais
  • Medição em vez de opinião
  • Testes gerados em vez de regras escritas à mão
  • Cobertura de testes em vez de diagramas de linhagem
  • Postos de qualidade ao longo da linha em vez de inspeção no fim
  • Influência e evidências em vez de imposições
  • Funcionar a 70% hoje em vez de perfeito um dia

24 princípios em seis grupos, mais um. Selecione um para saltar para ele.

1-4

Evidências

  1. 1

    Só sabe aquilo que testou

    Esperança não é um teste. Uma revisão de negócio ou uma execução do pipeline a verde também não. Se nenhum teste o verificou, não sabe se está certo.

  2. 2

    Teste os dados, vigie as ferramentas

    Qualidade é qualidade dos dados mais qualidade do processo. Uma tabela perfeita não serve para nada se a atualização nunca correu, e um job a verde não diz nada sobre os números lá dentro. Verifique cada ferramenta quanto a erros e a tempos.

  3. 3

    Nada de verificações manuais

    As verificações manuais correm quando alguém se lembra, e ninguém se lembra às 2 da manhã. Os seus dados chegam todos os dias, por isso cada teste corre automaticamente, em cada carga. O Manifesto Data Journey diz sem rodeios: fuja dos testes de qualidade manuais como o diabo da cruz.

  4. 4

    Meça antes de definir normas

    Faça o perfil dos seus dados, crie testes e deixe que a linha de base lhe diga quais devem ser as normas. Uma comissão que as escreva primeiro atrasa todas as decisões seguintes. Sem resultados de testes, é só mais uma pessoa com uma opinião.

5-6

Pessoas

  1. 5

    Comece com uma pessoa

    Uma pessoa motivada com uma ferramenta gratuita vale mais do que uma comissão de direção com um estatuto. Encontre o chato da qualidade e entregue-lhe evidências.

  2. 6

    Influenciar é o trabalho

    Quem encontra um defeito raramente é dono do sistema que o criou. Os dados de origem são suficientemente bons para a função para que foram criados, por isso o seu dono não tem motivo para os mudar. Torne a correção fácil de aceitar.

7-9

Testes

  1. 7

    Deixe o perfil escrever os testes

    Codificar à mão centenas de testes por tabela é trabalho que nunca acaba. Gere-os automaticamente e guarde o seu SQL para as regras de negócio que só os seus especialistas de domínio conhecem.

  2. 8

    Os testes são um recurso partilhado

    O analista, o data steward, o engenheiro e o modelo mexem todos na mesma regra, e só um deles tem conta no Git. Guarde cada teste e cada resultado numa única base de dados de referência, acessível a uma pessoa através de uma UI, ao código através de uma API e a um modelo através de MCP. Uma cópia faz fé, e cada alteração vai para o Git para diff, revisão e rollback.

  3. 9

    70% hoje vale mais do que perfeito um dia

    Ponha um teste a funcionar ainda esta tarde. Cada ciclo ensina-lhe algo sobre os seus dados, e as normas melhoram a cada um.

10-13

Pontuações e ação

  1. 10

    Pontue o que importa

    Ninguém muda de comportamento por causa de uma coluna de números de fax. Pontue os elementos que interessam ao seu cliente, e construa uma pontuação diferente para cada cliente.

  2. 11

    Cada pontuação leva a um teste

    Uma pontuação sem caminho para a correção é ruído. Cada número do dashboard leva a um teste que mostra o problema e prova a correção.

  3. 12

    Facilite a ação

    Cada dashboard tem um cliente identificado e uma pessoa identificada que pode corrigir os dados. Entregue-lhe o problema, o impacto, como o reproduzir e o que mudar, no sistema de tickets que já usa.

  4. 13

    Mantenha a linha de tendência

    Uma pontuação é uma opinião. Seis meses de pontuações ligadas a um KPI que alguém acima de si já acompanha são um orçamento. Comece com dois números: erros em produção e tempo para entregar uma alteração. A tendência é o que mostra quando pede mais margem.

14-19

Prática

  1. 14

    Adore os seus erros

    Cada defeito ensina-lhe algo sobre os seus dados ou o seu processo. Revejam-nos em conjunto num círculo de qualidade e corrijam o passo que os produziu. Culpe o passo, não a pessoa.

  2. 15

    Ponha as condições de entrega em testes

    Um contrato de dados é um conjunto de testes com que ambas as partes concordam. Condições que se podem executar valem mais do que promessas que não se podem.

  3. 16

    Prove a migração

    Uma migração promete que o novo sistema contém a mesma verdade que o antigo. Teste os dois lados e prove-o, desde a contagem de linhas até aos valores das colunas.

  4. 17

    Corte o ruído

    Um alerta em que ninguém confia é pior do que nenhum alerta. Afine cada teste até que uma falha signifique alguma coisa, e envie-a para a pessoa que pode agir. Despromova os que disparam todas as noites. Nunca os silencie.

  5. 18

    Em produção, a responsabilidade é sua

    Fazer o deploy é o meio do trabalho, não o fim. Alguém vigia a linha, e esse alguém é você.

  6. 19

    Teste o que o agente escreveu

    Um agente entrega uma transformação em segundos e não guarda nada do pipeline na cabeça. Deixe-o redigir o ticket de correção e o SQL personalizado. Tudo o resto em que toca não está testado até que um teste diga o contrário.

20-24

Prove a qualidade em cada ponto

  1. 20

    Testes… na origem

    Prove que a origem serve o seu propósito, uma tabela e uma coluna de cada vez. Não é o dono dela, por isso as suas evidências têm de convencer quem é.

  2. 21

    Testes… na ingestão

    Vigie cada tabela quanto a atualidade, volume, alterações de esquema e desvios. Não consegue vigiar 6000 tabelas à mão. A deteção de anomalias consegue.

  3. 22

    Testes… em produção

    Ponha um alarme entre cada camada e pare a linha perante um defeito. Nem todas as falhas merecem uma paragem, por isso decida com antecedência quais param e quais avisam. A produção continua com os últimos dados bons conhecidos enquanto alguém investiga.

  4. 23

    Testes… em desenvolvimento

    Corra o código de hoje contra um clone ou uma fatia dos dados de produção de ontem antes de fazer o deploy. Mude o nome a uma coluna, e uma luz vermelha deve dizer-lhe que relatório a jusante partiu. Um bug apanhado aqui custa um centésimo do que custa quando é o seu cliente a encontrá-lo.

  5. 24

    Testes… em todo o lado, sempre e automatizados

    Uma verificação de nulos faz quatro trabalhos em quatro sítios. Salte um, e vai deixar escapar essa falha. Cubra cada tabela, cada coluna, cada ferramenta e cada número que o seu cliente lê. Nada de testes manuais.

Comece o DataOps pela qualidade

O Manifesto DataOps tem 18 princípios, e ninguém os adota todos numa segunda-feira. Comece com testes de dados automatizados. São o passo mais barato, e o seu cliente sente-os primeiro. A orquestração, o CI/CD e a observabilidade dependem todos de saber se os dados estão certos.

Assine o Manifesto de Qualidade DataOps

Junte o seu nome se prefere provar a qualidade com testes automatizados em vez de ter esperança nela.

Ponha o manifesto em prática com open source

DataOps TestGen

Profile your data and generate the quality tests automatically. Full coverage in minutes, with no hand-written rules to maintain.

Install TestGen

DataOps Process Observability

Watch every tool and every run from source to the dashboards that depend on it. Catch errors, late arrivals, and bottlenecks before your customer does.

Get Process Observability

Leia os outros manifestos

The DataOps Manifesto

18 principles for delivering analytics, plus one: start with data testing.

Read the DataOps Manifesto

The Data Journey Manifesto

22 principles for observing the paths your data takes, so you find the problem before your customer does.

Read the Data Journey Manifesto