Confira nesse texto como a Microsoft criou uma estratégia moderna de governança de dados moderna que ajudou a alavancar o processo de transformação digital da empresa.

Os dados são a moeda da transformação digital. Seja fornecendo novos insights, melhorando a tomada de decisões, ou impulsionando melhores resultados de negócio, o entusiasmo de desbloquear o poder dos dados nunca foi tão grande. Na Microsoft Digital, nossas práticas de governança de dados são essenciais para garantir que os dados sejam otimizados para qualquer uso – permitindo insights mais profundos por todos os nossos campos organizacionais e funcionais.

Em termos mais simples, governança de dados é sobre gerenciar dados de forma estratégica. Envolve garantir que haja controles em torno dos dados, seu conteúdo, estrutura, uso e segurança. Para entregar uma governança de dados efetiva, nós precisamos saber que os dados existem, se são de boa qualidade, se são usáveis, quem está acessando, quem está utilizando, para que estão sendo utilizados e nos casos em que estão sendo utilizados, se estão seguros, compatíveis e regulados.

Como negócios modernos estão abraçando análises avançadas, inteligências artificiais e aprendizado de máquina, a quantidade, velocidade e variedade de dados está aumentando. Com todos esses dados abre-se um leque de novas possibilidades, e um novo conjunto de desafios. Nossa habilidade de otimizar o gerenciamento e a governança de quantidades cada vez maiores de dados é essencial.

Tipos diferentes de dados exigem diferentes controles para assegurar que os sistemas manuseiem, guardem e usem os dados de forma correta. O tradicional método top down antes usado pela Microsoft Digital para governança de dados não era escalável, nos deixando com pouco tempo para abordar mais do que reativamente os problemas com dados conforme eles ocorriam. Precisávamos de uma abordagem escalável que poderia usar controles automáticos, projetados dentro do processo que abordavam as causas diretamente na raiz dos problemas durante todo o estágio de vida dos dados.

Nossa abordagem de governança de dados

Ao invés de ver a governança de dados como uma função de bloqueio, ou um guardião dentro da empresa, a Microsoft Digital viu a modernização da governança de dados como uma forma de democratizar os dados de forma responsável. Dados corporativos amplamente acessíveis, confiáveis e conectados transformam experiência inteligentes possível e potencializa a transformação digital na Microsoft.

Nós estamos transformando como fornecemos governança de dados, para introduzir controles escaláveis e automatizados para arquitetura de dados, saúde do ciclo de vida e avanço de uso adequado. Como ilustrado abaixo, uma governança de dados moderna é o pilar principal em que a Microsoft está construindo sua estratégia global de dados corporativos.

Nós criamos nossa estratégia de dados global em resposta ao crescimento da demanda de inteligências certas para potencializar experiência em todos os touchpoints dentro e fora da Microsoft. Ao mesmo tempo, o aumento da demanda ampliou a pressão para melhorar a administração e gerenciar os requisitos regulatórios em um cenário de dados em constante expansão. Tentar resolver problemas de dados á medida que surgiam – um de cada vez – era caro e ineficiente. Sem uma forma centralizada, escalável e automatizada para resolver as causas básicas desses problemas, nossos recursos de análise continuariam a diminuir, assim como nosso índice de satisfação do usuário que utiliza aplicativos centrados em dados da Microsoft.

Criamos uma estratégia de governança de dados moderna com cinco objetivos em mente:

1. Reduzir a duplicação e a expansão de dados construindo um único EDL (Enterprise Data Lake, algo como ‘lago de dados corporativos’, em português) para dados mais confiáveis, seguros e de alta qualidade.
2. Conectar dados de silos diferentes de um jeito que criamos oportunidades de utilizar essas informações de maneiras que não eram possíveis em uma abordagem anterior.
3. Potencializar a democratização de dados por toda a Microsoft.
4. Impulsionar ganhos de eficiência nos processos que a Microsoft utiliza para coletar, gerenciar, acessar e utilizar dados.
5. Atender ou exceder os requisitos de conformidade e regulamentação sem comprometer a capacidade da Microsoft de criar produtos excepcionais.

Nossa abordagem a uma governança de dados moderna tem dois pontos importantes (Figura 2). Primeiro, nós incorporamos padrões claros de dados e os construímos em nosso processo de desenvolvimento de aplicativos. Isso nos ajuda a automatizar e gerenciar dados de forma proativas e em conformidade com a política de dados. Em segundo lugar, nós elevamos a plataforma EDL para centralizar, digitalizar de forma sistêmica e monitorar os dados.

Criando um conjunto claro de padrões de dados incorporados ao processo de engenharia

Grande parte do nosso esforço inicial se concentrou na criação dos padrões de dados formalizados que queríamos construir no processo de engenharia, era natural olharmos para nossa força principal – a engenharia – ao resolver os problemas de negócios. Para cada padrão de dados formalizado, o mesmo era conduzido para dentro processo. Ter um processo de dados claro, e fornecer medidas de conformidade contra esses padrões é fundamental para nossa abordagem de gerenciamento de mudanças nos processos de governança de dados.

O Microsoft Azure DevOps ajuda a gerar e gerenciar automaticamente o backlog de governança de dados

Depois da criação de padrões de dados, utilizamos o Microsoft Azure DevOps (ADO)/Microsoft Visual Studio para automatizar as maneiras como nossos sistemas geram, atribuem e rastreiam a governança de dados. Por exemplo, quando um projeto de engenharia atinge um certo marco, temos um responsável pelo aplicativo completando uma avaliação do processo de governança de dados. Essa avaliação resulta em itens de trabalho gerados automaticamente no backlog do projeto.

Medindo nossa conformidade contra os padrões de dados

Para medir o progresso de nossos esforços de governança de dados, estamos definindo as métricas que importam para criar scorecards baseados no Microsoft Power BI, que mostram explicitamente o alinhamento dos padrões de dados. Para cada norma, a central de governança de dados monitorará ativamente as exceções de avaliação para que os responsáveis por aplicativos possam concluir seu trabalho dentro do processo.

Centralizando dados dentro do EDL (Enterprise Data Lake)

Como parte da estratégia de dados corporativos da Microsoft, estamos fazendo investimentos importantes em bases de dados modernas que permitem o papel da governança de dados na garantia da democratização responsável dos mesmos. Centralizar os ativos de dados é fundamental para reduzir a quantidade de cópias redundantes e desatualizadas, entender quem tem acesso e como esses ativos estão sendo utilizados. A governança de dados otimiza nossos recursos de infraestrutura e usa serviços e automação para proativamente digitalizar dados para possíveis problemas, ao invés de reagir aos problemas conforme eles acontecem.

Começamos a mover dados de diferentes fontes em toda a Microsoft para dentro do EDL (Enterprise Data Lake). Ele é construído dentro do Azure Data Lake Storage e aproveita os Serviços de Dados fornecidos pelo próprio Azure. O EDL não só consolida dados, mas também cria uma fonte confiável onde dados corporativos podem ser coletados, moldados, protegidos, acessíveis e gerenciados por controles de governança aplicáveis. Levando tudo para um único EDL proporciona um scan de dados escalável e sistemático sem ter que digitalizar diversas bases de dados individualmente.

Soluções de engenharia escaláveis e automatizadas ajudam a gerenciar proativamente a governança de dados

A Microsoft integra serviços automatizados e escaláveis no EDL. Esses serviços ajudam a automatizar proativamente o gerenciamento de dados, o gerenciamento da, a segurança, os acessos e a conformidade dos mesmos. Essa integração significa que várias equipes que estão embarcando para o EDL não precisem que investir em soluções de engenharia para se beneficiar dos serviços incorporados e da automação — elas são aplicadas de forma consistente em todos os dados.

Procurando por problemas de dados dentro do Enterprise Data Lake

Regularmente ocorre uma varredura dentro do EDL por dados que precisam ser corrigidos, e, em seguida, impedidos no sistema de registros e nos sistemas de engajamento. Nós estamos construindo soluções proativas através de verificações de engenharia diretamente em nossos processos. Esses movimentos ajudam a prevenir problemas de governança de dados causados pela construção do processo. Os recursos e serviços do EDL incluem digitalização incorporada para segurança de dados, gerenciamento de acesso, conformidade e uma série de outros controles de dados definidos. Não só a equipe responsável pelos dados recebe notificações de violações de conformidade, mas também os editores dos dados.

O Catálogo de Dados Corporativos melhora a capacidade de descoberta

Para fornecer uma governança de dados eficaz, precisamos de uma visão completa de todos os ativos desses dados. Precisamos saber onde os ativos existem, quem os está acessando e como os usuários estão interagindo com os dados. Essa visibilidade é necessária para gerenciar cópias fragmentadas, expansões e cópias redundantes ou desatualizadas de ativos que podem existir em várias plataformas.

O Catálogo de Dados Corporativos ajuda a impulsionar a governança de dados. Ele faz isso construindo controles no processo de detecção de dados do catálogo. Esses controles garantem que apenas pessoas com autoridade e/ou necessidade apropriadas possam acessar dados confidenciais armazenados no EDL. Isso promove o cumprimento das regulamentações governamentais por meio de processos, padrões e ferramentas para gestão de dados e governança de ativos de dados. O serviço de metadados da EDL envia metadados publicados ao EDL para que sejam encontrados no catálogo. O serviço também registra fontes de dados mais amplas – sistema de dados transacionais, políticas de retenção e dados mestres, por exemplo – no catálogo.

Governança moderna com modelos baseados em avaliação e resultados baseados em evidências

Na Microsoft, descobrimos que a sinalização baseada em evidências é a maneira mais convincente de incentivar produtores de dados e/ou proprietários de dados a abordar todas as gaps que forem encontradas e que podem vir a causar problemas com dados. Assim, “evidências em escala” são a razão fundamental pela qual modernizamos nosso programa de governança de dados em torno da abordagem de duas pontas dos padrões de dados incorporados juntamente com uma plataforma EDL verificável. Utilizando essa nova abordagem, podemos detectar problemas de dados antes que eles se espalhem e se envolvam impulsionando a conformidade de dados de várias organizações ao mesmo tempo. Podemos usar scanners para mostrar aos engenheiros onde existem lacunas de conformidade de dados antes que os produtos sejam publicados em produção. E o mais importante, podemos sustentar esse modelo porque ele é simplesmente parte do ritmo cotidiano do negócio.

Coisas que devem ser consideradas quando estiver planejando a sua própria estratégia de governança de dados

Apesar de estarmos no início da nossa jornada na construção de uma governança de dados moderna, nós temos alguns pontos de melhores práticas para compartilhar. Primeiramente, nós recomendamos que você aborde sua estratégia de dados de forma holística. Como ilustrados abaixo, projetamos nossa abordagem para que os padrões, incorporados ao processo de engenharia e à centralização de dados, trabalhassem juntos para garantir uma governança de dados moderna de ponta a ponta.

• Crie padrões dentro dos seus processos já existentes e implemente-os com soluções de engenharia. Ao abordar a governança de dados durante a fase de projeto de estratégia, conseguimos institucionalizar a “governança por design” no DNA da engenharia – e aplicá-la aos dados em cada ponto de contato. Estamos construindo nossos controles de governança de dados nos processos centralizados de infraestrutura e análise.
• Considere implementar uma base de dados moderna integrada com conjuntos de ferramentas. O EDL, com seus serviços e capacidades de governança incorporados, faz mais do que escalar esforços de governança de dados – permite análises corporativas para toda a organização. Você pode planejar a análise antecipadamente usando um catálogo de dados compartilhado e a sua plataforma de data lake como sua infraestrutura centralizada de análise. Ao centralizar dados e trazer cálculos para os dados em vez do contrário, você pode reduzir a quantidade de dados duplicados ou fragmentados.
• Pessoas e processos são tão importantes quando ferramentas e infraestrutura. Nós estamos abraçando e promovendo o mindset de cultura de dados. Microsoft Digital está incentivando os proprietários de negócios e dados por toda a empresa a embarcar em seus dados no EDL. Pode ser desafiador o processo de “comprar” uma ideia de novos processos e nova plataforma, especialmente quando proprietários de empresas e proprietários de dados sentem que o que eles tem atualmente já funciona muito bem. Nós comumente usamos uma variedade de métodos, incluindo campanhas de comunicação e gamificação, para impulsionar a adoção precoce na Microsoft. Medir e revisar o uso ativo diário e mental também é útil durante a adoção em estágio médio ou avançado. A Microsoft Digital vem incentivando a adoção fornecendo resultados baseados em evidências que demonstram que a adoção de nossa estratégia moderna pode prevenir problemas de dados antes mesmo deles acontecerem.

Conclusão

Historicamente, organizações tem tratado governança de dados como uma série de processos, medidas reativas e guardrails que foram aplicados, ainda que separados, nos dados em si. Criar padrões de dados, estabelecê-los em nossos processos e movê-los para o EDL com serviços incorporados para gerenciamento de dados proporcionou benefícios mensuráveis na escala da abordagem da Microsoft para governança.

De uma perspectiva do TI, a Estratégia de Dados Corporativos da Microsoft ajudou a controlar a expansão de dados e reduzir o custo de infraestrutura. Ele faz isso limitando cópias de dados e gerenciando melhor a propriedade dos mesmos. Para os proprietários de dados, a Microsoft Digital facilita a conexão e o consumo de dados, ao mesmo tempo em que aumenta a confiança nos dados e nos sistemas que os hospedam.

Estamos percebendo que nossa visão de fornecer uma governança de dados moderna de classe mundial e melhorando efetivamente nossa postura de conformidade de dados

Nós estamos descobrindo nossa própria visão de como fornecer governança de dados moderna de classe mundial e como melhorar efetivamente nossa postura de conformidade de dados nos afastando dos processos reacionários tradicionais. Agora podemos projetar a conformidade dos dados em cada parte dos processos – desde a aplicação de padrões incorporados a novos projetos antes de coletar ou armazenar dados, até digitalizar proativamente os problemas à medida em que ocorrem alterações no EDL. Estamos automatizando a medição e a emissão de relatórios de conformidade. Essa automação permite que a Microsoft Digital forneça dados baseados em evidências para proprietários de processos de negócios, fornecedores de dados e proprietários de dados em toda a empresa.

Original: Creating a modern data governance strategy to accelerate digital transformation (microsoft.com)