Neste blog, abordaremos a governança de dados relacionada ao gerenciamento de dados na nuvem. Discutiremos o modelo operacional que é independente de tecnologias on-prem ou cloud, processos para garantir a governança e, finalmente, as tecnologias disponíveis para garantir a governança de dados na nuvem. Este é um blog de duas partes sobre governança de dados. Nesta primeira parte, discutiremos o papel da governança de dados, por que é importante e os processos que precisam ser implementados para executar um programa de governança de dados eficaz.
Na segunda parte, vamos mergulhar nas ferramentas e tecnologias disponíveis para implementar processos de governança de dados, por exemplo, qualidade de dados, descoberta de dados, linhagem de rastreamento e segurança.
Para um texto aprofundado e abrangente sobre governança de dados, consulte Governança de dados: pessoas, processos e ferramentas para operacionalizar a confiabilidade de dados .
O que é Governança de Dados?
A governança de dados é uma função de gerenciamento de dados que cria valor para a organização, implementando processos para garantir alta qualidade de dados e fornece uma plataforma que facilita o compartilhamento de dados com segurança em toda a organização, garantindo a conformidade com todos os regulamentos.
O objetivo da governança de dados é maximizar o valor derivado dos dados , construir a confiança do usuário e garantir a conformidade implementando as medidas de segurança necessárias.
A governança de dados precisa estar em vigor desde o momento em que um factóide de dados é coletado ou gerado até o momento em que esses dados são retirados. Ao longo do caminho, neste ciclo de vida completo dos dados, a governança de dados concentra-se em disponibilizar os dados a todas as partes interessadas de uma forma que eles possam acessar e usar prontamente de uma maneira que gere os resultados de negócios desejados (insights, análises) e, se relevante, está em conformidade com as normas regulamentares. Esses padrões regulatórios são muitas vezes uma interseção de regras e códigos de comportamento da indústria (por exemplo, saúde), governo (por exemplo, privacidade) e da empresa (por exemplo, apartidários).
Por que a governança de dados é importante?
Na última década, a quantidade de dados gerados por usuários usando telefones celulares, dispositivos de saúde e fitness e IOT, beacons de varejo etc. causaram um crescimento exponencial nos dados. Ao mesmo tempo, a nuvem tornou mais fácil coletar, armazenar e analisar esses dados a um custo menor. À medida que o volume de dados e a adoção da nuvem continuam a crescer, as organizações são desafiadas com o duplo mandato de democratizar e incorporar dados em todas as tomadas de decisão, garantindo que estejam protegidos e protegidos contra uso não autorizado.
Um programa eficaz de governança de dados é necessário para implementar esse duplo mandato para tornar a organização orientada por dados, por um lado, e proteger os dados contra uso não autorizado, por outro. Organizações sem um programa de governança de dados eficaz sofrerão violações de conformidade que levam a multas, baixa qualidade de dados que leva a insights de qualidade inferior que afetam as decisões de negócios, desafios para encontrar dados que resultam em análises atrasadas e oportunidades de negócios perdidas, modelos de dados mal treinados para IA que reduz a precisão do modelo e os benefícios do uso de IA.
Uma estratégia eficaz de governança de dados abrange pessoas, processos, ferramentas e tecnologias . Ele impulsiona a democratização de dados para incorporar dados em todas as tomadas de decisão, aumenta a confiança do usuário, aumenta o valor da marca, reduz as chances de violações de conformidade que podem levar a multas substanciais e perda de negócios.
Componentes da Governança de Dados
Pessoas e Funções na Governança de Dados
Um programa abrangente de governança de dados começa com um conselho de governança de dados composto por líderes que representam cada unidade de negócios da organização. Este conselho estabelece os princípios de governança de alto nível sobre como os dados serão usados para orientar as decisões de negócios. O conselho, com a ajuda de pessoas-chave em cada b funções de negócios, identifica os domínios de dados, por exemplo, cliente, produto, paciente e provedor. O conselho então atribui funções de propriedade e administração de dados para cada domínio de dados. Essas são funções de nível sênior e cada proprietário é responsável e recompensado por conduzir as metas de dados definidas pelo conselho de governança de dados. Os proprietários e administradores de dados são atribuídos pela empresa, por exemplo, o proprietário dos dados do cliente pode ser de marketing ou vendas, o proprietário dos dados financeiros das finanças, enquanto o proprietário dos dados de RH do RH.
O papel da TI é o de guardião de dados. A TI garante que os dados sejam adquiridos, protegidos, armazenados e compartilhados de acordo com as políticas especificadas pelos proprietários dos dados. Como guardiões de dados, a TI não toma as decisões sobre acesso ou compartilhamento de dados. O papel da TI é limitado ao gerenciamento de tecnologia para dar suporte à implementação de políticas de gerenciamento de dados definidas pelos proprietários dos dados.
Processos em Governança de Dados
Cada organização estabelecerá processos para conduzir à implementação das metas estabelecidas pelo conselho de governança de dados. Os processos são estabelecidos por proprietários de dados e administradores de dados para cada um de seus domínios de dados. Os processos se concentram nos seguintes objetivos de alto nível:
1. Os dados atendem aos padrões de qualidade de dados especificados – por exemplo, 98% de integridade, não mais de 0,1% de valores duplicados, 99,99% de dados consistentes em diferentes tabelas e o que constitui entrega no prazo
2. Políticas de segurança de dados para garantir a conformidade com as políticas internas e externas
-
- Os dados são criptografados em repouso e em fio
- O acesso aos dados é limitado apenas a usuários autorizados
- Todos os campos de dados confidenciais são redigidos ou criptografados e descriptografados dinamicamente apenas para usuários autorizados
- Os dados podem ser unidos para análise de forma não identificada , por exemplo, usando criptografia determinística ou hash
- Auditorias estão disponíveis para acesso autorizado , bem como tentativas não autorizadas
3. O compartilhamento de dados com parceiros externos está disponível com segurança por meio de APIs
4. Conformidade com regulamentos específicos da indústria e geo, por exemplo, HIPAA, PCI DSS, GDPR, CCPA, LGPD
5. A replicação de dados é minimizada
6. Descoberta de dados centralizada para usuários de dados por meio de catálogos de dados
7. Rastreie a linhagem de dados para identificar problemas de qualidade de dados, fontes de replicação de dados e ajude com auditorias
Tecnologia
A implementação dos processos conforme especificado no programa de governança de dados requer o uso de tecnologia. Desde a proteção de dados, retenção e relatórios de auditorias, até monitoramento e alertas automatizados, várias tecnologias são integradas para gerenciar o ciclo de vida dos dados.
No Google Cloud, um conjunto abrangente de ferramentas permite que as organizações gerenciem seus dados com segurança e impulsionem a democratização dos dados. O Data Catalog permite que os usuários encontrem dados facilmente em um local centralizado no Google Cloud. O Data Fusion rastreia a linhagem para que os proprietários de dados possam rastrear dados em todos os pontos do ciclo de vida dos dados e corrigir problemas que possam estar corrompendo os dados. Os registros de auditoria do Cloud retêm as auditorias necessárias para conformidade. O Dataplex oferece gerenciamento inteligente de dados, segurança e governança centralizadas, descoberta automática de dados, coleta de metadados, gerenciamento do ciclo de vida e qualidade de dados com inteligência integrada orientada por IA.
Por: Imad Quresh – Engenheiro de clientes, Google Cloud