O que é o Data Fabric? Um Guia Completo

O Data Fabric  é uma arquitetura de dados centralizada que atende aos usuários autorizados com dados integrados, controlados e atualizados – para cargas de trabalho analíticas e operacionais.

Data Fabric – um "must-have" para empresas Data Driven

Nos últimos anos, o termo "Data Fabric” tornou-se sinônimo de integração e gerenciamento de dados corporativos.

A Gartner lista o " Data Fabric" como a "principal tendência de tecnologia estratégica" e prevê que, até 2024, 25% dos fornecedores de gerenciamento de dados fornecerão uma estrutura completa para Data Fabric – contra 5% atualmente.

Este documento aborda o que, por que, como e quem do Data Fabric, citando sua definição, finalidade, arquitetura, desafios, práticas recomendadas, benefícios, fornecedores, bem como uma lista de verificação de seus recursos.

ÍNDICE

•             01 Definição de Data Fabric 

•             02 Por que o Data Fabric

•             03 Arquitetura de Data Fabric

•             04 Recursos principais do Data Fabric

•             05 Data Fabric vs Data Lakes vs Bancos de Dados para cargas de trabalho operacionais

•             06 Casos de uso do Data Fabric

•             087 Vantagens do Data Fabric

•             08 Benefícios do Data Fabric

•             09 Fornecedores de Data Fabric

•             10 Data Fabric para análises e operações

•             11 Porquê a Stratio? 

CAPÍTULO 01

Definição do Data Fabric

Um Data Fabric (Malha de Dados ) democratiza o acesso aos dados em toda a empresa, em escala. É uma arquitetura única e unificada – com um conjunto integrado de tecnologias e serviços, projetada para fornecer dados integrados e enriquecidos – no momento certo, no método certo e para o consumidor de dados certo – em suporte a cargas de trabalho operacionais e analíticas.A Data Fabric  combina as principais tecnologias de gerenciamento de dados, como catálogo de dados, governança de dados, integração de dados, pipelining de dados e orquestração de dados.

Um Data Fabric une dados integrados de muitas fontes diferentes e os entrega a vários consumidores de dados.

CAPÍTULO 02

Por que o Data Fabric

O Data Fabric atende a uma ampla gama de fatores de alinhamento de negócios, técnicos e organizacionais.

Impulsionadores de negócios

• A automação de preparação de dados poupa cientistas de dados, engenheiros de dados e outros recursos de TI de realizar tarefas tediosas e repetitivas de transformação, limpeza e enriquecimento de dados.

• Acesso a dados corporativos em qualquer método de entrega de dados – incluindo movimentação de dados em massa (ETL), virtualização de dados, streaming de dados, captura de dados de alteração e APIs.

• Uma plataforma de Data Fabric integra e aumenta as ferramentas de gerenciamento de dados de uma empresa atualmente em uso, e permite a aposentadoria de outras, para maior custo-benefício

Drivers de gerenciamento de dados

• A automação de preparação  de dados poupa cientistas de dados, engenheiros de dados e outros recursos de TI de realizar tarefas tediosas e repetitivas de transformação, limpeza e enriquecimento de dados.

• Acesso a dados corporativos em qualquer método de entrega de dados – incluindo movimentação de dados em massa (ETL), virtualização de dados, streaming de dados, captura de dados de alteração e APIs.

• Uma plataforma de Data Fabric  integra e aumenta as ferramentas de gerenciamento de dados de uma empresa atualmente em uso, e permite a aposentadoria de outras, para maior custo-benefício.

Direcionadores organizacionais

• Uma linguagem comum compartilhada entre engenheiros de dados e consumidores de dados melhora a colaboração entre dados e equipes de negócios.

• Os recursos de acesso a dados de autoatendimento permitem que os consumidores de dados obtenham os dados de que precisam, sempre que precisarem, para aumentar a agilidade e a velocidade dos negócios.

CAPÍTULO 03

Arquitetura do Data Fabric

Um design de Data Fabric ideal e completo com seus muitos componentes.

Uma arquitetura de Data Fabric bem projetada  é modular e oferece suporte à implantação em larga escala, distribuída em várias nuvens, no local e híbrida.

Como ilustra o diagrama acima, à medida que os dados são provisionados de fontes para os consumidores, eles são catalogados, preparados, enriquecidos para fornecer insights e recomendações, orquestrados e entregues.

Um Data Fabric é capaz de integrar e unificar dados de todas as fontes de dados, desde sistemas legados em silos até aplicativos modernos em nuvem e armazenamentos de dados analíticos (data warehouses e data lakes).

Os usuários de dados de um Data Fabric incluem usuários de negócios (CX, atendimento ao cliente, marketing, vendas) , dados analíticos, como cientistas de dados e analistas de dados, bem como cargas de trabalho operacionais, como MDM, Customer 360, gerenciamento de dados de teste e muitos mais.

A arquitetura de Data Fabric  aborda os quatro principais problemas no gerenciamento de dados:

• Dados espalhados entre dezenas, e às vezes centenas, de sistemas legados e em nuvem, dificultando a obtenção de uma única fonte de verdade

• Velocidade e volume de dados, com os quais as empresas centradas em dados têm que lidar

• Dados difíceis de entender, a menos que você seja uma PME de linha de negócios

• Falta de comunicação entre analistas de negócios, consumidores de dados operacionais, engenheiros de dados e cientistas de dados.

O Data Fabric é uma arquitetura de gerenciamento de dados distribuída e um modelo operacional que fornece propriedade de produtos de dados para domínios de negócios. Complementa a arquitetura de dados porque cria uma camada integrada de dados conectados em uma ampla variedade de fontes de dados. Fornece uma visão instantânea e holística do negócio para cargas de trabalho analíticas e operacionais e estabelece a definição semântica dos diferentes produtos de dados, os modos de ingestão de  dados e as políticas de governança necessárias que protegem e protegem os dados. Também funciona como um hub em uma arquitetura de dados.

Um Data Fabric  pode atuar como o hub de governança de dados em uma arquitetura Data Fabric

Um Data Fabric que pode gerenciar, preparar e fornecer dados em tempo real cria o núcleo de Data Fabric  ideal. É claro que a arquitetura de Data Fabric tem seus desafios de implantação, mas eles são facilmente resolvidos pelo próprio Data Fabric:

CAPÍTULO 04

Recursos principais do Data Fabric

A linhagem de dados é um recurso chave da Data Fabric  porque os insights relacionais são perdidos quando as ferramentas tradicionais de modelagem e integração de dados são usadas.

O Data Fabric  oferece suporte aos seguintes recursos principais integrados em uma única plataforma:

Catálogo de dados

Para classificar e inventariar ativos de dados e representar visualmente as cadeias de suprimentos de informações

Engenharia de dados

Criar pipelines de dados confiáveis e robustos para casos de uso operacionais e analíticos

Governança de dados

Para garantir a qualidade, cumprir os regulamentos de privacidade e disponibilizar dados – com segurança e em escala

Preparação e orquestração de dados

Para definir os fluxos de dados da origem para o destino, incluindo a sequência de etapas para limpeza, transformação, mascaramento, enriquecimento e validação de dados

Integração e entrega de dados

Para recuperar dados de qualquer origem e entregá-los a qualquer destino, em qualquer método: ETL (em massa), mensagens, CDC, virtualização e APIs

Camada de persistência de dados

Persistir dados dinamicamente para permitir processamento, pesquisa e análise de dados em tempo real.

O Data Fabric  também deve abordar os seguintes recursos não funcionais principais:

1. Escala, volume e desempenho de dados

2. Dimensione dinamicamente para cima e para baixo, sem problemas, independentemente do tamanho do volume de dados.

3. Suporte a cargas de trabalho operacionais e analíticas, em escala empresarial.

4. Acessibilidade

5. Ofereça suporte a todos os modos de acesso a dados, fontes de dados e tipos de dados e integre dados mestre e transacionais, em repouso ou em movimento.

6. Ingerir e unificar dados de sistemas on-premise e on-cloud, em qualquer formato – estruturado ou não.

7. A camada de acesso lógico da Data Fabric precisa permitir o consumo de dados, independentemente de onde ou como os dados são armazenados ou distribuídos – portanto, nenhum conhecimento aprofundado das fontes de dados subjacentes é necessário.

8. Distribuição

• O Data Fabric  deve ser implantável em ambientes de várias nuvens, no local ou híbridos.

• Para manter a integridade transacional e os recursos de governança de dados, a Data Fabric  precisa oferecer suporte a uma estratégia inteligente de virtualização de dados.

CAPÍTULO 05

Data Fabric X Data Lakes X Bancos de Dados para cargas de trabalho operacionais

Para explicar como a Data Fabric  permite que os armazenamentos de big data lidem com cargas de trabalho operacionais, uma comparação entre Data Fabric , data lakes e bancos de dados é útil.

O gráfico a seguir resume os prós/contras de cada armazenamento de dados, pois ele se relaciona a casos de uso operacionais de grande escala e alto volume.

Portanto, embora a Data Fabric seja uma solução superior para cargas de trabalho operacionais de alta escala, ela também é uma tecnologia recíproca para data lakes e bancos de dados para cargas de trabalho analíticas offline.

Para essas cargas de trabalho, a Data Fabric pode:

1. Canalizar dados novos e confiáveis para dentro deles, para fins de análise offline.

2. Receber insights de negócios para incorporar em casos de uso operacionais em tempo real.

CAPÍTULO 06

Casos de uso do Data Fabric

Em operações corporativas, há dezenas de casos de uso que exigem uma arquitetura de dados de alta escala e alta velocidade capaz de suportar milhares de transações simultâneas. Exemplos incluem:

Entregando uma solução Customer 360

Fornecendo uma visão única do cliente para uma URA de autoatendimento, agentes de atendimento ao cliente (CRM), portal de autoatendimento do cliente (web ou móvel), bots de serviço de bate-papo e técnicos de serviço de campo

Conformidade com as leis de privacidade de dados

Com uma solução flexível de fluxo de trabalho e automação de dados, empregando ferramentas de orquestração de  dados e mascaramento de dados, para conformidade entre pessoas, sistemas e dados – projetada para atender às regulamentações atuais e futuras

Canalização de dados corporativos para data lakes e armazenagens

Permitindo que os engenheiros de dados preparem e forneçam dados novos e confiáveis – de todas as fontes, para todos os destinos – rapidamente e em escala

Provisionamento de dados de teste sob demanda

Criar um data warehouse de teste e fornecer dados de teste anônimos para testadores e pipelines de CI/CD – automaticamente e em minutos – com integridade completa dos dados

Modernização de sistemas legados

Migração segura  de dados de sistemas legados para  Data Fabric  e, em seguida, uso da malha como banco de dados de registro para aplicativos recém-desenvolvidos

Proteção de transações com cartão de crédito

Proteger informações confidenciais do titular do cartão criptografando e tokenizando os dados originais para evitar violações de dados

Previsão de churn, detecção de fraudes de clientes

... pontuação de crédito e muito mais

Muitos dos casos de uso operacionais exigem que a Data Fabric  responda a consultas complexas em uma fração de segundo. Portanto, a Data Fabric  deve incluir mecanismos internos para manipulação:

• Ingestão de dados em tempo real

Continuamente atualizado a partir de sistemas operacionais (com milhões, a bilhões, de atualizações por dia)

• Conectividade com sistemas diferentes

Com terabytes de dados espalhados por dezenas de bancos de dados/tabelas massivas, muitas vezes em diferentes tecnologias

• Transformação de dados em voo, limpeza de dados e enriquecimento de dados

Para fornecer insights significativos e influenciar os resultados de negócios em tempo real

• Uma instância específica de uma entidade comercial

Tais como, recuperar dados completos para um cliente específico, localização, dispositivo, etc.

• Alta simultaneidade

Milhares de solicitações por segundo

CAPÍTULO 07

Vantagens do Data Fabric

O Data Fabric os oferece muitas vantagens em relação a abordagens alternativas de gerenciamento de dados, como gerenciamento de dados mestres, hubs de dados e data lakes, incluindo:

• Gerenciamento de dados aprimorado

• Serviços de dados expandidos

• Alta consistência, durabilidade e disponibilidade

• Excelente desempenho

• Segurança rígida

CAPÍTULO 08

Benefícios do Data Fabric

Os benefícios operacionais que o Data Fabric fornece às empresas incluem:

• Orquestração de dados simplificada integrando operadores para bancos de dados externos, lógica de negócios, mascaramento, análise e streaming

• Gerenciamento automatizado de dados de teste

• Geração de dados de sistemas de produção e, em seguida, fornecimento de dados de teste de alta qualidade para equipes de teste

• Conformidade rápida com a privacidade de dados configurando, gerenciando e auditando solicitações de acesso de titulares de dados associadas a regulamentos de privacidade de dados, como GDPR, CCPA, LGPD, etc.

• Administração de dados abrangente configurando, monitorando e administrando dados, com ferramentas de gerenciamento de administrador, um estúdio de visualização intuitivo e ferramentas de administração da Web

• Custo de propriedade otimizado

• Conta com o desempenho na memória em hardware básico, escalabilidade linear completa e integração sem riscos

CAPÍTULO 09

Fornecedores de Data Fabric

Há vários fornecedores que fornecem um conjunto integrado de recursos para dar suporte à arquitetura de Data Fabric. Os 3 principais fornecedores de Data Fabric são:

CAPÍTULO 10

Data Fabric  para análise e operações

É comum considerar que a Data Fabric  é criada para dar suporte à análise de big data – especificamente análise de tendências, análise preditiva, aprendizado de máquina e business intelligence – realizada por cientistas de dados, no modo offline, para gerar insights de negócios.

Mas o Data Fabric  é igualmente importante para casos de uso operacionais  – como previsão de rotatividade, pontuação de crédito, conformidade com a privacidade de dados, detecção de fraudes, governança de dados em tempo real  e Customer 360 – que dependem de dados precisos, completos e atualizados.

As equipes de dados não querem ter uma solução de Data Fabric  para análise de dados e outra para inteligência operacional. Eles querem uma única Data Fabric  para ambos.

O Data Fabric  ideal otimiza o campo de visão – e a profundidade do entendimento – para cada entidade de negócios – cliente, produto, pedido e assim por diante. Ele fornece às empresas dados limpos e atualizados para análise de dados off-line e fornece dados acionáveis em tempo real para análises operacionais on-line.

CAPÍTULO 11

Porque a Stratio?

Quadrante Mágico da Gartner

A Stratio recebeu uma Menção Honrosa no Quadrante Mágico da Gartner de 2023 para Ferramentas de Integração de Dados além de ser agraciada com o selo de “Cool Vendor” em 2021. A Stratio BD foi elogiada por seu produto Generative AI Data Fabric, que simplifica a compreensão de dados para usuários corporativos, mapeando dados corporativos em sua camada unificada de dados corporativos (BDL).

A BDL expõe ontologias padrão do setor em uma representação gráfica de conhecimento com uma variedade de recursos de integração, catalogação e governança de dados. À medida que novos ativos de negócios e novos relacionamentos são descobertos, os esquemas gráficos e semânticos correspondentes são estabelecidos automaticamente dentro da camada de dados corporativos.

 O Stratio Rocket permite que usuários com diferentes formações técnicas (Negócios, Cientistas de Dados, Engenheiros, PMs, etc.) trabalhem juntos em projetos onde possam transformar, analisar e obter insights de dados confiáveis em tempo real e apresenta um ciclo de vida completo do ML Model (com integração perfeita de ML Auto, ML Trainer, ML Flow e Notebooks), edição de fluxo de trabalho visual e promoção de ativos de ambientes de Desenvolvimento para Produção (CI/CD) com apenas um clique.

Stratio Rocket

Gen AI Analytics & ML Suite

Dados & Ciclo de vida do ML a partir de dados confiáveis:

Gerencia todo o ciclo de vida dos dados de um local único, economizando tempo e custos, e obtenha previsões em tempo real. Use nosso mecanismo de regras de qualidade integrado para garantir que seus dados sejam 100% confiáveis. Salte do desenvolvimento para a produção com um único clique. Com a integração total do Jupyter Notebooks, edição em linha do ML Flow, suporte ao Git e ML Auto com seleção automática do melhor modelo, os cientistas de dados finalmente encontraram seu lugar.

O Stratio Generative AI Data Fabric abrange todo o ciclo de vida do gerenciamento de dados, desde a descoberta de dados, governança até o uso e descarte.

Encontre todos os seus dados, automaticamente

Sua organização tem dados em todos os lugares - diferentes divisões usam aplicativos diferentes para fazer coisas diferentes. A Stratio usa IA para encontrar todos os seus dados, sejam eles locais ou na nuvem. Isso significa que você pode ter certeza de que está tratando os dados adequadamente.

Torne-o acessível em tempo real

Se você não conseguir ver seus dados assim que forem gerados, nunca se moverá tão rápido quanto seus clientes. Com a maioria da infraestrutura de dados, pode levar horas para processar os dados do cliente. O Stratio acessa 100% dos seus dados em tempo real sem movê-los, para que você possa agir rapidamente sem perder o contexto importante.

Veja apenas o que é útil

Somente unificando o operacional e o informacional em uma plataforma colaborativa, as empresas poderão migrar para a IA estendida instantânea.

Aja com base em insights alimentados por IA

Este é o verdadeiro ouro. Os modelos de IA da Stratio analisam seus dados para encontrar padrões nos quais você pode agir rapidamente ou automatizar. Isso pode ser encontrar a próxima melhor ação a ser tomada com um cliente em uma chamada ou em seu site; ou analisar dados para gerenciar o nível de estoque e pessoal; ou entender como desenvolver um novo negócio digital.

Fale com seus dados diretamente com a Stratio Gen-AI

Faça perguntas em linguagem natural e obtenha respostas significativas de sua camada unificada de dados corporativos criada pelo Stratio Generative AI Data Fabric direta e instantaneamente.

Através de uma interface semelhante ao ChatGPT você pode pedir relatórios, insights, respostas rápidas, referências de processos, até mesmo criar novos aplicativos e modelos de IA sem ter que escrever nenhum código ou usar termos técnicos.

Instalação de aplicativos sob demanda

Faça sua instalação personalizada de módulos, conectores e drivers em qualquer nuvem para atender a todas as suas necessidades.

Stratio é uma caixa de ferramentas modular com um "Command Center" como um portal de serviços central que está disponível para sua empresa. Os aplicativos Stratio são completamente APIfied, permitindo assim a integração total com o seu produto.

Exibições de dados corporativos com mapeamento assistido

Stratio automatiza 80% do trabalho de governança de dados para garantir que seus dados se tornem realmente confiáveis em tempo recorde. Importe ontologias como FIBO, MedDRA, etc., e aproveite nossa tecnologia de IA disruptiva para combinar automaticamente ontologias com dados reais, reduzindo drasticamente meses de trabalho árduo.

Conecta todas as suas fontes de dados

O Stratio Governance implanta um conjunto de agentes que verificam automaticamente todos os seus sistemas em busca de armazenamentos de dados, os reúnem e os disponibilizam para você por meio de uma interface intuitiva, não importa onde eles estejam ou qual mecanismo de armazenamento de dados você use.

Quer entender com mais detalhes como a plataforma Stratio pode mudar o status da utilização de dados em sua empresa?

Converse conosco através deste link!

Stratio faz parte do ecossistema Impact Strategy Group®

Disclaimer

A Gartner não endossa nenhum fornecedor, produto ou serviço descrito em suas publicações de pesquisa e não aconselha os usuários de tecnologia a selecionar apenas os fornecedores com as classificações mais altas. As publicações de pesquisa do Gartner consistem nas opiniões da organização de pesquisa do Gartner e não devem ser interpretadas como declarações de fato. A Gartner se isenta de todas as garantias, expressas ou implícitas, com relação a esta pesquisa, incluindo quaisquer garantias de comercialização ou adequação a uma finalidade específica.