Dedalus estrutura arquitetura Data Mesh para BI na AWS

Dedalus para amplia governança, rastreabilidade e capacidade de análise, criando uma base escalável para futuras iniciativas de machine learning e analytics avançado para empresa de seguros.

Sobre o Cliente

Empresa global do setor de seguros e serviços financeiros, com atuação em diferentes mercados e operações que dependem de dados para apoiar decisões estratégicas. Em sua jornada de transformação digital, a organização buscava estruturar uma base tecnológica para análise de dados, governança e evolução de suas capacidades de inteligência de negócio.

Desafio

A empresa estava iniciando sua jornada de análise e governança de dados e precisava construir uma estrutura organizada, resiliente e preparada para crescer. As informações, provenientes principalmente de planilhas e sistemas externos à nuvem, ainda não contavam com uma governança consolidada.

O desafio era criar uma arquitetura escalável e desacoplada, capaz de centralizar os dados em um Data Warehouse, garantir maior controle sobre o uso das informações e viabilizar análises estratégicas no Power BI. A proposta também precisava considerar requisitos de conformidade com a LGPD, rastreabilidade e controle de custos, inicialmente por meio de um MVP.

Solução

A Dedalus projetou uma arquitetura de referência na AWS para suportar o MVP de Data Mesh, abrangendo desde a ingestão até a visualização dos dados.

A solução contempla o Amazon S3 como data lake, com camadas Raw, Staging e Curated, além de AWS Glue, AWS Step Functions e AWS Lambda para processamento e orquestração. Os dados são consolidados em um Amazon Redshift Serverless, conectado ao Power BI para análises e relatórios.

Também foram previstos mecanismos de versionamento, histórico e rastreabilidade, além de controles de governança e segurança com AWS Lake Formation, IAM e CloudTrail. A arquitetura foi estruturada como código, permitindo maior padronização, documentação e evolução do ambiente.

Resultados

  • Base escalável para análise de dados, com arquitetura preparada para futuras iniciativas de BI, machine learning e analytics avançado.
  • Maior governança e controle, com catálogo de dados, perfis de acesso e auditoria centralizada.
  • Mais rastreabilidade, por meio de versionamento, histórico e registros de execução.
  • Desacoplamento da camada analítica, reduzindo dependências dos sistemas de origem.
  • Visualização estratégica no Power BI, com dados consolidados em um Data Warehouse.
  • Arquitetura documentada e versionada, facilitando a manutenção e a evolução do ambiente.
  • Validação de performance, governança e custos, por meio de um MVP antes da expansão da solução.

Veja mais cases

Empresa do setor financeiro migra datalake para AWS com a Dedalus
Empresa brasileira de investimentos e serviços financeiros moderniza seu ambiente de dados com a migração de data lake com o objetivo de ampliar a escalabilidade, a governança e a segurança, preservando os processos de transformação e a compatibilidade com o Powe...