Empresa do setor financeiro migra datalake para AWS com a Dedalus

Empresa brasileira de investimentos e serviços financeiros moderniza seu ambiente de dados com a migração de data lake com o objetivo de ampliar a escalabilidade, a governança e a segurança, preservando os processos de transformação e a compatibilidade com o Power BI.

Benefícios de combinar Data Lake e Data Warehouse

Sobre o Cliente

Fundada em 2019, a empresa é uma companhia brasileira de investimentos com atuação global, que oferece soluções financeiras interconectadas para pessoas, famílias e negócios. Seu portfólio reúne serviços de gestão de patrimônio, gestão de investimentos, crédito, investment banking e outras soluções financeiras.

Desafio

A empresa mantinha um data lake corporativo no Microsoft Azure, com mais de 420 GB de dados  em um ambiente que recebia informações de diversas fontes, como APIs, arquivos, web scraping e integrações com sistemas externos. O desafio era migrar essa estrutura para a AWS, preservando a lógica dos processos ETL/ELT e a compatibilidade com os modelos semânticos do Power BI, ao mesmo tempo em que se buscava maior escalabilidade, governança, segurança e eficiência operacional.

Solução

A Dedalus projetou uma arquitetura de data lake nativa da AWS, utilizando serviços gerenciados para substituir o ambiente existente no Azure.

A solução contempla o Amazon S3 como camada de armazenamento, AWS Glue Data Catalog e Lake Formation para governança e controle de acesso, AWS Glue para processamento ETL/ELT, Step Functions para orquestração, Amazon Athena para consultas e Amazon Redshift para análises avançadas.

A infraestrutura será provisionada como código com Terraform, apoiada por pipelines de CI/CD no Azure DevOps. Também foram previstos controles de segurança com IAM, criptografia e monitoramento por CloudWatch e AWS Config.

A migração será conduzida em etapas, incluindo assessment, prova de conceito, preparação do ambiente, transferência dos dados, adaptação dos jobs, validação e Go-Live.

Resultados 

  • Maior escalabilidade, com uma arquitetura preparada para o crescimento contínuo do volume de dados.
  • Governança centralizada, com controle de acesso granular e melhor organização dos dados.
  • Preservação dos processos existentes, reduzindo impactos na operação e nos relatórios de negócio.
  • Maior segurança, com criptografia, políticas de acesso e monitoramento contínuo.
  • Infraestrutura padronizada e automatizada, facilitando a manutenção e a evolução do ambiente.
  • Maior eficiência operacional, com o uso de serviços gerenciados da AWS.
  • Base para futuras iniciativas de dados e analytics, com uma plataforma mais flexível e preparada para novos projetos.

 

Veja mais cases