As Views Materializadas são componentes essenciais em plataformas de Business Intelligence (BI), permitindo consultas rápidas e eficientes em grandes volumes de dados. No entanto, o cliente enfrentava desafios operacionais relacionados ao tempo de processamento e à carga no banco de produção. Nossa equipe se dedicou a otimizar essas Views Materializadas, resultando em uma transformação sólida e mensurável no processo analítico.
A busca por eficiência operacional para nosso cliente era essencial para reduzir o tempo de processamento e aliviar a carga no banco de produção. Nossa equipe se dedicou à otimização das Views Materializadas, com o objetivo de criar uma arquitetura de dados mais ágil e eficiente. A combinação estratégica de tecnologias da AWS permitiu elevar a eficiência analítica, proporcionando uma operação mais suave e uma arquitetura de dados adequada às necessidades da empresa. A otimização das Views Materializadas é um marco importante, impulsionando a capacidade de análise e tomada de decisões.
Neste artigo, exploraremos em detalhes a solução estratégica que implementamos para otimizar as Views Materializadas, resultando em um processamento analítico mais eficiente e uma base sólida para futuras inovações do cliente. A solução incorporou várias ferramentas da AWS, cada uma desempenhando um papel fundamental: o Redshift oferece armazenamento escalável e eficiente, o ECS orquestra containers, o Amazon S3 é um repositório seguro e altamente escalável, o DMS realiza migrações de dados e o CloudWatch monitora a infraestrutura.
Etapas de execução
Identificação dos desafios: Compreendemos os desafios operacionais e criamos uma prototipação para validar da melhor ferramenta ao ambiente, levando em consideração a necessidade de eficiência no processamento de dados analíticos.
Parceria estratégica: Estabelecemos uma parceria com o cliente para otimizar as Views Materializadas.
Seleção das ferramentas AWS: Utilizamos ferramentas da AWS e SQLs fornecidos pelo cliente.
Otimização das Views Materializadas: Reduzimos significativamente o tempo de processamento e aliviamos a carga no banco de produção.
Expansão na fase 2: Otimizamos 28 views restantes, garantindo uma transformação sólida e mensurável.
Para manter a alta disponibilidade, o cliente já havia implementado uma versão replicada do banco de dados. Devido ao impacto na produção, todas as Views Materializadas eram geradas no banco de dados de leitura. Essa replicação era feita do banco inteiro e o processamento ocorria no banco de escrita, resultando em atrasos significativos nas consultas através do PostgreSQL.
Para otimizar o processamento de dados e minimizar a carga sobre o banco, foi necessário criar uma nova arquitetura que beneficiasse os workloads e, consequentemente, os clientes finais. A solução adotada consistiu em extrair os dados por meio de um container e carregá-los em um bucket. Em seguida, esses dados foram processados em um segundo container, onde foram realizados cruzamentos e buscas. Após a manipulação dos dados, eles foram inseridos em um Data Warehouse.
Resultados finais: Os resultados finais dessa nova arquitetura incluem um processamento mais ágil de dados, redução significativa da carga sobre o banco de dados principal e, consequentemente, melhoria na disponibilidade e desempenho das consultas para os clientes finais.
Informações complementares sobre as ferramentas AWS
Redshift: A espinha dorsal da nossa arquitetura de dados, o Redshift oferece armazenamento escalável e eficiente para as Views Materializadas otimizadas. Sua capacidade de processamento massivamente paralelo contribuiu para análises rápidas e eficazes.
ECS (Elastic Container Service): Utilizado para orquestrar containers, o ECS garante uma execução consistente e escalável de aplicações, integrando-se perfeitamente à nossa arquitetura de processamento analítico.
Amazon S3: O S3 é nosso repositório seguro e altamente escalável para armazenamento de dados, garantindo acesso rápido e confiável aos dados necessários para operações analíticas.
Database Migration Service (DMS): Realizamos migrações de dados de maneira eficiente e segura com o DMS, assegurando uma transição suave para aprimorar as Views Materializadas.
CloudWatch: Monitoramos toda a infraestrutura em tempo real com o CloudWatch, garantindo que a performance das Views Materializadas esteja sempre otimizada.
Conclusão
Neste projeto, nossa equipe demonstrou a capacidade de otimizar Views Materializadas para processamento analítico eficiente. Ao enfrentar os desafios operacionais, estabelecemos uma parceria estratégica e utilizamos ferramentas avançadas da AWS. A combinação dessas tecnologias resultou em uma transformação sólida, reduzindo significativamente o tempo de processamento e aliviando a carga no banco de produção. A arquitetura escalável e eficiente estabelecida não apenas resolveu os obstáculos existentes, mas também preparou o terreno para futuras inovações e crescimento na gestão e processamento de dados analíticos.