Como referenciar este texto: ‘Análise de Dados e Machine Learning na otimização da migração para a nuvem em um banco de grande porte’. Rodrigo Terra. Publicado em: 18/01/2025. Link da postagem: https://www.makerzine.com.br/dados/analise-de-dados-e-machine-learning-na-otimizacao-da-migracao-para-a-nuvem-em-um-banco-de-grande-porte/.
Conteúdos que você verá nesta postagem
A migração de servidores físicos para a nuvem é um dos desafios mais críticos para grandes instituições financeiras. Além de demandar um planejamento rigoroso, a escalabilidade da infraestrutura deve ser constantemente monitorada para evitar gargalos operacionais. Neste projeto, atuei na análise e otimização da migração dos servidores físicos para a nuvem de um banco de grande porte, utilizando técnicas de modelagem preditiva, dashboards dinâmicos e machine learning para garantir uma transição eficiente.
Primeira Etapa: Monitoramento e Predição de Capacidade
Inicialmente, o escopo do projeto previa apenas o desenvolvimento de dashboards para monitorar a quantidade de small files migradas. Para isso, utilizei Databricks, SQL e Power BI, conectando o Power BI diretamente ao Databricks para atualização em tempo real dos dados.
Além da visualização, implementei uma média móvel de quatro semanas para prever o crescimento ou redução do volume de small files nos servidores físicos. O objetivo era identificar tendências e antecipar possíveis gargalos na infraestrutura.
Foi nessa fase que um problema crítico surgiu: ao invés de o volume de arquivos migrados diminuir conforme esperado, ele crescia, levando os servidores físicos próximos ao seu limite. Era consenso que, se os servidores atingissem 98% da capacidade total, enfrentaríamos falhas no site, no app e nas agências. No momento da análise, o banco já estava operando com cerca de 95% da capacidade total, indicando um risco iminente de colapso da infraestrutura.
Diante dessa constatação, ficou claro que o projeto precisava de uma segunda fase, voltada à otimização do processo de migração e redistribuição de carga entre as squads envolvidas.
Segunda Etapa: KPIs e Otimização por Clusterização
Com a necessidade de garantir um desligamento gradual dos servidores físicos sem comprometer a operação, defini três KPIs estratégicos para acompanhar a performance de cada squad no processo de migração:
- Volume de small files migrados por unidade de tempo – Mede a eficiência da equipe na movimentação de arquivos.
- Número de servidores desligados em função do tempo – Indica a taxa de redução da infraestrutura física.
- Diferença no número de servidores desligados e ligados, dividida pelo número de servidores desligados – KPI percentual que avalia a eficiência do desligamento, garantindo que mais servidores sejam desativados do que reativados.
Utilizei Databricks e Python para processar e analisar esses dados, aplicando K-Means para segmentar as squads de acordo com seu desempenho na migração. Essa classificação permitiu identificar três grupos distintos (os nomes foram alterados propositadamente):
- Atenção 🚨 – Squads com baixa performance, necessitando de intervenção imediata dos líderes para evitar atrasos críticos.
- Satisfatório ✅ – Squads que estavam dentro do cronograma e seguiam o planejamento previsto.
- Adiantados 🚀 – Squads que já estavam finalizando a migração ou realizando a validação final dos dados.
Essa análise possibilitou ações direcionadas para cada grupo, garantindo que os times em risco recebessem suporte adequado e permitindo que os squads mais avançados ajudassem a equilibrar a carga de trabalho.
Resultados e Impacto do Projeto
Com essa abordagem, conseguimos evitar que os servidores físicos atingissem seu limite crítico antes da conclusão da migração, garantindo uma transição equilibrada para a nuvem. Além disso, a segmentação das squads com K-Means permitiu otimizar a distribuição da carga, reduzindo falhas e melhorando a eficiência operacional.
Esse projeto demonstrou a importância de monitoramento contínuo, modelagem preditiva e clusterização inteligente para otimizar grandes migrações de dados. Mais do que simplesmente acompanhar os números, a capacidade de antecipar problemas e agir estrategicamente foi essencial para o sucesso da migração.
Se você acha que este conteúdo pode ser útil para alguém, compartilhe!
Ao divulgar os textos do MakerZine, você contribui para que todo o material continue acessível e gratuito para todas as pessoas.
