Autor: Bruno Oliveira Casotti
Este projeto visa criar uma solução para otimização de custos por meio de um pipeline de ingestão, tratamento e disponibilização de dados de ativos de renda variável, facilitando a coleta e análise de dados históricos e diários para investidores.
A queda na taxa básica de juros no Brasil em 2020 tornou os ativos de renda fixa menos atrativos, levando investidores a buscarem alternativas em renda variável. Este projeto foi desenvolvido para auxiliar startups como a App Wallit, oferecendo uma solução de gerenciamento de carteiras de investimentos a um custo acessível.
A solução foi dividida em três partes, cada uma com objetivos e atividades específicas:
- Coleta de dados cadastrais e de cotações históricas dos ativos.
- Armazenamento dos dados em um Data Storage no formato Apache Parquet.
- Limpeza e padronização dos dados utilizando PySpark.
- Armazenamento dos dados tratados no Data Warehouse.
- Configuração de consultas SQL para os dados tratados.
- Implementação de uma interface de acesso aos dados.
A figura abaixo demonstra a utilização dos dados coletados e tratados durante o projeto em um dashboard criado no Power Bi. Na imagem, é possível identificar que foi selecionado o ativo “ITSA4” e abaixo são apresentados alguns dados referentes às cotações históricas e do último pregão do ativo, bem como os dados de cadastro da empresa ao qual o ticker se refere.
- Linguagens: Python e SQL
- Ambiente de Desenvolvimento: Databricks (Hospedado na Azure)
- Biblioteca de Big Data: PySpark
- Armazenamento de Dados: Apache Parquet, Data Storage em Cloud
- Redução de Custos: Utilização de dados públicos e infraestrutura em cloud para diminuir despesas operacionais.
- Acessibilidade: Solução escalável e de baixo custo para startups financeiras.
- Eficiência: Processo otimizado de coleta e tratamento de dados, permitindo consultas rápidas e eficazes.
Para mais informações, entre em contato com por e-mail Bruno Oliveira Casotti ou via LinkedIn.