Engenheiro(a) de Dados (Azure Databricks) Sobre a Oportunidade
Buscamos um profissional apaixonado por dados para integrar nosso time de Data Engineering. Você será responsável por construir a espinha dorsal de nossos ativos de dados, transformando dados brutos em inteligência estratégica através das melhores práticas de engenharia em nuvem.
Principais Responsabilidades
Desenvolvimento de Pipelines: Construir e manter pipelines de dados robustos utilizando PySpark no ambiente Azure Databricks, garantindo alta disponibilidade e fluxo contínuo.
Arquitetura Medallion: Implementar e gerenciar o ciclo de vida do dado seguindo a estrutura de camadas (Bronze, Silver e Gold), garantindo a organização e qualidade desde a ingestão até o consumo.
Ingestão e Integração: Configurar fluxos de ETL/ELT de fontes heterogêneas (SQL Server, APIs, Streaming) utilizando Azure Data Factory e Azure Data Lake Storage (ADLS).
Otimização e Monitoramento: Zelar pela performance dos clusters e processos, focando em escalabilidade, redução de latência e eficiência de custos em nuvem.
Qualidade de Dados: Desenvolver rotinas de limpeza, tratamento e enriquecimento para transformar dados brutos em ativos prontos para análise de negócio.
Segurança e Governança: Documentar processos técnicos e garantir que todos os fluxos estejam em conformidade com as políticas de segurança e privacidade de dados.
Requisitos e Qualificações
Formação: Graduação completa em Ciência da Computação, Engenharia, Ciência de Dados ou áreas de TI correlatas.
Cloud Azure: Experiência prática com o ecossistema de dados da Microsoft.
Stack Técnica: Domínio avançado de Databricks, PySpark, Python e SQL.
Arquitetura: Experiência sólida com Arquitetura Medalhão, Data Lake e tecnologia Delta Lake.
Modelagem: Conhecimento em modelagem de dados (Dimensional/Star Schema).
Visualização: Conhecimento básico de Power BI para apoio à camada de consumo (Gold).
Diferenciais (Opcional)
Certificações Azure (DP-203) ou Databricks Certified Data Engineer.
Experiência com ferramentas de CI/CD (Azure DevOps) para automação de pipelines.
Conhecimento em metodologias ágeis (Scrum/Kanban).