Introduction
Nessa função, você trabalhará em um dos nossos Centros de Inovação para Clientes da IBM Consulting (Centros de Entrega), onde oferecemos profundo conhecimento técnico e setorial a uma ampla gama de clientes dos setores público e privado em todo o mundo. Nossos centros de entrega oferecem aos nossos clientes habilidades e conhecimentos técnicos locais para impulsionar a inovação e a adoção de novas tecnologias.
Your Role And Responsibilities
Profissional com experiência sólida em engenharia de dados, atuando em ambientes colaborativos e ágeis, com domínio de ferramentas modernas como Databricks, Delta Lake e Unity Catalog. Capaz de transformar dados em valor por meio de pipelines eficientes, governança de dados e visualização estratégica, com forte capacidade de comunicação e trabalho em equipe.
Metodologias de Trabalho
Atuação em equipes ágeis, com experiência em frameworks como Scrum e Kanban;
Utilização de ferramentas de gestão de projetos ágeis, como Jira, Trello ou similares;
Habilidades de comunicação clara e objetiva, com capacidade de negociação e resolução de conflitos;
Colaboração ativa com stakeholders técnicos e de negócio.
Plataforma Databricks
Criação e otimização de notebooks Databricks para manipulação e análise de dados;
Uso de Databricks SQL para consultas eficientes e construção de relatórios;
Configuração e execução de Databricks Workflows para automação de processos;
Manipulação de dados com Unity Catalog, garantindo governança e segurança.
Arquitetura de Dados
Utilização de Delta Lake para construção de data lakes confiáveis, com versionamento e controle de qualidade;
Implementação de pipelines de dados escaláveis e resilientes;
Integração com ferramentas de monitoramento, armazenamento e visualização de dados.
Habilidades Complementares
Capacidade de análise crítica e resolução de problemas complexos;
Foco em melhoria contínua, eficiência operacional e entrega de valor;
Experiência em ambientes com grande volume de dados e alta exigência de performance.
Requisitos Imprescindiveis
Required technical and professional expertise
Linguagem de Programação Python;
Conhecimento em banco de dados relacional;
Linguagem de consulta a banco de dados SQL;
Big Data e Processamento Distribuído com Apache Spark e PySpark;
Conhecimento em Git/GitLab para versionamento de código, colaboração e fluxos de trabalho de CI/CD;
Conhecimento prático em Databricks.
Requisitos Desejáveis
Preferred technical and professional experience
NoSQL: Entendimento de bancos de dados NoSQL, com experiência prática em MongoDB;
Analytics: Conhecimento em Google Analytics e outras ferramentas de análise de dados para extração e processamento de dados;
Modelagem: Conhecimento em modelagem dimensional (fatos e dimensões).