👨🏻‍💻 postech.work

[Banco de Talentos] Pessoa Engenheira de Dados

Aquarela Analytics • 🌐 In Person

In Person Posted 4 days, 19 hours ago

Job Description

A Aquarela está em constante crescimento e, com isso, novas oportunidades surgem com frequência. Criamos nosso Banco de Talentos para nos conectarmos com profissionais que compartilham do nosso propósito de deixar o mundo ainda mais inteligente e estejam alinhados com os desafios dos nossos projetos futuros.

Ao se cadastrar, seu perfil será analisado com carinho em nossas futuras vagas que combinem com suas competências, interesses e trajetória.

Atividades:

Arquitetar as soluções existentes para garantir um código legível e de fácil manutenção;

Trabalhar com grande volume de dados que serão utilizados para alimentação de Data Lake e Data Warehouse;

Manipular e integrar dados de diferentes fontes, com diferentes sistemas;

Criar e aperfeiçoar os processos e rotina de ETL, ELT e EtLT;

Planejar e conduzir o processo de migração de Data Warehouses e Data Lakes;

Implementar ferramentas e automatizar tarefas para atender as áreas de dados;

Projetar e criar pipelines de dados confiáveis, trabalhar com fluxos completos de manipulação de dados, desde a extração até a documentação;

Alinhar as expectativas do time de desenvolvimento com o de ciência de dados;

Interagir com o time de infraestrutura no desenvolvimento de soluções;

Contribuir com os processos da área, mediante a execução de todos os atos inerentes e demais tarefas correlatas às funções, solicitadas pelo responsável da área.

Requisitos:

Conhecimentos em programação;

Boas práticas em programação e facilidade de uso com OOP;

Conhecimento em Bancos de Dados;

Conhecimento em modelagem de dados;

Conhecimento em arquitetura de dados multi-zonas (Medallion Architecture);

Experiência em ferramentas de ETL, ELT, EtLT e integração de dados;

Conhecimento em SQL;

Conhecimento em GitOps;

Manipulação e criação de imagens Docker;

Conhecimento em orquestração de containers com Kubernetes;

Experiência com soluções de computação distribuídas como Spark,YARN e Trino;

Conhecimento da ferramenta de orquestração e agendamento Apache Airflow;

Experiência com sistema de arquivos distribuídos (HDFS, MinIO…);

Conhecimento de formatos de tabelas Iceberg, Delta Lake;

Conhecimento em alguma Cloud Computing (AWS, GCP ou Azure);

Modelagem e transformação de dados com dbt (Data Build Tools);

Conhecimento de sistemas operacionais baseados em Linux.

Será um diferencial:

Vivência em Python;

Bancos de Dados NoSQL;

Design Patterns;

Apache Kafka;

Apache NiFi;

Monitoramento com Prometheus e Grafana;

Domínio de alguma linguagem de programação fortemente tipada como Java ou C#;

Conhecimento de contrato de dados (Data Contracts);

Conhecimento do ecossistema Apache Hadoop;

Conhecimento de formato de arquivos Parquet, Avro e ORC;

Conhecimento de frameworks de qualidade de dados como SODA ou Great Expectations.

Get job updates in your inbox

Subscribe to our newsletter and stay updated with the best job opportunities.