👨🏻‍💻 postech.work

Pessoa Engenheira de Dados Sênior

Zup Innovation • 🌐 In Person

Expired Posted 1 day, 8 hours ago

This job posting has expired and is no longer accepting applications.

Job Description

Nosso propósito é criar tecnologias que desafiam as melhores do mundo e mudam o jogo para nossos clientes. Por isso, buscamos profissionais que desejam fazer parte de uma cultura pautada pela excelência e inovação. Se você se identifica com um ambiente de trabalho colaborativo e movido por curiosidade, venha construir o futuro da tecnologia conosco.

O que você fará por aqui

Projetar, desenvolver e manter

pipelines de dados escaláveis e resilientes

, com foco em desempenho, observabilidade e custo.

Migrar rotinas legadas (mainframe / .NET) para soluções modernas baseadas em

Python e AWS

, aplicando boas práticas de engenharia de software.

Implementar

testes automatizados

(unitários, integração e regressão) com frameworks como

pytest

e

mock

, garantindo qualidade contínua dos pipelines.

Construir e orquestrar workflows de dados usando

AWS Step Functions

e

EventBridge

, garantindo rastreabilidade e tolerância a falhas.

Desenvolver e otimizar jobs distribuídos com

Apache Spark

e

AWS Glue

, incluindo particionamento, paralelismo e tunning de performance.

Gerenciar infraestrutura de dados como código (

IaC

) utilizando

Terraform

, com versionamento e automação via pipelines de CI/CD.

Utilizar

Athena

e

SQL avançado

para consultas analíticas e transformação de dados em larga escala (CTEs, particionamento, otimização de scans, uso de formatos Parquet/ORC).

Implementar boas práticas de

DataOps

,

monitoramento

,

logging estruturado

(CloudWatch, OpenTelemetry) e

alertas proativos

.

Trabalhar em conjunto com squads multidisciplinares (dados, produto e negócio) para garantir entregas tempestivas e com alto padrão de confiabilidade.

O que esperamos que você saiba

Linguagem e Engenharia de Software

Domínio de

Python aplicado à engenharia de dados

(Pandas, PySpark, boto3, typing, logging, multiprocessing, design patterns).

Experiência com

testes automatizados

(pytest, unittest, mock) e boas práticas de versionamento (Git Flow, code review).

Conhecimento em

estruturas de dados, algoritmos e otimização de performance

em grandes volumes.

Arquitetura e Cloud (AWS)

Vivência sólida com

serviços de dados e serverless AWS

:

  • S3

(data lake, versionamento, segurança com KMS/IAM)

  • Lambda

,

Glue

,

Step Functions

,

EventBridge

  • Athena

(SQL avançado, Parquet/ORC, otimização de consultas)

  • CloudWatch/CloudTrail

(logs, métricas, auditoria)

Conhecimento em

modelagem e integração de dados em ambiente distribuído AWS

.

Big Data e Processamento Distribuído

Proficiência em

Apache Spark (PySpark, SparkSQL)

, com tuning de memória e partições.

Experiência com

formatos otimizados

(Parquet, ORC, Avro) e compressões (Snappy, Gzip).

Entendimento de

arquiteturas de dados modernas

(data lake, medallion, Glue Catalog).

Diferencial:

streaming e near real-time

(Kinesis, Kafka, Spark Streaming).

Infraestrutura, Automação e Observabilidade

Terraform

para infraestrutura como código (S3, Glue, Lambda, IAM, Step Functions).

CI/CD

com GitHub Actions, CodePipeline ou Jenkins.

Monitoramento e observabilidade

: logs estruturados, métricas e alertas proativos.

Banco de Dados e SQL

SQL avançado

(CTEs, window functions, otimização de queries, agregações em escala).

Experiência com

Athena

e bancos relacionais de alta volumetria (PostgreSQL ou similares).

O que te oferecemos

Atuamos em um modelo de trabalho remoto por padrão, priorizando a sua liberdade e responsabilidade. Além disso, proporcionamos:

Carreira

Liberdade para trabalhar de onde quiser

Horários flexíveis

Auxílio Educação

Ferramenta própria de desenvolvimento de carreira

Guildas internas e grupos de estudo e interesse

Saúde e bem-estar

Plano de saúde

Plano odontológico

Parceria na compra de medicamentos

Telemedicina disponível 24x7

Terapia online gratuita

Wellhub

Licença maternidade estendida

Licença paternidade estendida

CAZ – Central de Atendimento a zuppers

Conforto financeiro

Vale-refeição e alimentação

Seguro de vida

Vale-transporte

Auxílio home office

Auxílio Creche

Auxílio plano telefônico

Participação em Lucros e Resultados

Get job updates in your inbox

Subscribe to our newsletter and stay updated with the best job opportunities.