Buscamos um(a) desenvolvedor(a) back-end para atuar na construção e manutenção de sistemas de extração de dados em larga escala. O profissional será responsável por criar crawlers robustos, escaláveis e eficientes, além de implementar soluções de alta performance com foco em concorrência e otimização de processos.
Responsabilidades
Desenvolver e manter aplicações back-end utilizando Golang (preferencialmente) ou PHP;
Criar e evoluir crawlers e sistemas de busca para coleta de dados de múltiplas fontes;
Implementar soluções de alta performance e concorrência (goroutines, async/await, workers);
Trabalhar com requisições HTTP (GET/POST), headers, cookies, redirecionamentos, status codes e rate-limit;
Manipular e extrair informações em JSON, HTML, XML, utilizando regex, XPath e CSS selectors;
Configurar e consumir proxies (HTTP/HTTPS/SOCKS), aplicando rotação, timeouts e boas práticas de anonimização;
Garantir a escalabilidade, resiliência e eficiência dos crawlers;
Colaborar com equipes multidisciplinares, participando de code reviews e de processos ágeis.
Requisitos
Requisitos
Experiência sólida em PHP;
Vivência no desenvolvimento de crawlers e manipulação de dados extraídos;
Conhecimento em concorrência e otimização de processos;
Experiência com MySQL e noções de Redis;
Conhecimento em Git e versionamento de código;
Familiaridade com arquitetura de microsserviços;
Capacidade analítica para resolver problemas complexos;
Experiência em ambientes ágeis.
Desejável
Experiência com Golang
Diferenciais
Experiência com Docker e Docker Compose (empacotamento e execução local de crawlers);
Conhecimento em TLS fingerprinting e headers avançados (simulação de navegação real, antibots);
Experiência com observabilidade (logs estruturados, métricas, tracing distribuído);
Conhecimento em testes de performance (stress tests, RPM, custo de operação);
Noções de segurança, anonimização e compliance em scraping.