Descrição da vaga
Sobre a empresa:
Somos a AgRisk, a infraestrutura completa para toda a jornada de crédito do agronegócio, com um motor de decisão alimentado por mais de 30 módulos de análise. Há 9 anos conectamos dados, tecnologia e governança para que instituições tomem decisões de crédito mais rápidas, seguras e consistentes. Já realizamos mais de 3,5 milhões de consultas, analisamos mais de 1,2 milhão de CPFs e CNPJs e hoje sustentamos a operação de mais de 1.600 clientes. Somos investidos pelo Itaú Venture Capital e recebemos recentemente um aporte de R$ 50 milhões do Rabo Partnerships, avançando para a Série B. Somos um time de mais de 100 pessoas construindo a base sobre a qual o crédito agro é decidido no país.
O que você vai fazer aqui:
• Projetar, desenvolver e evoluir sistemas de coleta, processamento e integração de dados utilizando Python, garantindo escalabilidade, resiliência e alta performance.
• Conduzir iniciativas técnicas desde o desenho da solução até a implementação, testes e rollout em produção.
• Desenvolver soluções de coleta automatizada utilizando web scraping, web crawling, automação de navegadores, consumo de APIs e integração com fontes externas.
• Construir arquiteturas de coleta de dados em larga escala, considerando paralelismo, concorrência, gerenciamento de sessões e eficiência de recursos.
• Desenvolver estratégias para extração de dados de sites dinâmicos, aplicações JavaScript, documentos estruturados e não estruturados.
• Construir pipelines de extração, transformação, normalização, validação e enriquecimento de grandes volumes de dados.
• Identificar e solucionar gargalos de performance, otimizando throughput, latência, consumo de memória e custos operacionais.
• Implementar mecanismos de resiliência como retries, timeouts, backoff, idempotência e recuperação de falhas.
• Evoluir a arquitetura dos serviços Python, promovendo modularização, reutilização de componentes e redução de débitos técnicos.
• Desenvolver mecanismos de observabilidade para monitorar disponibilidade das fontes, taxas de sucesso, tempos de execução e qualidade dos dados.
• Investigar incidentes em produção, identificar causas raiz e implementar melhorias estruturais.
• Explorar novas tecnologias e estratégias de coleta, incluindo IA para extração inteligente de informações e automação de processos.
• Utilizar ferramentas de IA no desenvolvimento (AI First), aumentando produtividade, qualidade e velocidade de entrega.
• Colaborar com decisões arquiteturais, realizar code reviews e apoiar o desenvolvimento técnico de profissionais menos experientes.
O que esperamos de você:
• Experiência sólida com Python, incluindo programação assíncrona, concorrência, gerenciamento de memória e otimização de performance.
• Experiência comprovada com web scraping e web crawling, utilizando Scrapy, BeautifulSoup, Playwright, Selenium ou tecnologias equivalentes.
• Domínio de HTTP/HTTPS, headers, cookies, sessões, autenticação e funcionamento de aplicações web.
• Experiência com automação de navegadores e extração de dados de aplicações dinâmicas renderizadas por JavaScript.
• Bons conhecimentos de arquitetura de software, padrões de projeto e construção de sistemas distribuídos e escaláveis em Python.
• Experiência com frameworks como FastAPI, Django e/ou Flask.
• Experiência com processamento de grandes volumes de dados, utilizando Pandas, Polars ou ferramentas equivalentes.
• Conhecimento de processamento assíncrono e paralelo, utilizando asyncio, multiprocessing, filas e workers.
• Experiência com mensageria utilizando RabbitMQ, Kafka, SQS, Redis ou tecnologias equivalentes.
• Experiência com MongoDB e/ou PostgreSQL, incluindo modelagem, indexação e otimização de consultas.
• Capacidade de desenvolver soluções resilientes de coleta, com reprocessamento, deduplicação, controle de execução e recuperação de falhas.
• Experiência com testes automatizados, observabilidade, monitoramento e troubleshooting em produção.
• Conhecimento de Docker, Linux e infraestrutura cloud (AWS e/ou GCP).
• Familiaridade com ferramentas de IA para desenvolvimento (AI First), incorporando-as ao fluxo diário de trabalho.
• Autonomia para investigar problemas complexos, propor soluções e conduzir entregas de ponta a ponta.
• Boa comunicação, pensamento analítico, senso de responsabilidade e facilidade para colaborar com outros desenvolvedores.
Diferenciais:
• Já ter trabalhado com Scrapy