[Job - 29884] Mid Data Developer, Brasil

- Databricks com PySpark
- Spark e Python
- Ambiente cloud Azure
- Processamento de dados em tempo quase real com Kafka
- Produtização de modelos de Machine Learning no Databricks — MLOps
- Esteiras de CI/CD com GitHub e GitHub Actions
- Versionamento, boas práticas de engenharia e qualidade de dados
- Experiência com metodologias ágeis
- Diferencial em uso de IA no desenvolvimento, como GitHub Copilot, prompt engineering e code review automatizado

- Garantir boas práticas de desenvolvimento, assegurando que as soluções de dados sigam padrões de qualidade, eficiência, escalabilidade e manutenibilidade.
- Desenvolver, otimizar e manter pipelines de dados em ambiente Big Data na nuvem, utilizando Databricks, Spark e PySpark.
- Atuar na construção de produtos de dados escaláveis, com foco em performance, confiabilidade e qualidade.
- Trabalhar com processamento de dados em tempo quase real, utilizando Kafka e tecnologias relacionadas.
- Apoiar a produtização de modelos de Machine Learning no Databricks, aplicando conceitos de MLOps.
- Criar, manter e evoluir esteiras de CI/CD utilizando GitHub e GitHub Actions.
- Aplicar boas práticas de versionamento, testes, revisão de código e qualidade de dados.
- Apoiar refinamentos técnicos e funcionais, garantindo clareza, viabilidade e aderência das histórias às necessidades do projeto.
- Apoiar na construção de histórias de usuário bem definidas, facilitando o desenvolvimento pelos times de engenharia de dados.
- Participar do desenho AS-IS e TO-BE, documentando processos atuais e futuros, identificando débitos técnicos, riscos e oportunidades de melhoria.
- Desenvolver histórias refinadas e aprovadas, garantindo qualidade, eficiência e aderência aos padrões técnicos.
- Colaborar com focais de dados, negócio e tecnologia para garantir que as soluções estejam alinhadas às necessidades do negócio e às melhores práticas de engenharia.
- Propor melhorias contínuas nos processos, arquitetura, performance e produtividade do time.
- Utilizar, quando aplicável, ferramentas de IA no desenvolvimento, como GitHub Copilot, prompt engineering e code review automatizado, visando ganho de produtividade e qualidade.

- Forte experiência com Databricks e PySpark.
- Sólido conhecimento em Spark, Python e lógica de programação.
- Experiência em ambientes cloud Azure.
- Experiência na construção de pipelines de dados escaláveis e performáticos.
- Vivência com processamento de dados em tempo quase real com Kafka.
- Experiência com esteiras de CI/CD, especialmente GitHub e GitHub Actions.
- Conhecimento em MLOps e produtização de modelos no Databricks.
- Domínio de boas práticas de engenharia de dados, versionamento, testes, revisão de código e qualidade de dados.
- Experiência em squads ágeis e metodologias ágeis.
- Capacidade de atuar em otimização de performance, melhoria de processos e redução de débitos técnicos.
- Diferencial: experiência com uso de IA aplicada ao desenvolvimento, como GitHub Copilot, prompt engineering e code review automatizado.