[Job - 31575] Senior /Master Data Developer, Brazil

BrazilRemoteHomeofficesenior

OtherData Developer

1 views0 saves0 applied

Apply Now

Quick Summary

Key Responsibilities

Code Refactoring: Translates legacy Databricks notebook logic into modern ELT patterns,

Requirements Summary

Strong, hands-on technical depth in Python, PySpark, and advanced SQL for large-scale distributed data processing Robust experience migrating data lakes and refactoring legacy code,

Technical Tools

OtherData Developer

Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.

Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.

Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.

Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.

Nosso cliente está conduzindo uma modernização massiva de seus pipelines de dados, migrando cargas de trabalho legadas em Databricks para uma nova arquitetura nativa no Google Cloud. Esta posição é central para essa transformação: o profissional atuará como um dos pilares hands-on da refatoração, transformando lógicas complexas de processamento distribuído em padrões modernos de ELT, sem comprometer a continuidade das integrações já existentes.

O Data Developer Senior atua na conversão direta de notebooks legados, na construção de pipelines de ingestão escaláveis e na garantia de que a arquitetura em camadas (Raw, Trusted Core e Gold) preserve os contratos de dados que sustentam sistemas e dashboards em produção. O papel combina profundidade técnica na reengenharia de código acoplado com colaboração próxima aos times de negócio para validar cada etapa da migração.

Responsibilities

~1 min read

→Code Refactoring: Translates legacy Databricks notebook logic into modern ELT patterns, prioritizing declarative SQL-based transformation for standard cases and developing Python-based distributed processing routines for intricate logic (such as RDD-based operations).
→Data Contract Preservation: Ensures backward compatibility during migration by implementing trusted-core layering and reverse-view strategies, preventing breaking changes for downstream consuming systems and dashboards.
→Ingestion Pipeline Development: Builds scalable ingestion pipelines by parameterizing YAML configurations that feed an automated DAG generation pipeline, orchestrated through a workflow scheduler and consuming standardized processing templates.
→Data Quality Implementation: Applies synchronous and unit-level assertions within the transformation layers to prevent null values, enforce key uniqueness, and validate domain conformity.
→Migration Validation: Executes technical validation projects by reconciling data output between the legacy environment and the new platform, confirming record-level and field-level parity ("cara-a-crachá" checks).
→GitOps Development: Follows strict CI/CD workflows through feature branches, pull requests, and automated deployment pipelines to development and production environments.
→Cross-Team Alignment: Collaborates consultatively with business Data Stewards to align integration dependencies, negotiate refactoring scope, and validate migrated outputs side by side with stakeholders.

Requirements

~1 min read

Strong, hands-on technical depth in Python, PySpark, and advanced SQL for large-scale distributed data processing
Robust experience migrating data lakes and refactoring legacy code, including reverse-engineering tightly coupled logic (such as Databricks or Azure Data Factory pipelines) into modular cloud-native components
Practical mastery of the Google Cloud data engineering ecosystem, particularly BigQuery, Dataform, and Dataproc Serverless
Solid understanding of Medallion Architecture (Raw/Bronze, Silver/Trusted Core, Gold) and analytical data modeling strategies, including Star Schema and One Big Table approaches
Hands-on experience with modern GitOps development flows (code review, pull request submission) and orchestration automation using Airflow/Composer
Maturity in data quality practices, with testing applied directly to transformation pipelines
Consultative, collaborative communication style to align cross-team dependencies, negotiate refactoring scope, and validate outcomes alongside business Data Stewards

Nice to Have

~2 min read

Experience applying Generative AI agents (such as Gemini, Vertex AI, or Claude) to automate PySpark-to-SQL code refactoring, dependency graph analysis, or automated documentation generation
Prior experience with Change Data Capture (CDC) architectures and event-driven ingestion patterns
Strong performance tuning skills in BigQuery, including query optimization, partitioning strategies, and execution cost control
Deep knowledge of the boundaries between Data Vault and Star Schema modeling approaches for trusted/silver layers

#LI-JP3

Nossos benefícios:

- Plano de saúde e odontológico;

- Vale alimentação e refeição;

- Auxílio-creche;

- Licença parental estendida;

- Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass;

- Participação nos Lucros e Resultados (PLR);

- Seguro de Vida;

- Plataforma de aprendizagem contínua (CI&T University);

- Clube de descontos;

- Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar;

- Curso gestante e parentalidade responsável;

- Parceria com plataformas de cursos online;

- Plataforma para aprendizagem de idiomas;

- E muitos outros

Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras

Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Consulte quais dados são necessários conter no laudo clicando aqui. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo.

Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.