Engenheiro de Dados - Sênior

A FCamara busca um Engenheiro de Dados - Sênior, para atuar em parceria com uma grande empresa do segmento de Tecnologia da Informação e Serviços, com mais de 40 anos de mercado. Essa empresa está presente no dia a dia de milhões de brasileiros, desenvolvendo soluções que impactam positivamente alimentação, saúde, transporte e cultura, garantindo mais tempo e qualidade de vida para empresas, trabalhadores e suas famílias.

Você fará parte de um time de alta performance, com autonomia e responsabilidade para criar e evoluir soluções robustas, escaláveis e seguras.

• Atuar na modernização e migração de plataformas legadas de dados para arquiteturas modernas em Azure Databricks e Data Lakehouse.
• Realizar assessment de ambientes legados, identificando oportunidades de modernização e melhoria.
• Executar engenharia reversa de pipelines ETL e workflows desenvolvidos em Oracle e Informatica PowerCenter.
• Projetar, desenvolver e implementar pipelines escaláveis utilizando PySpark, Spark SQL e Delta Lake.
• Migrar processos ETL tradicionais para arquiteturas ELT, garantindo maior desempenho, escalabilidade e governança.
• Desenvolver e manter pipelines batch e near real-time em ambientes distribuídos.
• Implementar e gerenciar arquiteturas em camadas (Bronze, Silver e Gold) seguindo o padrão Medallion Architecture.
• Integrar soluções com serviços do ecossistema Azure, como Azure Data Lake Storage Gen2, Azure Data Factory, Databricks e Azure Key Vault.
• Aplicar boas práticas de engenharia de dados, incluindo versionamento, testes, observabilidade, monitoramento e tratamento de falhas.
• Implementar mecanismos de resiliência, como retry, idempotência e dead-letter.
• Otimizar performance de workloads Spark e consultas SQL, buscando eficiência operacional e redução de custos.
• Implementar e apoiar práticas de governança de dados, controle de acesso, data lineage e gerenciamento de metadados.
• Trabalhar em parceria com áreas de negócio e equipes técnicas para traduzir requisitos em soluções de dados escaláveis e confiáveis.
• Apoiar a definição de arquiteturas modernas de dados alinhadas a conceitos como Data Mesh, Data Vault e Medallion Architecture.
• Experiência sólida como Engenheiro(a) de Dados Sênior.
• Experiência em projetos de migração e modernização de plataformas legadas de dados.
• Conhecimento avançado em Oracle e Informatica PowerCenter.
• Experiência com Azure Databricks, PySpark e Spark SQL.
• Conhecimento em Delta Lake e arquiteturas Lakehouse.
• Experiência com Azure Data Lake Storage Gen2 (ADLS Gen2), Azure Data Factory (ADF) e Azure Key Vault.
• Vivência na construção de pipelines batch, ELT e near real-time.
• Conhecimento em modelagem de dados utilizando Data Vault, Star Schema e Medallion Architecture.
• Experiência em orquestração de pipelines utilizando Azure Data Factory e Databricks Workflows.
• Conhecimento em governança de dados, Unity Catalog, controle de acesso e data lineage.
• Experiência em otimização de performance de aplicações Spark e consultas SQL.
• Conhecimento em práticas de CI/CD, versionamento com Git, testes automatizados e monitoramento.
• Experiência na implementação de mecanismos de resiliência, como retry, idempotência e dead-letter.
• Capacidade de atuar em ambientes críticos, com foco em alta disponibilidade, escalabilidade e governança.
• Boa comunicação para interação com áreas de negócio e equipes multidisciplinares.

Diferenciais:

• Forte experiência em modernização de plataformas legadas.
• Experiência em engenharia reversa de workflows e mapeamentos do Informatica PowerCenter.
• Capacidade de traduzir regras de negócio complexas em pipelines escaláveis e de alta performance.
• Conhecimento em estratégias de otimização e redução de custos no Azure Databricks.
• Experiência na integração entre soluções open source e ambientes cloud.
• Visão arquitetural, atuando não apenas no desenvolvimento, mas também na definição de soluções e padrões técnicos.
• Conhecimento em frameworks modernos de arquitetura de dados, como Data Mesh e Data Vault.

Originally posted on Himalayas