Engenheiro(a) de Dados Sênior

Principais Atribuições

• Liderar o desenho, evolução e sustentação de arquiteturas de dados escaláveis, resilientes, seguras e de alta disponibilidade em plataforma Azure.
• Desenvolver e manter pipelines de ingestão, transformação e disponibilização de dados utilizando Azure Data Factory (ADF) e Azure Databricks.
• Implementar processos de captura de dados em tempo real e incremental (CDC – Change Data Capture), garantindo eficiência, rastreabilidade e qualidade das informações.
• Projetar e implementar soluções de processamento de dados batch e near real-time para grandes volumes de dados.
• Desenvolver, otimizar e monitorar cargas ETL/ELT em ambientes corporativos críticos.
• Atuar na construção e evolução de arquiteturas Lakehouse utilizando boas práticas de engenharia de dados.
• Administrar e aplicar conceitos de governança de dados utilizando Unity Catalog, incluindo controle de acesso, catalogação, linhagem e auditoria.
• Desenvolver e manter camadas semânticas no Microsoft Fabric, garantindo consistência e reutilização dos dados corporativos para consumo analítico.
• Criar, manter e evoluir esteiras de CI/CD utilizando Azure DevOps, promovendo automação, padronização e qualidade das entregas.
• Garantir a adoção de práticas DevOps e DataOps para desenvolvimento, testes, versionamento e implantação de soluções de dados.
• Implementar estratégias de monitoramento, observabilidade e tratamento de falhas em pipelines de dados.
• Analisar, diagnosticar e solucionar incidentes de alta complexidade relacionados às plataformas de dados.
• Identificar, analisar e corrigir gargalos de desempenho em processos de ingestão, transformação e consumo de dados.
• Definir padrões, frameworks e boas práticas de desenvolvimento para a engenharia de dados da organização.
• Participar de definições arquiteturais, avaliações técnicas e decisões estratégicas relacionadas ao ecossistema de dados.
• Garantir a evolução tecnológica da plataforma de dados, propondo melhorias contínuas em arquitetura, processos e ferramentas.
• Supervisionar e apoiar estratégias de backup, recuperação de desastres e continuidade operacional dos ambientes de dados.
• Atuar de forma colaborativa com equipes de Analytics, BI, Ciência de Dados, Arquitetura, Infraestrutura e áreas de negócio.
• Realizar revisões de código (Code Review) e assegurar a qualidade técnica das entregas da equipe.
• Apoiar a formação técnica do time por meio de mentoria, disseminação de conhecimento e direcionamento das melhores práticas de engenharia de dados.
• Atender e apoiar incidentes, requisições de serviço e demandas críticas relacionadas às plataformas de dados corporativas.
• Garantir a qualidade, integridade, confiabilidade e disponibilidade dos dados disponibilizados para consumo das áreas de negócio.
• Participar da definição de padrões de segurança, governança e conformidade aplicados aos ativos de dados da organização.
• Conduzir análises técnicas de viabilidade, esforço e impacto para novos projetos, integrações e evoluções da plataforma.

Conhecimentos Técnicos Desejáveis

• Azure Databricks (Delta Lake, Workflows, Unity Catalog, Performance Tuning).
• Azure Data Factory (Pipelines, Triggers, Integration Runtime).
• Microsoft Fabric (Data Warehouse, Lakehouse e Camada Semântica).
• Azure DevOps (Repos, Pipelines, CI/CD e Git Flow).
• CDC (Change Data Capture) em bancos Oracle, SQL Server, PostgreSQL ou similares.
• Apache Spark (PySpark e SQL).
• Modelagem de Dados Relacional, Dimensional e Data Vault.
• SQL avançado.
• Governança e Catálogo de Dados.
• Azure Storage Account e ADLS Gen2.
• Conceitos de DataOps, DevOps e observabilidade.
• Controle de versão com Git.
• Arquiteturas Lakehouse e Modern Data Platform.

Perfil Profissional

• Forte capacidade analítica e resolução de problemas complexos.
• Visão arquitetural e sistêmica de plataformas de dados.
• Capacidade de liderança técnica e influência sobre equipes multidisciplinares.
• Perfil colaborativo, proativo e orientado à qualidade.
• Excelente comunicação para interação com áreas técnicas e de negócio.
• Capacidade de atuar em projetos estratégicos de alto impacto para a organização.