Engenheiro de Dados – Especialista
Modelo: Remoto
Tempo: Indeterminado
Responsabilidades
• Desenvolver e manter pipelines: Criar fluxos de ETL/ELT robustos no Databricks, garantindo que os dados brutos cheguem ao ambiente com alta performance e escalabilidade.
• Arquitetura de Medalhão: Estruturar e organizar as camadas Bronze e Silver, garantindo a integridade técnica, particionamento e otimização de custos (S3/AWS).
• Automação e DevOps: Automatizar processos de ingestão e monitoramento de falhas, assegurando a confiabilidade total dos dados.
• Governança Técnica: Implementar controles de acesso, segurança e práticas de qualidade de dados (validação de tipos, schemas e reconciliação).
• Performance do Lakehouse: Atuar como referência técnica em decisões de arquitetura e otimização de processamento (Spark/Databricks).
Requisitos Técnicos
• Databricks & Spark: Conhecimento profundo em otimização de jobs e arquitetura de dados.
• Cloud (AWS): Experiência prática com S3, IAM, custos e segurança.
• Programação: Domínio de Python, PySpark e SQL voltados para engenharia e automação.
• CI/CD: Conhecimento em ferramentas de versionamento e automação de deploys de pipelines.