Consultor Engenheiro de Dados (PJ) – Rio de Janeiro

Consultor Engenheiro de Dados (PJ) – PRIO – Rio de Janeiro

Responsabilidades e atribuições
Desenvolver e Gerenciar Pipelines de Dados: Garantir a integridade, disponibilidade, escalabilidade e eficiência das informações da pipeline de dados e informações disponibilizadas para a empresa utilizando boas práticas de ETL/ELT e frameworks de dados distribuídos;
Monitoramento e Solução de Problemas: Monitorar, realizar testes regulares e solucionar problemas no ambiente de dados da PRIO;
Ingestão e Processamento de Dados: Responsável por desenvolver, otimizar e corrigir processos para grandes volumes de dados;
Estratégia de Desenvolvimento: Assegurar boas práticas, código limpo, testes automatizados e qualidade nas implantações;
Colaboração Multifuncional: Trabalhar com equipes para entender requisitos de dados e traduzir em soluções técnicas;
Segurança e Governança de Dados: Garantir conformidade com as melhores práticas;
Arquitetura de Dados: Projetar, desenvolver, implementar e gerenciar soluções de arquitetura de dados;
Documentação: Documentar arquitetura, pipelines e processos para manutenção e continuidade;
Comunicação Clara: Assegurar compreensão compartilhada da arquitetura de dados entre as equipes.

Requisitos e qualificações
Requisitos:

Experiência com SQL e BigQuery: Criação de consultas e procedures otimizadas;
Integração de Dados via APIs: Utilização de APIs para integração e consumo de dados;
Processo Completo de Dados: Conhecimento em ingestão, transformação, armazenamento e disponibilização de grandes volumes de dados;
Ferramentas de Processamento de Dados: Experiência com SQL, Teradata, DataFactory, Microsoft Fabric e outras ferramentas;
Ferramentas de ETL: Experiência com ferramentas de ETL e integração de dados;
Desenvolvimento de Soluções de Armazenamento: Conhecimento avançado em Data Lakes, Data Warehouses e Lakehouses;
Linguagens de Programação: Proficiência em Python e/ou Java.