6.931 Empregos para Engenheiro De Dados - Brasil
Engenheiro Dados
Hoje
Trabalho visualizado
Descrição Do Trabalho
Atuar na implementação e sustentação da arquitetura de dados da empresa, sendo responsável pela construção de pipelines de ingestão, transformação e disponibilização de dados que suportem decisões estratégicas. Contribui para a evolução da plataforma de dados em parceria com a consultoria externa, garantindo a aplicação de boas práticas técnicas, governança e segurança da informação. Interage com áreas internas de tecnologia, negócio e analytics para assegurar a integração e qualidade dos dados em todo o ecossistema da empresa.
Traduzir a arquitetura de dados desenhada pela liderança em soluções técnicas concretas, coordenando a execução com consistência e escalabilidade.
- Ser o principal ponto de contato técnico, validando soluções propostas, garantindo aderência aos padrões da empresa e mediando decisões técnicas complexas.
- Estabelecer guidelines para modelagem de dados, nomenclaturas, versionamento, deploy, log, monitoramento e segurança.
- Realizar code reviews e validações de qualidade técnica em entregas da equipe interna e da consultoria.
- Projetar fluxos de ingestão, transformação, orquestração e disponibilização de dados em ambientes cloud ou híbridos.
- Definir e aplicar práticas de segurança, controle de acesso, auditoria e compliance em conformidade com LGPD e diretrizes da empresa.
- Apoiar engenheiros plenos e juniores no desenvolvimento técnico, promovendo capacitação e alinhamento com a visão da área de dados.
- Apoiar o gerente de dados no desdobramento de atividades, estimativas, definição de prioridades e controle da qualidade técnica das entregas.
- Garantir o registro claro das decisões arquiteturais, trade-offs, integrações e padronizações adotadas.
Engenheiro Dados Sr
Hoje
Trabalho visualizado
Descrição Do Trabalho
Estamos procurando um(a) Engenheiro(a) de Dados/Backend Sênior para ajudar na organização e estrutura do ecossistema de ETLs e regras de negócio da Ável.
A empresa
A Ável tem os melhores assessores do Brasil que vão muito além de investimentos, atuando como facilitadores de metas financeiras.
Com uma equipe de especialistas abrangendo todo o mercado de capitais, atende objetivos de curto, médio e longo prazo, atuando como parceiros fiéis para pessoas e empresas em sua jornada financeira.
Responsabilidades
- Traduzir regras de negócio em códigos
- Criar e manter ETLs
- Estruturar e desenvolver o ecossistema de regras de negócio
- Se conectar com o time de Front para dar display das métricas
- Primar pela saúde e acurácia dos dados no banco
- Manter o sistema vigente
- Auxiliar o time de pagamentos no fechamento de cada mês
Requisitos importantes
- Formação em ADS, Engenharia de Dados ou similar
- Experiência em Python
- Conhecimento em MySQL
- Habilidade para estruturar sistemas complexos de regras de negócio
- Alta sinergia com o restante do time
- Disponibilidade para trabalho presencial em Porto Alegre
Para ter aquela vantagem extra
- Experiência em sistemas de comissionamento
- Familiaridade com o mercado financeiro
Benefícios
- Vale Transporte
- Vale Refeição
- Seguro de Vida;
- TotalPass;
- DayOff no dia do aniversário;
- Variável Semestral de até 3 salário
Engenheiro Dados Senior
Hoje
Trabalho visualizado
Descrição Do Trabalho
Mais do que simples fornecedores de tecnologia, nos destacamos como verdadeiros especialistas em logística. Nossas soluções são moldadas pela vasta experiência que acumulamos ao longo dos anos, refletindo a sabedoria e os aprendizados adquiridos ao longo de nossa jornada. É essa expertise que nos capacita a oferecer uma abordagem personalizada e altamente eficaz para cada cliente.
Por mais de 25 anos, trabalhamos com operações logísticas de grande escala, servindo a uma variedade de setores, incluindo indústrias, varejistas, operadores logísticos e transportadoras. Mantendo um olhar perspicaz sobre as tendências do mercado, desenvolvemos sistemas adaptáveis que se ajustam às necessidades em constante evolução de nossos clientes.
Nossa trajetória de pioneirismo ao longo dos últimos anos nos proporcionou um amplo know-how e expertise em todas as nuances do setor logístico. Essa jornada nos permitiu acumular valiosa experiência e nos destacar como líderes em oferecer as melhores práticas do mercado.
Além de nosso conhecimento aprofundado, a segurança é uma prioridade essencial para nós. Somos certificados pela ISO/IEC 27001, garantindo que adotemos os mais rigorosos padrões em segurança da informação, demonstrando nosso compromisso com a proteção de nossos parceiros e clientes.
Estamos em busca de profissionais apaixonados e determinados para se juntarem a nós como Engenheiro de Dados
.
Se você tem vontade de aprender, transformar a logística e mobilidade e fazer a diferença, essa é a sua oportunidade
Responsabilidades e atribuições
O Engenheiro de Dados Sênior será responsável por projetar, desenvolver e manter pipelines e arquiteturas de dados robustas, escaláveis e seguras. Atuará em estreita colaboração com o time de dados e as áreas de negócio para garantir a disponibilidade e confiabilidade das informações utilizadas em análises e produtos de dados.
Principais responsabilidades:
- Desenvolver, orquestrar e monitorar pipelines de dados utilizando Apache Airflow, aplicando boas práticas de modularização e versionamento de DAGs.
- Implementar rotinas de monitoramento e alertas (logs estruturados, métricas e notificações via Grafana, email, etc.).
- Atuar na modelagem e implementação das camadas bronze, silver e gold em um Data Lake baseado em Databricks.
- Construir e manter integrações de dados a partir de APIs REST, bancos relacionais, arquivos CSV/Excel/Parquet e filas de mensagens.
- Desenvolver estratégias eficientes de carga incremental, controle de versionamento e catalogação de fontes.
- Revisar e otimizar consultas SQL complexas em PostgreSQL e Oracle (PL/SQL), garantindo desempenho e uso eficiente de recursos.
- Trabalhar com object storage (S3), definindo estratégias de versionamento, compactação e organização de arquivos.
- Garantir a observabilidade e qualidade dos pipelines, com testes unitários e de integração e documentação técnica atualizada.
- Participar de ritos ágeis e colaborar na modelagem de tabelas analíticas voltadas a ferramentas de BI (Power BI, Qlik).
Experiências desejadas:
- Vivência em ambientes de dados complexos, com múltiplas fontes e alto volume de informação.
- Experiência comprovada na construção de pipelines de ETL/ELT em produção.
- Atuação anterior com arquitetura em camadas (bronze/silver/gold) e governança de dados.
Requisitos e qualificações
Requisitos obrigatórios:
- Domínio de Python para desenvolvimento de pipelines e automações.
- Conhecimento avançado em SQL (consultas complexas, tuning, índices, CTEs, particionamento, views materializadas).
- Experiência sólida com Apache Airflow (orquestração, versionamento, monitoramento).
- Experiência com PostgreSQL e modelagem de dados para Data Lake.
- Familiaridade com object storage (S3 ou equivalente) e formatos otimizados de arquivo (Parquet, ORC, GZIP).
- Prática com Git e boas práticas de versionamento de código.
Desejável (diferenciais):
- Conhecimento em Oracle/PLSQL.
- Experiência com Databricks ou ambientes similares (Spark, Delta Lake).
- Noções de Docker, DBT e monitoramento com Prometheus/Grafana.
- Formação superior em áreas como Ciência da Computação, Engenharia de Software, Sistemas de Informação ou correlatas.
- Certificações em cloud ou engenharia de dados (AWS, Azure, Databricks, etc.) serão consideradas um diferencial.
Informações adicionais
O que esperamos de você:
No KMM by nstech, temos uma cultura baseada em valores e esperamos que todos os nstechers não apenas se identifiquem, mas também vivam essa cultura em seu dia a dia.
Acreditamos que a cultura é uma das maiores vantagens competitivas para negócios bem-sucedidos, pois é algo que não pode ser copiado integralmente.
Nossos pilares culturais e seus atributos são:
- Servir: foco no cliente, humildade, transparência e ética;
- Equipe: valorizamos o trabalho em equipe, a vontade de colocar a mão na massa e o espírito colaborativo;
- Resultados: buscamos agilidade, melhoria contínua, geração de valor a longo prazo e foco nos resultados.
Por que fazer parte da nstech?
Temos a visão de ser a plataforma de tecnologia para logística e mobilidade que conecta os elos e gera mais valor para os negócios da rede integrada de logística da América Latina.
Atualmente, contamos com uma equipe de mais de 5 mil nstechers comprometidos em melhorar o mundo por meio da tecnologia aplicada à logística e mobilidade.
Estamos empenhados em gerar impacto para a sociedade, clientes, colaboradores e acionistas, e queremos somar forças com pessoas cheias de energia e propósito para fazer parte de nossa equipe e dessa transformação. Além disso:
Você trabalhará com uma equipe que desenvolve a maior plataforma de logística da América Latina.
Nosso ambiente de trabalho é altamente colaborativo, e adoramos compartilhar conhecimentos. Aqui, você terá oportunidades de desenvolvimento técnico.
Essa oportunidade é
REMOTO
.
A vaga é para contratação CLT, com todos os benefícios dessa modalidade.
Plano de saúde com baixa coparticipação.
Convênio odontológico totalmente custeado pela empresa.
Seguro de vida para proteção e tranquilidade, também totalmente custeado pela empresa.
Você também receberá um benefício flexível para usar em refeições ou alimentação.
Para promover um ambiente equilibrado e cuidar do seu bem-estar, incluímos o Gympass e o Zenklub em nossos benefícios, proporcionando acesso a atividades físicas e serviços de bem-estar mental.
No dia do seu aniversário, você terá um dia de folga para aproveitar.
Vem fazer parte da nstech e dessa transformação
Engenheiro Dados Agricola
Hoje
Trabalho visualizado
Descrição Do Trabalho
Descrição da empresa
Você conhece a LDC? A LDC é uma das principais comercializadoras e processadoras global de produtos agrícolas, com um portfólio diversificado, que abrange toda a cadeia de valor, da originação à distribuição. Com atividades no centro da produção agrícola e de alimentos e guiados pelos nossos fortes valores, por um legado rico e uma visão clara, estamos comprometidos em trabalhar por um futuro seguro e sustentável. Ajudamos a alimentar e vestir cerca de 500 milhões de pessoas todos os anos, originando, processando e transportando aproximadamente 81 milhões de toneladas de produtos. Estruturada como uma organização matricial de 6 regiões geográficas e 10 plataformas, a LDC está ativa em mais de 100 países e emprega cerca de pessoas em todo o mundo. Somos guiados por valores que norteiam todos os públicos em nosso trabalho. A ética e integridade fazem parte de todas as relações de negócio, assim como a humildade, comprometimento e diversidade.
Descrição da vaga
- Projetar a arquitetura para organizar diferentes conjuntos de dados, garantindo desempenho, escalabilidade e confiabilidade;
- Recuperar, limpar, modelar, transformar e manter dados de diversas fontes para usos posteriores;
- Garantir disponibilidade, qualidade e pontualidade dos dados por meio de pipelines eficientes e monitoramento proativo;
- Criar APIs para consumo de dados por clientes finais e aplicações externas;
- Colaborar com desenvolvedores front-end para fornecer dados para visualizações e relatórios com desempenho otimizado;
- Atuar como guardião dos dados junto a analistas, cientistas de dados e a plataforma, promovendo boas práticas e garantindo a disponibilidade dos dados;
Qualificações
Bacharelado ou Mestrado em Ciência da Computação, Sistemas de Informação, Engenharia (Computação, Sistemas, Industrial), Ciência de Dados. Outras formações serão consideradas com experiência relevante;
Domínio de SQL e design de banco de dados. Otimização de desempenho para grandes conjuntos de dados. Experiência com soluções de armazenamento (SQL, NoSQL, Data Lakes);
Conhecimento com linguagens de programação orientadas a dados, preferencialmente Python;
Conhecimento com integração de APIs;
Conhecimento em estruturação e aquisição de dados via Power Apps;
Conhecimentos de visualização de dados e Power Bi.
Informações adicionais
desejável conhecimento em: coleta, transformação (ETL), gerenciamento e verificação de qualidade, tanto em sistemas locais quanto em nuvem.
Inglês avançado.
Diversidade, Inclusão e Equidade
A diversidade é parte do nosso DNA. A LDC busca sempre criar um ambiente de trabalho diversificado e inclusivo, onde todas as pessoas possam prosperar. Respeitamos e valorizamos talentos de todos os gêneros, idades, raças, etnias, sexualidades, religiões e deficiências. Diversidade é um de nossos valores Essa oportunidade destina-se também às pessoas com deficiências (PcD).
Sustentabilidade
O valor sustentável está no centro de nosso propósito como empresa.
Somos apaixonados pela criação de valor justo e sustentável, tanto para nossos negócios quanto para outros stakeholders da cadeia de valor: nosso pessoal, nossos parceiros comerciais, as comunidades e o meio ambiente ao nosso redor.
Engenheiro Dados Agricola
Publicado há 5 dias atrás
Trabalho visualizado
Descrição Do Trabalho
Overview
Descrição da empresa
Você conhece a LDC? A LDC é uma das principais comercializadoras e processadoras global de produtos agrícolas, com um portfólio diversificado, que abrange toda a cadeia de valor, da originação à distribuição. Com atividades no centro da produção agrícola e de alimentos e guiados pelos nossos fortes valores, por um legado rico e uma visão clara, estamos comprometidos em trabalhar por um futuro seguro e sustentável. Ajudamos a alimentar e vestir cerca de 500 milhões de pessoas todos os anos, originando, processando e transportando aproximadamente 81 milhões de toneladas de produtos. Estruturada como uma organização matricial de 6 regiões geográficas e 10 plataformas, a LDC está ativa em mais de 100 países e emprega cerca de 18.000 pessoas em todo o mundo. Somos guiados por valores que norteiam todos os públicos em nosso trabalho. A ética e integridade fazem parte de todas as relações de negócio, assim como a humildade, comprometimento e diversidade.
- Projetar a arquitetura para organizar diferentes conjuntos de dados, garantindo desempenho, escalabilidade e confiabilidade;
- Recuperar, limpar, modelar, transformar e manter dados de diversas fontes para usos posteriores;
- Garantir disponibilidade, qualidade e pontualidade dos dados por meio de pipelines eficientes e monitoramento proativo;
- Criar APIs para consumo de dados por clientes finais e aplicações externas;
- Colaborar com desenvolvedores front-end para fornecer dados para visualizações e relatórios com desempenho otimizado;
- Atuar como guardião dos dados junto a analistas, cientistas de dados e a plataforma, promovendo boas práticas e garantindo a disponibilidade dos dados;
- Bacharelado ou Mestrado em Ciência da Computação, Sistemas de Informação, Engenharia (Computação, Sistemas, Industrial), Ciência de Dados. Outras formações serão consideradas com experiência relevante;
- Domínio de SQL e design de banco de dados. Otimização de desempenho para grandes conjuntos de dados. Experiência com soluções de armazenamento (SQL, NoSQL, Data Lakes);
- Conhecimento com linguagens de programação orientadas a dados, preferencialmente Python;
- Conhecimento com integração de APIs;
- Conhecimento em estruturação e aquisição de dados via Power Apps;
- Conhecimentos de visualização de dados e Power Bi.
- desejável conhecimento em: coleta, transformação (ETL), gerenciamento e verificação de qualidade, tanto em sistemas locais quanto em nuvem.
- Inglês avançado.
- Diversidade, Inclusão e Equidade
A diversidade é parte do nosso DNA. A LDC busca sempre criar um ambiente de trabalho diversificado e inclusivo, onde todas as pessoas possam prosperar. Respeitamos e valorizamos talentos de todos os gêneros, idades, raças, etnias, sexualidades, religiões e deficiências. Diversidade é um de nossos valores! Essa oportunidade destina-se também às pessoas com deficiências (PcD). - Sustentabilidade
O valor sustentável está no centro de nosso propósito como empresa. Somos apaixonados pela criação de valor justo e sustentável, tanto para nossos negócios quanto para outros stakeholders da cadeia de valor: nosso pessoal, nossos parceiros comerciais, as comunidades e o meio ambiente ao nosso redor.
Engenheiro Dados Agricola
Publicado há 5 dias atrás
Trabalho visualizado
Descrição Do Trabalho
Descrição da empresa
Você conhece a LDC? A LDC é uma das principais comercializadoras e processadoras global de produtos agrícolas, com um portfólio diversificado, que abrange toda a cadeia de valor, da originação à distribuição. Com atividades no centro da produção agrícola e de alimentos e guiados pelos nossos fortes valores, por um legado rico e uma visão clara, estamos comprometidos em trabalhar por um futuro seguro e sustentável. Ajudamos a alimentar e vestir cerca de 500 milhões de pessoas todos os anos, originando, processando e transportando aproximadamente 81 milhões de toneladas de produtos. Estruturada como uma organização matricial de 6 regiões geográficas e 10 plataformas, a LDC está ativa em mais de 100 países e emprega cerca de 18.000 pessoas em todo o mundo. Somos guiados por valores que norteiam todos os públicos em nosso trabalho. A ética e integridade fazem parte de todas as relações de negócio, assim como a humildade, comprometimento e diversidade.
Descrição da vaga- Projetar a arquitetura para organizar diferentes conjuntos de dados, garantindo desempenho, escalabilidade e confiabilidade;
- Recuperar, limpar, modelar, transformar e manter dados de diversas fontes para usos posteriores;
- Garantir disponibilidade, qualidade e pontualidade dos dados por meio de pipelines eficientes e monitoramento proativo;
- Criar APIs para consumo de dados por clientes finais e aplicações externas;
- Colaborar com desenvolvedores front-end para fornecer dados para visualizações e relatórios com desempenho otimizado;
- Atuar como guardião dos dados junto a analistas, cientistas de dados e a plataforma, promovendo boas práticas e garantindo a disponibilidade dos dados;
- Bacharelado ou Mestrado em Ciência da Computação, Sistemas de Informação, Engenharia (Computação, Sistemas, Industrial), Ciência de Dados. Outras formações serão consideradas com experiência relevante;
- Domínio de SQL e design de banco de dados. Otimização de desempenho para grandes conjuntos de dados. Experiência com soluções de armazenamento (SQL, NoSQL, Data Lakes);
- Conhecimento com linguagens de programação orientadas a dados, preferencialmente Python;
- Conhecimento com integração de APIs;
- Conhecimento em estruturação e aquisição de dados via Power Apps;
- Conhecimentos de visualização de dados e Power Bi.
desejável conhecimento em: coleta, transformação (ETL), gerenciamento e verificação de qualidade, tanto em sistemas locais quanto em nuvem.
Inglês avançado.
Diversidade, Inclusão e EquidadeDiversidade é parte do nosso DNA. A LDC busca sempre criar um ambiente de trabalho diversificado e inclusivo, onde todas as pessoas possam prosperar. Respeitamos e valorizamos talentos de todos os gêneros, idades, raças, etnias, sexualidades, religiões e deficiências. Diversidade é um de nossos valores! Essa oportunidade destina-se também às pessoas com deficiências (PcD).
SustentabilidadeO valor sustentável está no centro de nosso propósito como empresa.
Somos apaixonados pela criação de valor justo e sustentável, tanto para nossos negócios quanto para outros stakeholders da cadeia de valor: nosso pessoal, nossos parceiros comerciais, as comunidades e o meio ambiente ao nosso redor.
#J-18808-LjbffrEngenheiro Dados I
Hoje
Trabalho visualizado
Descrição Do Trabalho
Tem vaga no A.C.Camargo
Você já imaginou fazer parte de uma Instituição com mais de 72 anos de história, que impacta a sociedade todos os dias?
No A.C.Camargo Cancer Center, vamos além do tratamento do câncer. Unimos assistência, ensino e pesquisa para transformar vidas.
Nossa missão é não só cuidar dos pacientes, mas também gerar e compartilhar conhecimento, oferecendo um ambiente de crescimento e oportunidades igualitárias para nossos profissionais.
Contamos
Seja o primeiro a saber
Sobre o mais recente Engenheiro de dados Empregos em Brasil !
Engenheiro Dados GCP Jr
Hoje
Trabalho visualizado
Descrição Do Trabalho
Who are we?
Amaris Consulting é uma empresa independente de consultoria em tecnologia, que fornece orientação e soluções para negócios.Com mais de 1.000 clientes em todo o mundo, temos implementado soluções em projetos importantes há mais de uma década - isso é possível graças a uma equipe internacional de 7.600 pessoas espalhadas por 5 continentes e mais de 60 países.
Nossas soluções se concentram em quatro linhas de negócios diferentes: Sistemas de Informação e Digital, Telecomunicações, Ciências da Vida e Engenharia. Estamos focados em construir e nutrir uma comunidade de talentos de alto nível, onde todos os membros de nossa equipe possam alcançar seu pleno potencial.
A Amaris é a sua ponte para atravessar rios de mudanças, enfrentar desafios e realizar todos os seus projetos com sucesso.
Job Description
Descrição do Projeto:
Estamos em busca de um Engenheiro de Dados para um projeto de migração de tabelas e processos do SAS para Google Cloud Platform (GCP), especificamente utilizando BigQuery. O profissional será responsável por realizar engenharia reversa nos processos de carga de dados, reescrever e otimizar processos SAS, e montar pipelines de ingestão de dados transacionais.
Responsabilidades:
- Realizar engenharia reversa nos processos de carga de dados para mapear bases de dados transacionais.
- Reescrever e otimizar processos SAS (point-click e proc SQL) para SQL.
- Montar pipelines de ingestão de dados transacionais a partir de fontes como Oracle e planilhas (xlsx/csv) para a nuvem (GCP).
- Automatizar os pipelines de ingestão para cargas diárias, aplicando boas práticas de atualizações incrementais.
- Documentar código e processos de forma clara e concisa.
Requisitos do Perfil:
- Experiência com SAS Guide.
- Experiência comprovada em ambiente GCP.
- Conhecimento de boas práticas de codificação.
- Forte senso de responsabilidade, proatividade e habilidade para trabalhar em parceria.
- Facilidade para trabalhar em equipe e colaborar com diferentes stakeholders.
- Capacidade de rápida adaptação e aprendizado de regras de negócio; experiência em projetos relacionados a Segurados é um diferencial.
O que oferecemos:
- Oportunidade de trabalhar em um ambiente dinâmico e inovador.
- Desenvolvimento profissional contínuo e acesso a treinamentos.
- Participação em projetos desafiadores e de grande impacto.
Se você é apaixonado por dados e deseja fazer parte de uma equipe que valoriza a inovação e a colaboração, envie seu currículo para nós
Engenheiro(a) de Dados – Big Data
Hoje
Trabalho visualizado
Descrição Do Trabalho
Junte-se à Digiage e ajude a construir a base de dados que impulsiona a inteligência e a inovação
Estamos em busca de um(a)
Engenheiro(a) de Dados – Big Data & AWS
para atuar em um projeto para um cliente no segmento de seguros.
Esse(a) profissional será responsável por desenvolver, otimizar e manter pipelines de dados eficientes e escaláveis (batch e streaming), integrando múltiplas fontes de informação e garantindo a qualidade, a governança e a disponibilidade dos dados para análises avançadas e modelos de inteligência artificial.
Responsabilidades:
- Desenvolver e manter pipelines de ingestão, transformação e disponibilização de dados em larga escala, utilizando o padrão Medallion (bronze, silver, gold).
- Criar e otimizar processos ETL com Apache Spark e Delta Lake.
- Integrar soluções de dados com serviços AWS como Glue, DynamoDB, Athena, Lambda e SQS.
- Monitorar e manter a performance e a saúde dos pipelines com CloudWatch.
- Automatizar infraestrutura de dados usando CloudFormation.
Requisitos:
- Experiência prática com Apache Spark (incluindo Spark SQL).
- Domínio de SQL para manipulação e consulta de dados.
- Vivência com pipelines ETL em batch e streaming.
- Conhecimento em bancos de dados NoSQL (ex.: DynamoDB).
- Experiência com Delta Lake ).
- Conhecimento prático em serviços AWS: Glue, DynamoDB, Athena, Lambda, SQS, CloudWatch e CloudFormation.
Big Data Architect
Hoje
Trabalho visualizado
Descrição Do Trabalho
JD
:
We are seeking an experienced
Big Data Architect
to design and implement scalable data solutions that enable data-driven decision-making across the organization. This role focuses on architecting end-to-end big data pipelines, ensuring data quality, governance, and efficient processing of large datasets. More focused on Data Architectures (Databricks, AWS (Redshift, Dynamo, etc.)), Data Governance, and Data Management. An emphasis on client facing workshops, solution sessions, capability presentations, etc. Candidate should be strong communicators, ideally have worked in some presales / solutioning type team in IT services provider, and are based either in USA or Brazil.
Responsibilities:
- Big Data Architecture:
Design and implement scalable, distributed data processing systems using big data technologies (e.g., Hadoop, Spark). - Data Pipelines:
Build and optimize ETL/ELT pipelines to handle large-scale data ingestion, transformation, and storage. - Data Governance:
Establish data governance frameworks, including policies for data security, privacy, and compliance. - Quality Control:
Develop and enforce data quality standards, leveraging tools to monitor and ensure data accuracy and consistency. - Cloud Integration:
Design big data solutions on cloud platforms (AWS, GCP, Azure), leveraging cloud-native tools. - Collaboration:
Work with data engineers, analysts, and business stakeholders to align data architecture with organizational goals. - Innovation and Optimization:
Stay updated on big data technologies and optimize systems for performance, scalability, and cost-efficiency.
Required Skills:
- Big Data Expertise:
Hands-on experience with Hadoop, Spark, Kafka, and other big data frameworks. - Data Governance:
Knowledge of governance frameworks and tools like Collibra, Alation, or similar. - Quality Control:
Proficiency in implementing data quality measures and tools (e.g., Apache Griffin, Talend, or Informatica). - Cloud Platforms:
Experience with cloud-based data solutions (BigQuery, AWS EMR, Dataproc). - Programming Skills:
Proficiency in Python, Java, or Scala for data processing. - Database Knowledge:
Strong understanding of SQL and NoSQL databases. - Problem-solving:
Strong analytical skills for troubleshooting and optimizing complex data architectures.
Preferred:
- Certifications in big data or cloud technologies (e.g., GCP Data Engineer, AWS Big Data Specialty).
- Experience with MLOps pipelines and integrating AI/ML workflows with big data systems.
- Knowledge of metadata management and data lineage tools.
- Familiarity with GDPR, CCPA, and other data privacy regulations.