401 Empregos para Spark - Belo Horizonte

Engenheiro(a) de Dados Sênior — AWS / Databricks / Spark

Híbrido – Nova Lima (MG) | até R$ 13.000 (validado tecnicamente)

Estamos procurando alguém que respire dados em produção : que desenhe pipelines escaláveis, faça otimização de custo/performance e eleve o nível de qualidade e governança na plataforma.

O desafio

• Construir e evoluir pipelines ETL/ELT em AWS (S3, Lambda, DynamoDB, MSK/Kafka , Debezium ), integrando data lake e data warehouse .
• Codar no dia a dia com SQL e Python em Databricks/Spark , cuidando de observabilidade (logs, métricas, alertas) e confiabilidade ponta a ponta.
• Trabalhar lado a lado com Produto, Analytics e Data Science para levar features de dados do rascunho à produção.

Suas responsabilidades

• Projetar, versionar e manter pipelines robustos (teste, code review, CI/CD com Git ).
• Modelar dados, otimizar jobs Spark e consultas (particionamento, caching, AQE).
• Monitorar, depurar e reduzir tempo e custo de execução em ambiente Linux/AWS .
• Garantir data quality , segurança e governança (linhagem, catálogos, permissões).

Requisitos técnicos

• SQL forte e Python para dados.
• Databricks e Apache Spark (performance tuning).
• Git e práticas de CI/CD .
• AWS : S3, Lambda, DynamoDB, MSK (Kafka) , Debezium .
• Conforto com terminal Linux .

Soft skills que valorizamos

• Comunicação clara e colaborativa (trabalho com squads).
• Proatividade e senso de dono .
• Inglês intermediário (leitura/escrita e participação em reuniões).

Interessou? Envie seu LinkedIn/CV com assunto “Eng. Dados Sênior – Nova Lima” para e-mail/link de candidatura).

#DataEngineering #Databricks #Spark #AWS #Kafka #Debezium #Python #SQL #ELT #DataLake #GovernançaDeDados #VagasTI #NovaLima #MinasGerais#PetrusSoftware

Engenheiro(a) de Dados Sênior — AWS / Databricks / Spark

Híbrido – Nova Lima (MG) | até R$ 13.000 (validado tecnicamente)

Estamos procurando alguém que respire dados em produção : que desenhe pipelines escaláveis, faça otimização de custo/performance e eleve o nível de qualidade e governança na plataforma.

O desafio

• Construir e evoluir pipelines ETL/ELT em AWS (S3, Lambda, DynamoDB, MSK/Kafka , Debezium ), integrando data lake e data warehouse .
• Codar no dia a dia com SQL e Python em Databricks/Spark , cuidando de observabilidade (logs, métricas, alertas) e confiabilidade ponta a ponta.
• Trabalhar lado a lado com Produto, Analytics e Data Science para levar features de dados do rascunho à produção.

Suas responsabilidades

• Projetar, versionar e manter pipelines robustos (teste, code review, CI/CD com Git ).
• Modelar dados, otimizar jobs Spark e consultas (particionamento, caching, AQE).
• Monitorar, depurar e reduzir tempo e custo de execução em ambiente Linux/AWS .
• Garantir data quality , segurança e governança (linhagem, catálogos, permissões).

Requisitos técnicos

• SQL forte e Python para dados.
• Databricks e Apache Spark (performance tuning).
• Git e práticas de CI/CD .
• AWS : S3, Lambda, DynamoDB, MSK (Kafka) , Debezium .
• Conforto com terminal Linux .

Soft skills que valorizamos

• Comunicação clara e colaborativa (trabalho com squads).
• Proatividade e senso de dono .
• Inglês intermediário (leitura/escrita e participação em reuniões).

Interessou? Envie seu LinkedIn/CV com assunto “Eng. Dados Sênior – Nova Lima” para e-mail/link de candidatura).

#DataEngineering #Databricks #Spark #AWS #Kafka #Debezium #Python #SQL #ELT #DataLake #GovernançaDeDados #VagasTI #NovaLima #MinasGerais#PetrusSoftware

Overview Main responsibilities

• Conduzir a migração de rotinas SAS legadas para o novo ecossistema Data Mesh, com foco em modernização, padronização e governança de dados;
• Compreender a malha batch existente via Control-M, analisando dependências, componentes SAS e estruturas de dados envolvidas;
• Realizar a transpilação dos códigos SAS para Spark, utilizando AWS Glue e garantindo aderência aos padrões técnicos do Mesh;
• Criar e configurar ambientes de origem e destino (buckets S3, schemas, conexões), assegurando o fluxo completo dos dados na AWS;
• Desenvolver Glue Jobs robustos, parametrizados e com testes unitários, promovendo estabilidade e escalabilidade nas entregas;
• Executar processos em produção, documentar fluxos e apoiar o repasse para sustentação;
• Trabalhar de forma colaborativa em ambiente ágil, promovendo boas práticas de engenharia e integração contínua.

• Sólido conhecimento em Python e Spark, com foco em desenvolvimento de pipelines de dados;
• Profundo conhecimento com AWS Glue, S3, Lambda, Step Functions e Athena, Redshift;
• Familiaridade com orquestração de tarefas com Control-M;
• Experiência com versionamento (Git/GitHub) e ambiente Linux;
• Conhecimento de Terraform para infraestrutura como código (IaC);
• Capacidade analítica para entendimento de código legado e adaptação aos novos padrões do Data Mesh;
• Desejável: experiência com testes automatizados e boas práticas de engenharia de dados.

Não possui todos os requisitos para a vaga?

Está tudo bem! Na Compass UOL, estimulamos o desenvolvimento contínuo de novos talentos e transformamos desafios em oportunidades.

#remote

"remote"

Overview Main responsibilities

• Conduzir a migração de rotinas SAS legadas para o novo ecossistema Data Mesh, com foco em modernização, padronização e governança de dados;
• Compreender a malha batch existente via Control-M, analisando dependências, componentes SAS e estruturas de dados envolvidas;
• Realizar a transpilação dos códigos SAS para Spark, utilizando AWS Glue e garantindo aderência aos padrões técnicos do Mesh;
• Criar e configurar ambientes de origem e destino (buckets S3, schemas, conexões), assegurando o fluxo completo dos dados na AWS;
• Desenvolver Glue Jobs robustos, parametrizados e com testes unitários, promovendo estabilidade e escalabilidade nas entregas;
• Executar processos em produção, documentar fluxos e apoiar o repasse para sustentação;
• Trabalhar de forma colaborativa em ambiente ágil, promovendo boas práticas de engenharia e integração contínua.

• Sólido conhecimento em Python e Spark, com foco em desenvolvimento de pipelines de dados;
• Profundo conhecimento com AWS Glue, S3, Lambda, Step Functions e Athena, Redshift;
• Familiaridade com orquestração de tarefas com Control-M;
• Experiência com versionamento (Git/GitHub) e ambiente Linux;
• Conhecimento de Terraform para infraestrutura como código (IaC);
• Capacidade analítica para entendimento de código legado e adaptação aos novos padrões do Data Mesh;
• Desejável: experiência com testes automatizados e boas práticas de engenharia de dados.

Não possui todos os requisitos para a vaga?

Está tudo bem! Na Compass UOL, estimulamos o desenvolvimento contínuo de novos talentos e transformamos desafios em oportunidades.

#remote

"remote"

At BairesDev®, we've been leading the way in technology projects for over 15 years. We deliver cutting-edge solutions to giants like Google and the most innovative startups in Silicon Valley. Our diverse 4,000+ team, composed of the world's Top 1% of tech talent, works remotely on roles that drive significant impact worldwide. When you apply for this position, you're taking the first step in a process that goes beyond the ordinary. We aim to align your passions and skills with our vacancies, setting you on a path to exceptional career development and success.

Big Data Engineers will face numerous business-impacting challenges, so they must be ready to use state-of-the-art technologies and be familiar with different IT domains such as Machine Learning, Data Analysis, Mobile, Web, IoT, etc. They are passionate, active members of our community who enjoy sharing knowledge, challenging, and being challenged by others and are genuinely committed to improving themselves and those around them.

• Work alongside Developers, Tech Leads, and Architects to build solutions that transform users’ experience.
• Impact the core of business by improving existing architecture or creating new ones.
• Create scalable and high-availability solutions, and contribute to the key differential of each client.

• 6+ years of experience working as a Developer (Ruby, Python, Java, JS, preferred).
• 5+ years of experience in Big Data (comfortable with governance, metadata management, data lineage, impact analysis, and policy enforcement).
• Proficient in analysis, troubleshooting, and problem-solving.
• Experience building data pipelines to handle large volumes of data (with known tools or custom-made ones).
• Advanced English level.

• Building Data Lakes with Lambda/Kappa/Delta architecture.
• DataOps, particularly creating and managing batch and real-time data ingestion and processing processes.
• Hands-on experience with managing data loads and data quality.
• Modernizing enterprise data warehouses and business intelligence environments with open-source tools.
• Deploying Big Data solutions to the cloud (Cloudera, AWS, GCP, or Azure).
• Performing real-time data visualization and time series analysis using open-source and commercial solutions.

• 100% remote work (from anywhere).
• Excellent compensation in USD or your local currency if preferred.
• Hardware and software setup for you to work from home.
• Flexible hours: create your own schedule.
• Paid parental leaves, vacations, and national holidays.
• Innovative and multicultural work environment: collaborate and learn from the global Top 1% of talent.
• Supportive environment with mentorship, promotions, skill development, and diverse growth opportunities.

• Mid-Senior level

• Full-time

• Information Technology

• IT Services and IT Consulting

We’re committed to equal opportunity employment. Referrals increase your chances of interviewing at BairesDev.

Get notified about new Big Data Developer jobs in Porto Alegre, Rio Grande do Sul, Brazil .