12.547 Empregos para Ciência De Dados - Brasil

**Job Title:** Data Engineer

We are seeking a skilled Data Engineer to join our team.

• The modernization and development of an eCommerce platform for a leading retail company serving millions of customers across the globe.

• Design and implement a solution to support big data processing and integrate it with the current architecture.

• Expertise in Azure Data Factory, Synapse Analytics, and Databricks.
• Knowledge of Microsoft Azure services including Azure Data Lake Storage, Synapse Analytics, Data Factory, and Databricks.
• Ability to integrate data from disparate sources, design data warehousing solutions, and perform complex SQL queries.

• Experience with Elasticsearch, containerization, and orchestration technologies.
• Troubleshooting and performance tuning expertise, strong collaboration and communication skills.

English: B2 Upper Intermediate

Big Data Specialist

We are seeking a seasoned professional to craft and maintain scalable data pipelines.

• Design, optimize, and execute ETL processes with AWS Glue.
• Collaborate on data workflows integrating Salesforce, APIs, and AI/ML initiatives via AWS S3, Glue, and SageMaker.
• Develop Python and SQL-based solutions.

• AWS (S3, Glue, SageMaker)
• Python, SQL
• Salesforce, APIs

• Proven experience in data engineering with AWS.
• Strong proficiency in Python + SQL.
• Experience with ETL, data modeling, pipeline optimization.

Professional English required for international collaboration.

- Estar cursando a partir do 3° ao 5 período 

- Pacote Office básico

- Residir em Belo Horizonte - MG.

- CONTRUÇÃO DE MÓDULOS e/ou MODELOS DE ALGORITMOS PARA EXTRAÇÃO DE VALOR E INFORMAÇÕES A PARTIR DE DADOS DE SISTEMAS TRANSACIONAIS DE INFORMAÇÃO EM LINGUAGEM PYTHON e/ou R e seus FRAMEWORKS

- REALIZAR INGESTÃO DE DADOS, TRATAMENTO, LIMPEZA, ANÁLISE DE DADOS. OUTRAS ATIVIDADES REALCIONADAS A DADOS OU OUTRAS ATIVIDADE INERENTES AO PROCESSO DE DESENVOLVIMENTO DE SISTEMA DE INFORMAÇÃO 

- CONSTRUÇÃO E MANUTENÇÃO DE MODULOS OU MODELOS DE ALGORITMOS PARA EXTRAÇÃO DE VALOR E INFORMAÇÃO EM BASES DE DADOS ou DATALAKE (CLOUDERA, MYSQL, ORACLE, outros)

- EXTRAÇÃO DE INFORMAÇÃO COM SQL, PRÁTICAS DE EXTRAÇÃO, TRANSFORMAÇÃO E CARGA DE DADOS (ETL, ELT)

- DETALHAMENTO DE REQUISITOS - UML e/ou HISTORIA DE USUÁRIO

- DESENVOLVIMENTO DE ROTINAS, VIEWS OU FUNÇÕES EM BANCO DE DADOS (Ex.: Stored Procedure Oracle ou Mysql, etc)

- TESTES EM SISTEMAS/ROTINAS, TESTES EM MODELOS DE ALGORITMOS

Remoto, se necessário comparecer no cliente.

Imediato

Conhecimento em databrics. 

Resumo da Função:
Na ExxonMobil, nossa visão é liderar em inovações energéticas que promovam a vida moderna e um futuro líquido zero. Como uma das maiores empresas de energia e química de capital aberto do mundo, somos impulsionados por uma força de trabalho única e diversificada, movida pelo orgulho do que fazemos e do que defendemos. O sucesso de nossos negócios Upstream, downstream, midstream, Soluções de Produtos e Soluções de Baixo Carbono é o resultado do talento, curiosidade e motivação de nossos funcionários. Eles trazem soluções todos os dias para otimizar nossa estratégia em energia, produtos químicos, lubrificantes e tecnologias de baixa emissão.
Com isso, junte-se à equipe para resolver alguns dos problemas de energia mais difíceis em termos de enorme escala e complexidade de análises de big data na ExxonMobil.
Desenvolver e dar suporte a pipelines de dados/feeds ETL/aplicativos, como leitura de dados de fontes externas, mesclagem de dados, transformação de dados, execução de enriquecimento de dados e carregamento em destinos de dados alvo, permitindo casos de uso de análise.
Trabalhar com projetos e equipes técnicas para fornecer suporte técnico e experiência em desenvolvimento para pipeline de dados geral, fluxos de trabalho Hadoop Spark, soluções de big data e implementar modelos de dados em um portfólio diversificado.

Principais funções do trabalho:
Projetar, desenvolver e manter pipelines de processamento de dados escaláveis usando Hadoop e Spark.
Implementar integração de dados e processos ETL para ingerir e transformar grandes conjuntos de dados.
Colaborar com cientistas de dados, analistas, parceiros de negócios e outras partes interessadas para entender os requisitos de dados e fornecer soluções.
Otimizar e ajustar trabalhos Hadoop e Spark para desempenho e eficiência.
Gerenciar e manter soluções de armazenamento de dados, garantindo integridade e segurança dos dados.
Utilizar o GitHub para controle de versão e colaboração no desenvolvimento de código.
Trabalhar com CDP (Cloudera Data Platform) para gerenciar e implantar aplicativos de dados.
Integrar e gerenciar soluções de dados no Cloud Azure e Snowflake, garantindo fluxo de dados e acessibilidade contínuos.
Monitorar e solucionar problemas de fluxos de trabalho de processamento de dados, resolvendo problemas prontamente.
Manter-se atualizado com as últimas tendências e tecnologias do setor em big data e computação em nuvem.
Explorar e desenvolver habilidades em tecnologias mais recentes de acordo com o roteiro de tecnologia de big data.
Integrar e gerenciar soluções de dados no Cloud Azure e na infraestrutura local, garantindo fluxo de dados e acessibilidade ininterruptos.

Requisitos da vaga:
Graduação mínima de bacharelado em Ciência da Computação ou equivalente em universidade reconhecida; GPA mínimo - 6,5 (de 10,0).
5 a 8 anos de experiência geral em TI, com pelo menos 3 anos de experiência trabalhando com Hadoop

. Habilidades técnicas:
Tecnologias de Big Data: Experiência comprovada com Apache Spark e o ecossistema Hadoop.
Linguagens de programação: Fortes habilidades de codificação e programação em Scala, Java e/ou Python.
Experiência aplicada com Hive, Iceberg e Hbase.
Experiência aplicada com Solr.
Experiência com Apache Kafka e Spark Streaming ou Apache Flink.
Experiência com Oozie e bom ter airflow.
Familiaridade com Azure DevOps (bom ter, mas não obrigatório).
Familiaridade com SQL (bom ter).
Familiaridade com Git/GitHub.
Experiência em sistemas UNIX ou semelhantes a UNIX.
Experiência com SCRUM ou outra estrutura Agile semelhante.

Inglês avançado

Habilidades secundárias:
Bom ter conhecimento de NIFI.
Bom ter experiência em nuvem como Azure e AWS.
Familiaridade com GitHub e GitHub Action.
Experiência com SCRUM ou outra estrutura Agile semelhante
Autodidata e colaborador individual.
Fortes habilidades de resolução de problemas.
Capaz de criar documentação técnica para os casos de uso.
Bom ter habilidades de modelagem de dados.
Bom ter conhecimento do domínio de energia (petróleo e gás).

Habilidades interpessoais
Boas habilidades de comunicação verbal e escrita.
Autoiniciador e trabalhador independente.
Fortes habilidades analíticas e de resolução de problemas.
Capacidade de trabalhar com parceiros de negócios e partes interessadas e desenvolver fluxos de trabalho contínuos.
Capacidade de interagir com clientes, parceiros de tecnologia, grupos de teste, arquitetura e análise

A empresa onde você vai trabalhar é uma liderança global, presente há mais de 30 anos no mercado. Com quase duas décadas e meia na América do Sul, temos conquistado mais de 60 clientes em diferentes setores da economia.

Nossos serviços incluem contratação temporária, TI e complementação de força de trabalho. Estamos entre as primeiras empresas a oferecer esses serviços exclusivos, que combinam escala global, projetos completos e agilidade tática para modernizar modelos de contratação.

O que podemos oferecer:

Pessoas são o nosso maior capital. Temos compromisso de atrair e reter os melhores talentos e construir conexões duradouras com eles.

Requisitos Técnicos:

• Bacharelado em Ciência da Computação ou áreas correlatas
• Experiência: 5 a 8+ anos em TI, com pelo menos 3 anos em ambientes Hadoop
• Linguagens: Scala, Java e/ou Python
• Ferramentas e tecnologias: Apache Spark, Hadoop Ecosystem, Hive, Iceberg, HBase, Solr, Kafka, Spark Streaming ou Apache Flink, Oozie, Git, GitHub, DevOps, Cloud: Experiência com Azure

Responsabilidades Principais:

Job Summary:

We are seeking a highly skilled Data Engineer to join our team. The ideal candidate will have experience in designing and implementing big data processing solutions, integrating them with current architecture, and leading distributed teams.

• The successful candidate will work on modernizing, maintaining and developing an eCommerce platform for millions of customers each week.

Key Responsibilities:

• Designing efficient data models for storage and retrieval.
• Implementing ETL/ELT pipelines and integrating data from various sources.
• Developing robust and scalable data warehousing solutions using dimensional modeling and star schemas.

Requirements:

• 3+ years of experience with Azure Data Factory and Synapse.
• Leading distributed teams and designing conceptual, logical and physical data models.
• Proficiency in Microsoft Azure including Data Lake Storage, Synapse Analytics, Data Factory, Databricks and pySpark.
• Experience with metadata and governance processes in cloud-based data platforms.

Benefits:

• Cloud-based analytical databases experience.
• MI, Database for Postgres, Cosmos DB, Analysis Services, Informix experience.
• Python and Python-based ETL tools experience.

Nice-to-Have Skills:

• Elasticsearch experience.
• Familiarity with containerization and orchestration technologies.
• Troubleshooting and Performance Tuning: Identifying and resolving performance bottlenecks.

Languages:

English: B2 Upper Intermediate

We are seeking an experienced Senior Big Data Developer to design and implement big data processing solutions while integrating them with the existing architecture.

We are seeking an experienced Data Engineer to design and implement a solution for processing big data volumes and integrating it with our current architecture.

• Azure Data Factory and Synapse expertise (3+ years) is required.
• Experience in leading a distributed team.
• Strong knowledge of Microsoft Azure, including Azure Data Lake Storage, Azure Synapse Analytics, Azure Data Factory, and Azure Databricks.
• Extensive experience with ETL/ELT pipelines to extract, transform, and load data from various sources into data lakes or data warehouses.
• Ability to integrate data from disparate sources using API integration or message queuing.
• Proficiency in designing and implementing data warehousing solutions (dimensional modeling, star schemas, Data Mesh).
• Proficiency in SQL to perform complex queries, data transformations, and performance tuning on cloud-based data storages.

• Experience with Elasticsearch.
• Familiarity with containerization and orchestration technologies (Docker, Kubernetes).
• Troubleshooting and Performance Tuning: Ability to identify and resolve performance bottlenecks in data processing workflows and optimize data pipelines for efficient data ingestion and analysis.

Note: Only candidates with relevant experience will be considered. Please ensure you meet the minimum requirements before applying.