Descripción

Data Engineer specialized in distributed data processing using Apache Spark and Scala.

Experience in designing, developing, and optimizing ETL pipelines on Big Data architectures, working with large-scale datasets in critical production environments.

Specialized in:

Spark job optimization and performance tuning
Batch ETL pipeline development
Workflow orchestration with Airflow
Big Data environment migrations
Distributed processing and scalability

I have worked on projects focused on financial data processing, system integrations, and data platform modernization, participating in migrations to cloud architectures and Databricks environments.

Main stack:

Scala, Spark, Airflow, Hive, SQL, Databricks, PostgreSQL, Cloudera, CI/CD, and APIs.

Ámbito de especialización en el sector

Idiomas

Español
Bilingüe o nativo
Inglés
Competencia profesional básica

Preferencias de lugar de trabajo

Solo teletrabajo

Lleva a cabo sus proyectos principalmente en remoto

BOSONIT S.L.
Data Engineer
BANCA & SEGUROS
enero de 2022 - Hoy (4 años y 5 meses)
Madrid, España
Desarrollo, mantenimiento y evolución de pipelines ETL para el procesamiento de mensajes de pago (SWIFT, ISO 20022, SEPA, ACH) Procesamiento batch de datos desde capa landing (S3) hasta capa common, aplicando validaciones técnicas y funcionales Normalización de múltiples fuentes de datos en un modelo común para su posterior explotación Optimización de jobs Spark reduciendo tiempos de ejecución de varias horas a minutos mediante mejoras en particionado, configuración y lógica de procesamiento la de procesos
ETL/ELT Apache Spark Data Engineer Scala Databricks
BINAIA
Big Data Engineering Mentor
EDUCACIÓN & E-LEARNING
julio de 2023 - Hoy (2 años y 11 meses)
Madrid, España
• Mentoring new Big Data trainees, providing guidance on both theoretical and practical aspects of Big Data technologies.

• Conduct bi-weekly follow-ups to ensure learning progress. The mentorship program begins with foundational knowledge in Hadoop, HDFS, Hive, Apache Spark, Scala/Python, followed by practical ETL simulations and hands-on experience with Apache Airflow for building and orchestrating data pipelines.
Coaching and mentoring Scala Apache Spark ETL/ELT Databricks

Sé el primero en recomendar a David

Ayuda a este freelance a destacar compartiendo tu experiencia.

Agatha Frydrych

Backend Java Software Engineer

4.7

(3)

Baptiste Duhen

Fullstack developer

4.6

(4)

Amed Hamou

Senior Lead Developer

(2)

Audrey Champion

Web developer

4.3

(3)

Registrarse para verlos

Grado Superior
MEDAC
2022
Grado Superior
Certified Associate Developer for Apache Spark 3.0
Databricks
Certified Associate Developer for Apache Spark 3.0