Hamed Z.

Je suis intervenu pour aider TheFork à transformer leur plateforme de données legacy, réalisée avec Sqoop et Rancher, en une architecture data mesh orchestrée avec Airflow et déployée sur un cluster Kubernetes sur AWS.

J'ai ensuite initié une transform vers l'architecture lakehouse en utilisant le table format Iceberg. La nouvelle architecture se base sur Glue, Athena, S3, Trino et Spark.

J'ai travaillé sur un projet passionnant visant à créer une plateforme de données innovante appelée Telemetry (Data mesh). Mon rôle principal était de concevoir et de développer les processus d'extraction et d'intégration de données entre les systèmes Talend Cloud et l'équipe Data Science/Analytique, afin de fournir aux clients internes des données de qualité et de confiance.

Avec une équipe de 5 personnes (2 SRE, 1 Data Engineer, 1 Architecte et 1 Manager) j'ai travaillé sur la mise en place de la real-time data plateforme en avec des technologies de pointe telles que Kafka, Debezium CDC, Kubernetes, Spark (SQL, Streaming) et AWS (EKS, MSK, EMR, S3, Athena, Glue), ainsi que des outils tels que Talend Cloud, MongoDB, Postgres et Snowflake.

La platforme expose les data en tant qu'un Lakehouse Delta (Databricks) avec 3 zones Bronze, Silver et Gold.

J'ai également utilisé des langages de programmation tels que Python et Java pour créer les pipelines de data et implémenter des modèles Machine Learning pour comprendre les données d'utilisation et prédire le désabonnement des clients.

En utilisant des outils tels que JIRA, Git, Github, Github CI, Flux et Helm, j'ai pu travailler efficacement avec mon équipe pour assurer la qualité et la rapidité du développement et déploiement.

En outre, j'ai utilisé des outils de surveillance tels que Grafana et Prometheus pour m'assurer que la plateforme de données fonctionne en douceur.

Grâce à mon travail sur Telemetry, j'ai aidé Talend à obtenir des informations plus précises et plus approfondies sur les utilisateurs de ses produits.

PROJET 1:

Afin de garder un suivi complet de l'évolution des données MongoDB et avec une équipe de 2 personnes, nous avons mis en place une solution ETL temps-réel sur Google Cloud Platform.

PROJET 2:

Afin de gérer l'habiliation de projets BigQuery, j'ai développé deux cloud functions qui automatiquement créent des restrictions et gérent la visbilité de tables.

RÉALISATIONS - P1

J'ai développé des DAGs Airflow avec Cloud Composer qui permettent de:

- Scanner et être notifié de tous les évenements MongoDB (Oplogs)

- Pre-processer les évenements et les maper en data et metadata BigQuery (success data et failure data)

- Stocker les data générées dans BigQuery

- Monitorer le process d'importation

- Gérer les failures et reprendre via un timestamp stocké dans Cloud SQL.

- Envoyer des alerts via Google Cloud Logging-based monitoring.

RÉALISATIONS - P2:

- Synchronisation de métadata saisies par le métier dans un fichier CSV et des tables et dataset BigQuery via une cloud function déclenchée par un bucket GS.

- Synchronisation de vues ABLE target en fonction de metadata saisies dans des tables source via une cloud function déclenchée par un Cloud Sink envoyant des messages sur un topic pub/sub.

La CI/CD est gérée par un custom runner kubernetes sur GitLab pour les deux projets.

Keywords: Python, Google Cloud Composer, Google Cloud Storage, Google Coud Function, Google Cloud Sink, Google Pub/sub, Airflow, MongoDB, BigQuery, Kubernetes, Google Cloud Scheduler