Acerca de Walid
Francés
Bilingüe o nativo
Inglés
Competencia profesional completa
Experiencia
- BNP PARIBAS,Lead Data EngineerBANCA & SEGUROSjunio de 2023 - Hoy (3 años)Nanterre, FranciaProjet :
- Move to cloud : Migration de FinReport vers la plateforme Cloud de IBM
- Application FinReport : Centralisation des reporting financiers (TCA, RFQ,…) et réglementaires (MIFID2, BestExecution,…)
Missions :- Pilotage de la migration ETL legacy vers le Cloud (planification, chiffrage, coordination des équipes, ateliers techniques)
- Conception et développement de pipelines ETL en Python (pandas, PySpark, SQLAlchemy, cx_Oracle) et SQL
- Orchestration des workflows avec Apache Airflow (DAGs, scheduling, monitoring)
- Mise en place d’une solution (API REST) d’échange avec les partenaires externes
- Développement des scripts de comparaison (SQL, Python) pour le parallèle run et validation de la migration
- Mise en place de tests automatisés des pipelines de données (Pytest)
- Déploiement des jobs sur Kubernetes via les pipelines CI/CD sur Azure DevOps.
- Optimisation des performances :
o Pipelines ETL Python (traitement distribué PySpark, parallélisation Airflow)o Tuning SQL (réécriture de requêtes, plans d'exécution, window functions)o Oracle Exadata (indexation, partitionnement, tuning SQL)- Mise en place d’une solution de virtualisation de données multi-sources avec Denodo.
- Modélisation de la couche sémantique (vues virtuelles, derived views, interfaces métier)
- Migration des rapports Power BI vers Denodo Platform
- Revue et optimisation des Datasets et des requêtes SQL
- Mise en place d’un monitoring quotidien pour le suivi d’activité
- Maintenance de l’existant sur Datastage et résolution des incidents de Production
Environnement :Python (pandas, PySpark), Oracle Exadata, SQL, PL/SQL, Apache Airflow, Denodo, IBM Cloud (COS, S3, Vault), Shell, Kubernetes, Docker, Git, Azure DevOps, Sentinel, Datastage Px, Power BI - SOCIETE GENERALE,Data EngineerBANCA & SEGUROSenero de 2022 - junio de 2023 (1 año y 5 meses)Fontenay-sous-Bois, FranciaProjet :
- Data Marketing : Refonte des outils de data marketing pour l’envoi de campagnes marketing et réglementaires (Migration du progiciel UNICA vers Adobe Campaign) ainsi que tous les traitements associés
- YOGA : Projet du Fusion des données et des systèmes d'informations entre Société Générale et Crédit Du Nord
Missions:- Définition de l’architecture du nouveau Datamart
- Conception et développement des pipelines ETL d'alimentation (Python, PL/SQL, Datastage, PostgreSQL, Control-M)
- Développement de scripts Python pour l'intégration de fichiers XML/JSON
- Implémentation de scripts Python (pandas) de contrôle qualité des données : détection de doublons, valeurs nulles, contrôle de formats, cohérence inter-tables et validation des règles métier
- Développement et optimisation des procédures stockées PL/SQL (Oracle) et migration vers PL/pgSQL (PostgreSQL)
- Développement de Scripts Shell pour automatisation et lancement
- Orchestration des workflows avec Control-M
- Gestion du versioning des scripts avec Git
- Déploiement des pipelines en environnements de recette et production
- Mise en place du monitoring des pipelines ETL avec Grafana
- Suivi et résolution des incidents de Production
- Études comparatives des performances (Oracle vs PostgreSQL) & optimisation des traitements à fortevolumétrie :
o Insertion massive des données volumineuses (mode Bulk)o Parallélisation des traitementso Dissociation Extractions / Chargementso Augmentation des Nœuds Datastageo Activation / Désactivation des contraintesEnvironnement :PostgreSQL 12, Oracle 12C, Python3 (pandas), Teradata 17.1, DataStage 11.7, Grafana, Shell, PL/SQL, Control-M, Git, JIRA - ING DIRECTData EngineerBANCA & SEGUROSmarzo de 2018 - diciembre de 2021 (3 años y 9 meses)Paris, FranciaProjet :Dare, Plateforme mondiale de bancassurance multi-pays permets de fournir des produits d'assurance et des services associés via une plate-forme d'assurance numérique centrale (Allemagne, Australie, Italie, France, République tchèque et Autriche)Contexte internationale agile 100% AnglaisMissions :
- Tech Lead d'une équipe de développeurs off-shore (Inde) : encadrement technique, revues de code et validation des livrables.
- Architecture et design de la stratégie Data Lake & Data Warehouse multi-pays
- Conception de POCs et réalisation d'études comparatives à destination des équipes métiers et des directions pays.
- Développement de pipelines de données (Batch & Streaming) pour l'alimentation du Shared Data Lake avec DataStage, Oracle PL/SQL, Python et Kafka
- Migration Cloud (On-Premise vers GCP) : Conception et déploiement de pipelines ELT de l'environnement analytique vers Google Cloud Platform (Cloud Storage à BigQuery).
- Modélisation de données et implémentation de modèles dbt sur BigQuery.
- Création de scripts d'extraction multi-sources (APIs, bases de données, fichiers, Cloud Storage).
- Framework Data Quality : Développement d'un outil de contrôle qualité sur-mesure en Python (Pandas) intégrant la gestion des règles métiers, la détection d'anomalies et la cohérence inter-tables.
- Orchestration complète des pipelines avec Cloud Composer (Airflow) / UAC
- Déploiement de pipelines CI/CD sous Azure DevOps
- Étude de performances et optimisation des processus
- Création de rapports de restitution sous Power BI
Environnement:Python 3, SQL, PL/SQL, Oracle 19C, DataStage 11.7, GCP (BigQuery, Cloud Storage, Cloud Composer/Airflow, Google Kubernetes Engine), Kafka, Docker, Azure DevOps, GitLab, UAC, Grafana, Kibana, JIRA, DBT
Recomendaciones
Sé el primero en recomendar a Walid
Ayuda a este freelance a destacar compartiendo tu experiencia.
Estos perfiles de freelance también coinciden con tus criterios
Agatha Frydrych
Backend Java Software Engineer
4.7
(3)
2
Baptiste Duhen
Fullstack developer
4.6
(4)
5
Amed Hamou
Senior Lead Developer
4
(2)
7
Audrey Champion
Web developer
4.3
(3)
4
Formación
- d'Ingénieur en InformatiqueDiplôme National2010d'Ingénieur en Informatique
- Cycle préparatoire auxgrandes écoles d'ingénieurs2007Cycle préparatoire aux