Vous avez du mal avec un traitement de données lent ou des pipelines ETL peu fiables ?
Je construis et optimise des systèmes de données évolutifs et performants qui transforment de grands ensembles de données en insights fiables et exploitables.

Je suis ingénieur données avec 4+ ans d’expérience professionnelle, ayant auparavant travaillé chez Xiaomi (Fortune Global 500) et Shopee. Je suis spécialisé dans la conception, la construction et l’optimisation de pipelines de données de bout en bout pour des cas d’utilisation analytiques et d’apprentissage automatique.

Mon objectif est de résoudre de vrais problèmes de données : pipelines instables, emplois Spark lents, mauvaise qualité des données et architectures qui ne s’adaptent pas.
⭐ Ce que je fais :
✔ Pipelines ETL / ELT de bout en bout
Concevoir et mettre en œuvre des pipelines de données automatisés utilisant Airflow et Apache Spark (Scala / Python / Java), de l’ingestion aux ensembles de données prêts pour l’analytique.
✔ Réglage de la performance de l’étincelle
Diagnostiquer et optimiser les tâches Spark lentes ou défaillantes grâce à l’ajustement de la mémoire et du processeur, l’optimisation du mélange et l’analyse du plan d’exécution afin de réduire le temps d’exécution et les coûts.
✔ Architecture du Big Data
Concevez des plateformes de données en lot et en streaming évolutives en utilisant Kafka, Flink, Hadoop (HDFS, Hive) et Druid.
✔ Qualité et fiabilité des données
Mettez en place des vérifications de validation, de surveillance et de qualité des données pour garantir l’exactitude, la cohérence et la confiance des données.

⭐ Compétences fondamentales :
✔ Big Data : Étincelle, Flux d’air, Kafka, Flink, Hadoop, Ruche, Druide
✔ Programmation : Scala, Python, Java, SQL
✔ Bases de données : HBase, Redis, bases de données relationnelles
✔ Plateformes : Data Lake, Data Warehouse, AWS, GCP

⭐Comment je travaille :
Je suis axé sur les résultats et axé sur le business. Je prends le temps de comprendre les objectifs, de communiquer clairement et d’identifier de manière proactive les risques et les améliorations. Je valorise la responsabilité, la fiabilité et la collaboration à long terme plutôt qu’une livraison à court terme.

Si vous cherchez un data engineer capable de fournir des systèmes stables et des résultats mesurables, je serais ravi de travailler avec vous.