Yazhen Li

هل تواجه صعوبة في بطء معالجة البيانات أو خطوط أنابيب ETL غير الموثوقة؟
أبني وأحسن أنظمة بيانات قابلة للتوسع وعالية الأداء تحول مجموعات البيانات الكبيرة إلى رؤى موثوقة وقابلة للتنفيذ.

أنا مهندس بيانات ولدي 4+ سنوات من الخبرة المهنية، وعملت سابقا في شاومي (فورتشن جلوبال 500) وشوبي. أنا متخصص في تصميم وبناء وتحسين خطوط أنابيب البيانات من البداية إلى النهاية لحالات استخدام التحليلات وتعلم الآلة.

تركيزي على حل مشاكل البيانات الحقيقية: خطوط أنابيب غير مستقرة، وظائف Spark بطيئة، جودة بيانات ضعيفة، وهياكل معمارية لا تتوسع للنطاق.
⭐ ما أفعله:
✔ خطوط أنابيب ETL / ELT من البداية إلى الطرف
تصميم وتنفيذ خطوط بيانات آلية باستخدام Airflow وApache Spark (Scala / Python / Java)، من الدمج إلى مجموعات البيانات الجاهزة للتحليلات.
✔ ضبط أداء سبارك
تشخيص وتحسين مهام Spark البطيئة أو الفاشلة من خلال ضبط الذاكرة والمعالج، وتحسين الخلط، وتحليل خطط التنفيذ لتقليل وقت التشغيل والتكلفة.
✔ بنية البيانات الضخمة
صمم منصات بيانات دفعات وتدفق قابلة للتوسع باستخدام Kafka، Flink، Hadoop (HDFS، Hive)، وDruid.
✔ جودة البيانات وموثوقيتها
نفذ التحقق من الصحة، والمراقبة، وفحوصات جودة البيانات لضمان دقة البيانات واتساقها والثقة.

⭐ المهارات الأساسية:
✔ البيانات الضخمة: سبارك، إيرفلو، كافكا، فلينك، هادوب، هايف، درويد
✔ البرمجة: سكالا، بايثون، جافا، SQL
✔ قواعد البيانات: HBase، Redis، قواعد البيانات العلائقية
✔ المنصات: Data Lake، Data Warehouse، AWS، GCP

⭐كيف أعمل:
أنا أركز على النتائج وأركز على الأعمال. أخصص وقتا لفهم الأهداف، والتواصل بوضوح، وتحديد المخاطر والتحسينات بشكل استباقي. أنا أقدر الملكية والموثوقية والتعاون طويل الأمد أكثر من التسليم قصير الأمد.

إذا كنت تبحث عن مهندس بيانات يمكنه تقديم أنظمة مستقرة ونتائج قابلة للقياس، فسأكون سعيدا بالعمل معك.