تقديم
تشمل خبرتي بناء أنظمة جمع ويب قوية باستخدام بايثون (Requests، BeautifulSoup، Selennium)، والتعامل مع المحتوى الديناميكي، واعتبارات مكافحة الروبوتات، واستخراج البيانات على نطاق واسع. أركز على الموثوقية، وسهولة الصيانة، وتنسيقات الإخراج النظيفة (CSV، JSON، Excel، وإدخال قواعد البيانات).
في سير عمل هندسة البيانات، أطور خطوط أنابيب ETL/ELT لاستخراج وتنظيف، تحويل، وتحميل البيانات إلى قواعد بيانات SQL وNoSQL. أعمل مع قواعد البيانات العلائقية (PostgreSQL، MySQL) وكذلك أنظمة NoSQL (MongoDB)، لضمان تحسين تصميم المخطط واستعلام فعال.
كما أبني سكريبتات بايثون آلية للمهام المتكررة، ومزامنة البيانات، وتكاملات واجهات برمجة التطبيقات، وأتمتة العمليات التجارية. أصمم واجهات برمجة تطبيقات REST لتعرض البيانات وتكاملها بين الأنظمة، وأحدد مؤشرات الأداء الرئيسية لمراقبة الأداء ومقاييس الأعمال.
تتكون تقنيتي التقنية من:
بايثون (الأتمتة، الجمع، معالجة البيانات)
قواعد بيانات SQL & NoSQL
تصميم خطوط أنابيب ETL / ELT
تطوير واجهات برمجة التطبيقات REST
Docker للحاويات
ELK Stack (Elasticsearch، Logstash، Kibana) للمراقبة والتسجيل
المشرف على تنسيق سير العمل
التحقق من البيانات وتنظيف خطوط الأنابيب
أعطي الأولوية ل:
كود نظيف وقابل للصيانة
البنى القابلة للتوسع
وثائق واضحة
توصيل واتصال موثوق
أنا متاح ل:
مشاريع جمع البيانات وجمع البيانات
تصميم وتحسين خط أنابيب البيانات
تصميم قواعد البيانات وتحسين الاستعلامات
أنظمة الأتمتة
تطوير واجهات برمجة التطبيقات
المراقبة وتنفيذ مؤشرات الأداء الرئيسية
