تقييم الـ models
إنت تقدر تدرّب model (نموذج). ودلوقتي السؤال الأصعب: هو كويس فعلًا؟ الدرس ده بيدّيك الأرقام اللي بتجاوب — وبيكشفلك ليه أبسطها بيكدب عليك.
تلات مجموعات، مش اتنين
في الدرس اللي فات قسمت بياناتك لجزئين. الشغل الحقيقي محتاج تلاتة، لأنك بتاخد نوعين مختلفين من القرارات، وكل نوع محتاج بياناته النضيفة.
متظبطش على الـ test
كل ما تبص على نتيجة الاختبار وتغيّر حاجة، حتة من المجموعة دي بتتسرّب للـ model بتاعك. اعملها تلاتين مرة والـ test set تبقى، من غير ما تحس، training set تانية.
accuracy 99% ومالوش لازمة
10,000 موقع خلوي، 100 منهم فيهم عطل. اكتب سطر واحد — «اتنبأ دايمًا إنه سليم» — وتاخد accuracy (دقة) 99.0% من غير ما تلاقي ولا عطل.
الـ confusion matrix
الـ accuracy بتعصر أربع أرقام في واحد وبتخبّي الاتنين المهمين. والـ confusion matrix (مصفوفة الالتباس) دي للكاشف الحقيقي عند الـ threshold الافتراضي:
الـ precision
لما الـ model يطلق إنذار، بيطلع صح كام مرة؟ الكاشف بتاعنا نبّه على 150 موقع، 60 منهم عطلانين فعلًا — precision (إحكام) 0.40. ست زيارات من كل عشرة على الفاضي.
الـ recall
من الأعطال الموجودة فعلًا، لقينا كام؟ 60 من 100 — recall (استدعاء) 0.60. أربعين موقع لسه عطلانين ومحدش اتقاله.
الـ F1 score
رقم واحد للاتنين. وهو الوسط التوافقي مش المتوسط العادي — فبيرفض يتجامل بنص واحد قوي. والرقم بتاعنا: 0.48.
إنت عايز أنهي؟
مفيش افتراضي. اسأل: أنهي غلطة أغلى؟
- الـ precision — لما الإنذار الكداب يبقى مكلّف. الـ spam filters: إنك تخسر رسالة حقيقية أسوأ من إن رسالة مزعجة تعدّي.
- الـ recall — لما الإخفاق يبقى مكلّف. الفحص الطبي: حالة فايتة أسوأ من اختبار زيادة.
- الـ F1 — لما الاتنين يوجعوك ومحتاج رقم واحد ترتّب بيه الـ models.
امسح الـ threshold
الـ model بيطلّع score مش label. إنت اللي بتختار حد القطع، الـ threshold (العتبة). حرّكه وشوف النقطة بترسم الـ ROC curve.
المساحة تحت المنحنى
الـ AUC هو المنطقة المضلّلة اللي شفتها. ومعناه بسيط: احتمال إن موقع عطلان عشوائي ياخد score أعلى من موقع سليم عشوائي. المساحة بتاعتنا 0.90، ورمي العملة 0.50.
RMSE ولا MAE؟
هنا بتتنبأ برقم مش بفئة. الاتنين بيقولوا الغلط بوحدات اللي اتنبأت بيه — بس الـ RMSE بيربّع الأول، فـإخفاق كبير واحد بيسيطر عليه. أما الـ MAE فمبيتهزّش.
الـ MAE والـ R²
تسع predictions غلطانين بـ 1 وواحد غلطان بـ 10: الـ MAE بيساوي 1.9 والـ RMSE بيساوي 3.3. ولو الـ outliers دي بيانات بايظة مش predictions وحشة، يبقى الـ MAE هو التقرير الصادق.
اتعلّمت إيه
الـ train بيظبط، والـ validation بيختار، والـ test بيبلّغ — مرة واحدة. الـ accuracy بتخبّي الميلان، والـ confusion matrix بتكشفه. الـ precision والـ recall والـ F1 بيسمّوا الـ trade-off، والـ ROC والـ AUC بيقيّموه على كل threshold. وفي الـ regression: الـ RMSE بيعاقب الـ outliers، والـ MAE بيستحملهم، والـ R² بيقارنك بتخمين المتوسط.