ML 101
M04 · L01
الوحدة 4

الـ margin الأقصى

من بين كل الخطوط اللي بتفصل فئتين، فيه خط واحد أحسن: الأبعد قد ما يمكن عن المجموعتين. ودي الفكرة الأساسية في الـ support vector machines (آلات المتجهات الداعمة).

01 / 13
ML 101
M04 · L01
التجهيز

الفصل الخطي

الفئتين linearly separable (قابلتين للفصل الخطي) لو فيه hyperplane بيفصلهم تمامًا. في بُعدين هو خط، وفي الأبعاد الأعلى هو hyperplane.

بُعدين
خط
n بُعد
hyperplane
02 / 13
ML 101
M04 · L01
الـ decision boundary

الـ hyperplane

الحد بيتعرّف بـ vector الـ weights w والـ bias b. والنقط اللي على الناحيتين بتدّي إشارات عكس بعض — وده اللي بيحدّد الفئة المتوقعة. ده الـ hyperplane (المستوى الفائق).

معادلة الـ hyperplane
\mathbf{w}^\top \mathbf{x} + b = 0
03 / 13
ML 101
M04 · L01
الفكرة الأساسية

تكبير الـ margin

مستويين margin متوازيين جنب الحد على مسافة 1/‖w‖ من كل ناحية. والـ margin (الهامش) الكلي هو 2/‖w‖. وعشان نكبّر الـ margin، بنصغّر ‖w‖.

عرض الـ margin
\text{margin} = \dfrac{2}{\|\mathbf{w}\|}
04 / 13
ML 101
M04 · L01
النقط الحرجة

الـ support vectors

  • النقط اللي على مستويين الـ margin بالظبط — ودي الـ support vectors (متجهات الدعم)
  • هي لوحدها اللي بتحدّد الـ decision boundary
  • شيل أي نقطة تانية — الحد مش بيتغيّر
  • تمثيل متناثر: بنخزّن الـ support vectors بس
  • عادةً جزء صغير من بيانات التدريب
05 / 13
ML 101
M04 · L01
القيود الصارمة

الـ hard margin

لما البيانات تبقى بتتفصل تمامًا، الـ hard margin (الهامش الصلب) بيلاقي أوسع margin بـصفر أخطاء. مسألة quadratic optimization محدّبة ليها حل أمثل عالمي واحد.

مسألة الـ optimization
\min_{\mathbf{w},b}\;\tfrac{1}{2}\|\mathbf{w}\|^2 \quad\text{s.t.}\quad y_i(\mathbf{w}^\top\mathbf{x}_i+b)\geq 1
06 / 13
ML 101
M04 · L01
نرخّي القيود

الـ soft margin والـ slack

البيانات الحقيقية نادرًا ما بتتفصل تمامًا. الـ slack variables (متغيرات الترخيص) ξi بتسمح لشوية نقط تكسر الـ margin. ξi = 0 صح؛ 0 < ξi ≤ 1 جوه الـ margin؛ ξi > 1 غلط.

ξ = 0
صح
ξ > 1
غلط
07 / 13
ML 101
M04 · L01
الـ hyperparameter الأساسي

الـ parameter C

  • C كبير — عقوبة عالية ← margin ضيق، bias واطي
  • C صغير — عقوبة واطية ← margin واسع، أخطاء مسموحة
  • C → ∞ بيقرّب من الـ hard margin
  • ظبطه بالـ cross-validation على مقياس لوغاريتمي
  • المدى المعتاد: 0.001 لـ 1000
08 / 13
ML 101
M04 · L01
بالرسم

رسم الـ margin

الـ decision boundary (الخط المتصل) محاط بمستويين الـ margin (المتقطّعين). والـ support vectors واقعة بالظبط على مستويين الـ margin. وكل اللي غيرها مالوش دعوة بالحد.

2/‖w‖
09 / 13
ML 101
M04 · L01
ملحوظة عملية

الـ feature scaling

الـ SVMs بتقيس الـ margin في فضاء الـ features الأصلي. والـ features اللي قيمها كبيرة بتسيطر على طول الـ vector. اعمل normalization دايمًا قبل التدريب.

قاعدة دهب
StandardScaler قبل SVM • النسيان أشهر سبب للأداء الضعيف
10 / 13
ML 101
M04 · L01
حدود الخطية

لما الخطوط متقدرش

الـ hyperplane الخطي مبيقدرش يفصل فئات على شكل دواير أو حلزونات. والـ kernel trick (خدعة النواة) بيتغلّب على ده بإنه ينقل البيانات ضمنيًا لفضاء أبعاده أعلى.

الدرس الجاي
الـ kernel trick — SVM مش خطي من غير نقلة صريحة
11 / 13
ML 101
اختبار سريع

شوف إيه اللي ثبت

أربع أسئلة من الدرس ده. جاوب عشان تشوف السبب — الشرح بيظهر سواء جاوبت صح أو غلط. ونتيجتك مش بتتحفظ.

السؤال 1 من 0
النتيجة 0/0

12 / 13
ML 101
الخلاصة
مراجعة

اتعلّمت إيه

الـ SVMs بتلاقي الـ hyperplane اللي ليه أوسع margin بين الفئتين. والـ support vectors لوحدها بتحدّد الحد. والـ parameter C بيوازن عرض الـ margin قصاد الأخطاء. الجاي: الـ kernel trick بيوسّعها للمسائل اللي مش خطية.

الدرس الجاي
الـ kernel trick ←
كل الدروس اقرا المقالة
13 / 13