ML 101
و04 · د02
الوحدة 4

الـ kernel trick

لما الفئات متتفصلش بخط، انقلها لفضاء تتفصل فيه — من غير ما تحسب النقلة دي خالص. ده جوهر الـ kernel trick (خدعة النواة).

01 / 13
ML 101
و04 · د02
المشكلة

لما الخطوط تفشل

patterns كتير — حلقات متحدة المركز، XOR، حلزونات — مفيش hyperplane بيفصلها. والـ linear SVM هيفشل معاها خالص.

XOR
مبيتفصلش
دواير
مبيتفصلش
02 / 13
ML 101
و04 · د02
الـ feature map

الطلوع لأبعاد أعلى

الـ feature map (دالة التعيين) φ بتحوّل البيانات لفضاء أبعاده أعلى الفئات فيه بتبقى بتتفصل خطيًا.

الـ feature map
\phi: \mathbb{R}^n \to \mathcal{F}
03 / 13
ML 101
و04 · د02
الطريق المختصر

الـ kernel function

في الشكل الـ dual للـ SVM، البيانات بتظهر بس كـ dot products. والـ kernel function (دالة النواة) بتحسب الـ inner product ده من غير ما تبني φ(x) خالص.

الـ kernel trick
K(\mathbf{x}, \mathbf{z}) = \phi(\mathbf{x})^\top \phi(\mathbf{z})
04 / 13
ML 101
و04 · د02
شرط الصلاحية

شرط ميرسر

  • الـ kernel الصالح لازم الـ matrix بتاعته تبقى positive semi-definite (شبه محددة موجبة)
  • بيضمن إن K(x,z) بيحسب inner product حقيقي في حتة ما
  • الـ kernels المعتادة (linear، RBF، polynomial) كلها بتحققه
  • الـ custom kernels لازم تتأكد منها
  • لو الشرط اتكسر ← ممكن الـ optimization ميتقاربش
05 / 13
ML 101
و04 · د02
أنواع الـ kernels

الـ kernels المشهورة

linear
K = x·z
polynomial
K = (x·z + c)d
RBF
K = exp(−γ‖x−z‖²)
sigmoid
K = tanh(κx·z + θ)
06 / 13
ML 101
و04 · د02
الأشهر

الـ RBF / Gaussian kernel

التشابه بيقل كـ Gaussian function مع المسافة. بيقابل فضاء features أبعاده مالهاش نهاية — ومع كده ممكن تشتغل بيه. وهو universal approximator.

الـ RBF kernel
K(\mathbf{x}, \mathbf{z}) = \exp\!\left(-\gamma \|\mathbf{x} - \mathbf{z}\|^2\right)
07 / 13
ML 101
و04 · د02
الـ hyperparameter بتاع RBF

الـ parameter γ

  • γ كبير — جرس ضيق ← النقط القريبة بس شبه بعض ← حد متعرّج
  • γ صغير — جرس عريض ← النقط البعيدة لسه شبه بعض ← حد أنعم
  • γ كبير بيخاطر بالـ overfitting؛ والصغير بيخاطر بالـ underfitting
  • الافتراضي: γ = 1 / عدد_الـ features
  • ظبطه مع C سوا بالـ grid search
08 / 13
ML 101
و04 · د02
الصياغة الـ dual

الـ Lagrange multipliers

الشكل الـ dual بيبدّل الشكل الأصلي بالـ Lagrange multipliers (مضاعفات لاغرانج) αi. والبيانات بتظهر بس كـ dot products — فتقدر تركّب أي kernel.

الـ dual objective
\max_{\boldsymbol{\alpha}}\;\sum_i \alpha_i - \tfrac{1}{2}\sum_{i,j}\alpha_i\alpha_j y_i y_j K(\mathbf{x}_i,\mathbf{x}_j)
09 / 13
ML 101
و04 · د02
وقت الاختبار

التنبؤ بالـ kernels

بعد التدريب، التنبؤ مجموع موزون لتقييمات الـ kernel قصاد الـ support vectors بس (αi > 0). سريع حتى في الفضاءات اللي أبعادها مالهاش نهاية.

التنبؤ
f(\mathbf{x}) = \text{sign}\!\left(\sum_{i:\alpha_i>0} \alpha_i y_i K(\mathbf{x}_i, \mathbf{x}) + b\right)
10 / 13
ML 101
و04 · د02
القيود العملية

تحدّي الـ scalability

  • الـ kernel matrix مقاسها n × n — memory قدها O(n²)
  • حل الشكل الـ dual: وقت O(n³)
  • الحد العملي: ~100 ألف مثال تدريب
  • حلول بديلة: Nyström approximation، الـ random features
  • الـ deep learning أنسب للبيانات الضخمة جدًا
  • الـ kernel SVM أحسن على البيانات الصغيرة والمتوسطة
11 / 13
ML 101
اختبار سريع

شوف إيه اللي ثبت

أربع أسئلة من الدرس ده. جاوب عشان تشوف السبب — الشرح بيظهر سواء جاوبت صح أو غلط. ونتيجتك مش بتتحفظ.

السؤال 1 من 0
النتيجة 0/0

12 / 13
ML 101
الخلاصة
مراجعة

اتعلّمنا إيه

الـ kernels بتخلّي الـ SVMs تلاقي حدود مش خطية بالنقل الضمني لفضاءات أبعادها عالية. K(x,z) = φ(x)·φ(z) من غير ما تحسب φ. الـ RBF هو الاختيار الافتراضي؛ وγ وC الاتنين محتاجين ظبط. الجاي: الـ SVM في التطبيق — التدريب والظبط والنشر.

الدرس الجاي
الـ SVM في التطبيق ←
كل الدروس اقرا المقالة
13 / 13