ML 101
M02 · L02
الوحدة 2

الـ logistic regression

الـ linear regression بيتنبأ بأرقام. طب لو الإجابة آه أو لأ؟ spam ولا لأ؟ ورم حميد ولا خبيث؟ الـ logistic regression (الانحدار اللوجستي) بيحوّل الخط المستقيم لـ احتمال.

01 / 13
ML 101
M02 · L02
التحوّل

من الأرقام للقرارات

الـ linear regression بيطلّع أي رقم من −∞ لـ +∞. الـ classification (التصنيف) محتاج احتمال بين 0 و1. محتاجين function تضغط أي input جوه النطاق ده.

الـ regression
−∞ لـ +∞
الـ classification
0 لـ 1
02 / 13
ML 101
M02 · L02
الكوبري

الـ sigmoid function

الـ sigmoid function (دالة السيجمويد) σ(z) بتحوّل أي رقم حقيقي للمجال (0، 1). رقم موجب كبير ← قريب من 1. رقم سالب كبير ← قريب من 0. صفر ← 0.5 بالظبط. هي منحنى S اللي بيحوّل الـ linear model لـ classifier.

الـ sigmoid function
\sigma(z) = \frac{1}{1 + e^{-z}}
03 / 13
ML 101
M02 · L02
الـ model

التنبؤ بالاحتمال

الـ logistic regression = linear model + sigmoid. بنحسب z = w·x + b، وبعدين نعدّيه على σ(z) عشان ناخد احتمال إن الـ input تبع الفئة 1.

الـ logistic model
P(y=1|\mathbf{x}) = \sigma(\mathbf{w}^T \mathbf{x} + b)
04 / 13
ML 101
M02 · L02
التصنيف

الـ decision boundary

المكان اللي فيه σ(z) = 0.5، يعني z = 0، هو الـ decision boundary (حد القرار). النقط اللي على ناحية بتتصنّف 1، واللي على الناحية التانية 0. وهو خط مستقيم (أو hyperplane) في فضاء الـ features.

الـ threshold
بنتوقع الفئة 1 لو P(y=1|x) ≥ 0.5. وتقدر تعدّل الـ threshold عشان توازن بشكل مختلف بين الـ precision والـ recall.
05 / 13
ML 101
M02 · L02
الـ loss الصح

ليه مش MSE؟

الـ MSE + الـ sigmoid بيعملوا سطح loss مش محدّب — مليان local minima الـ gradient descent بيعلق فيها. محتاجين loss function متصممة للاحتمالات: محدّبة وبتعاقب جامد الـ predictions الغلط اللي واثقة.

الفكرة الأساسية
لو اتنبأت بـ 0.99 للفئة 1 والـ label الحقيقي 0، العقوبة لازم تبقى ضخمة. الـ MSE بيدّي 0.98 معتدلة. والـ cross-entropy بتدّي ∞.
06 / 13
ML 101
M02 · L02
الـ loss function

الـ cross-entropy loss

الـ binary cross-entropy (الإنتروبيا المتقاطعة الثنائية) بتقيس الفجوة بين الاحتمالات المتوقعة والـ labels الحقيقية. محدّبة (global minimum واحد) وبتعاقب الأخطاء الواثقة جامد.

الـ binary cross-entropy
J = -\frac{1}{n}\sum_{i=1}^{n}\left[y_i \log(\hat{y}_i) + (1-y_i)\log(1-\hat{y}_i)\right]
07 / 13
ML 101
M02 · L02
التدريب

الـ gradient descent

نفس الـ algorithm بتاع الـ linear regression — بنحسب الـ gradient، وناخد خطوة لتحت. ده الـ gradient descent (النزول التدرجي)، والـ gradient هنا شكله أنيق: الغلط (ŷ − y) مضروب في الـ input x. مفيش حل مقفول، بس الـ gradient descent دايمًا بيتقارب لأن الـ loss محدّبة.

قاعدة التحديث
w ← w − α · Xᵀ (σ(Xw) − y) / n
08 / 13
ML 101
M02 · L02
أبعد من الثنائي

الـ softmax متعدد الفئات

أكتر من فئتين؟ الـ softmax (سوفتماكس) بيعمّم الـ sigmoid: بيحوّل K درجة خام لتوزيع احتمالي مجموعه 1. كل فئة بتاخد احتمال.

الـ softmax function
P(y=k|\mathbf{x}) = \frac{e^{z_k}}{\sum_{j=1}^{K} e^{z_j}}
09 / 13
ML 101
M02 · L02
الاستراتيجية

الـ one-vs-rest للتصنيف

بديل للـ softmax: ندرّب K classifier ثنائي منفصل، كل واحد بيجاوب "تبع الفئة k ولا لأ؟" ده الـ one-vs-rest (واحد مقابل الباقي)، ووقت التنبؤ بنختار الفئة اللي ثقتها أعلى.

الـ softmax
model واحد، K outputs
الـ one-vs-rest
K model، output واحد
10 / 13
ML 101
M02 · L02
الوقاية

الـ classification مع regularization

زي الـ linear regression بالظبط، الـ logistic regression ممكن يعمل overfitting (الإفراط في التخصيص) — خصوصًا مع features كتير. زوّد عقوبات L1 أو L2 على الـ cross-entropy loss. والـ parameter C = 1/λ بيتحكم في الموازنة في أغلب الـ libraries.

  • L2 — decision boundaries ناعمة
  • L1 — weights متناثرة، اختيار للـ features
  • C كبير — regularization أقل
  • C صغير — regularization أكتر
11 / 13
ML 101
اختبار سريع

شوف إيه اللي ثبت

أربع أسئلة من الدرس ده. جاوب عشان تشوف السبب — الشرح بيظهر سواء جاوبت صح أو غلط. ونتيجتك مش بتتحفظ.

السؤال 1 من 0
النتيجة 0/0

12 / 13
ML 101
الخلاصة
مراجعة

اتعلّمت إيه

الـ logistic regression بيطبّق الـ sigmoid على linear model عشان يطلّع احتمالات. الـ cross-entropy loss بتاخد مكان الـ MSE. والـ softmax بيوسّعه لأكتر من فئتين. نفس الـ gradient descent، loss function مختلفة.

الدرس الجاي
← الـ regularization
كل الدروس اقرا المقالة
13 / 13