STAT 101
M07 · L04
الوحدة 7 · الدرس 4
أبعد من الـ linear regression
الخط المستقيم افترض نتيجة continuous وnormal. بس النتايج الحقيقية بتنحني، أو بتبقى آه/لأ، أو أعداد. الدرس ده بيعمّم الـ regression — لحد باب الـ machine learning.
01 / 11
STAT 101
M07 · L04
الخط بيتكسر فين
model واحد عمره ما كفى
- علاقات منحنية — الخط مش بيلحق الـ fit
- نتايج ثنائية (آه/لأ) — الخط بيتنبأ بأقل من 0 وأكتر من 1
- أعداد — مش سالبة، والـ variance بتاعها بيكبر مع الـ mean
3 حلول، وبعدين إطار واحد بيجمعهم.
02 / 11
STAT 101
M07 · L04
منحنيات، بس خطية
الـ polynomial regression
زوّد قوى x
y = \beta_0 + \beta_1 x + \dots + \beta_k x^k
لسه خطي في الـ coefficients، فالـ least squares وكل تشخيص بينطبقوا. بس الدرجات العالية بتعمل overfitting — الدرجة 2 أو 3 عادةً بتكفي.
03 / 11
STAT 101
M07 · L04
نتايج ثنائية
الـ logistic regression
الـ logit link
\ln\!\dfrac{p}{1-p} = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p
بتتقري إزاي
الـ sigmoid بيخلّي p في (0, 1). وeβ هي odds ratio. بيتظبط بالـ maximum likelihood مش بالـ least squares.
04 / 11
STAT 101
M07 · L04
نتايج عدّية
الـ Poisson للأعداد
الـ log link
\ln \mathbb{E}[Y] = \mathbf{x}^\prime\boldsymbol{\beta}
الـ log link بيخلّي الـ mean موجب؛ وeβ معامل معدّل بالضرب. الـ variance > الـ mean؟ استخدم الـ negative binomial.
05 / 11
STAT 101
M07 · L04
الفكرة اللي بتجمع
الـ model المعمّم
الـ link function g
g\big(\mathbb{E}[Y]\big) = \mathbf{x}^\prime\boldsymbol{\beta}
اختار عيلة distribution وlink g. إطار واحد، وطريقة fit واحدة (الـ maximum likelihood).
06 / 11
STAT 101
M07 · L04
عيلة واحدة، و3 أعضاء
ده model واحد
- linear — عيلة Gaussian، والـ identity link
- logistic — عيلة binomial، والـ logit link
- Poisson — عيلة Poisson، والـ log link
الـ regression العادي هو الـ GLM اللي الـ link بتاعه مش بيعمل حاجة.
07 / 11
STAT 101
M07 · L04
ترويض الـ models الكبيرة
الـ Ridge والـ Lasso
الـ Ridge — عقوبة L2
\min\ \text{RSS} + \lambda \textstyle\sum_j \beta_j^2
الـ Lasso — عقوبة L1
\min\ \text{RSS} + \lambda \textstyle\sum_j |\beta_j|
الـ Ridge بيقلّص بنعومة؛ والـ Lasso بيصفّر الـ coefficients (feature selection)؛ والـ Elastic Net بيخلطهم. وλ بتتظبط بالـ cross-validation.
08 / 11
STAT 101
M07 · L04
المكان اللي الإحصاء والـ machine learning بيتقابلوا فيه
الكوبري لـ الـ machine learning
- الـ logistic regression هو linear classifier
- الـ regularization هو الأداة العامة ضد الـ overfitting
- اختيار loss + link هو إزاي الـ models الحديثة بتتحدد
09 / 11
STAT 101
الخلاصة
مراجعة
اتعلّمت إيه
- الـ polynomial بيحني الـ fit بس بيفضل least squares — خد بالك من الـ overfitting
- الـ logistic بيعمل model للـ log-odds بتاعة نتيجة ثنائية؛ وeβ هي odds ratio
- الـ Poisson بيعمل model للـ log بتاع عدد؛ وeβ معامل معدّل
- الـ GLM بيجمع التلاتة: عيلة + link، g(E[Y]) = Xβ
- الـ Ridge/Lasso/Elastic Net بيبدّلوا الـ bias بالـ variance؛ وλ بالـ cross-validation
- ده الكوبري من الـ regression للـ machine learning
11 / 11