أبعد من الـ linear regression | STAT-101

model واحد عمره ما كان كفاية

الدروس التلاتة اللي فاتوا بنوا الـ linear model Y = β₀ + β₁X₁ + … + ε وشخّصوه وصلّحوه. وهو حصان الشغل في الإحصاء، بس بيفترض حاجتين الدنيا الحقيقية بتكسرهم طول الوقت: إن العلاقة خط مستقيم، وإن الـ response كمية continuous بأخطاء normal تقريبًا والـ variance بتاعها ثابت. اطلب منه يتنبأ هل مريض هيعيش، أو بعدد المكالمات في الساعة، أو بمنحنى بينحني، هيتلخبط أو يفشل خالص.

الدرس ده بيعمّم الـ linear model في اتجاهين. الأول بنسيب الـ least squares زي ما هي بس بنسمح للـ predictors إنها تنحني. وبعدين بنسيب الـ linear predictor زي ما هو بس بنغيّر هو متوصّل بإيه — احتمال، أو عدد، أو معدّل — عن طريق الـ generalized linear model (النموذج الخطي المعمّم). وفي الآخر بنزوّد عقوبة بتخلّي الـ models الكبيرة أمينة، ودي الفكرة اللي بتنقل الـ regression على طول للـ machine learning.

الـ polynomial regression: منحنيات، بس خطية

أسرع طريقة تعدّي بيها افتراض الخط المستقيم إنك تزوّد قوى الـ predictor كأعمدة جديدة — x² وx³ وهكذا — وتعمل fit ليها بالـ ordinary least squares:

الـ polynomial regression (الانحدار متعدّد الحدود)

y = \beta_0 + \beta_1 x + \beta_2 x^2 + \dots + \beta_k x^k + \varepsilon

polynomial من الدرجة k. والمهم إنه لسه خطي في الـ coefficients β، فالـ least squares والـ R² وكل تشخيص من الدرس اللي فات بينطبقوا من غير تغيير — الـ design matrix بس خدت أعمدة زيادة.

والفخ هو الـ overfitting (فرط الملاءمة): polynomial درجته عالية هيجري ورا كل تموّج في الـ sample ويتمرجح جامد بين نقط البيانات وبرّاها، خصوصًا عند الأطراف. عمليًا الدرجة 2 أو 3 بتكفي تقريبًا دايمًا؛ وأي حاجة أعلى علامة إنك عايز طريقة مش خطية بجد (الـ splines في الوحدة 8) مش polynomial أطول.

الـ logistic regression: model لاحتمال

لما النتيجة تبقى ثنائية — عاش ولا لأ، ضغط ولا لأ، اتعثّر ولا لأ — إنك تعمل fit لخط مستقيم على response 0/1 كلام فارغ: هيتنبأ باحتمالات فوق 1 وتحت 0، وأخطاؤه مش normal ولا الـ variance بتاعها ثابت. والـ logistic regression (الانحدار اللوجستي) بيصلّح ده بإنه يعمل model مش للنتيجة لكن لـ الـ log-odds بتاعة النتيجة كدالة خطية:

الـ logit link

\operatorname{logit}(p) = \ln\!\left(\dfrac{p}{1-p}\right) = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p

الـ logit — الـ natural log للـ odds p/(1−p) — بيتعمله model خطي. والمعكوس بتاعه بيدّي المنحنى الـ logistic (الـ sigmoid) على شكل S وهو p = 1/(1 + e^−x′β)، المحصور في (0, 1) زي ما الاحتمال لازم يبقى.

ولأن الـ model خطي في الـ log-odds، كل coefficient ليه قراية نضيفة: e^β_j هي الـ odds ratio (نسبة الأرجحيّة) لتغيّر وحدة واحدة في x_j. والـ coefficients بتتظبط بالـ maximum likelihood (الأرجحيّة العظمى) مش بالـ least squares، والـ significance بتتختبر باختبارات z (Wald) والـ likelihood-ratio tests بدل الـ F-test. والـ logistic regression في نفس الوقت حصان شغل علم الأوبئة والـ credit scoring، وأبسط classifier في الـ machine learning — نفس المعادلة متقرية من مدرستين.

الـ Poisson regression: model للأعداد

الأعداد — حوادث لكل تقاطع، رسايل كل ساعة، عيوب كل دفعة — أعداد صحيحة مش سالبة والـ variance بتاعها بيكبر مع الـ mean بتاعها، فهي كمان بتكسر الـ linear model. والـ Poisson regression (انحدار بواسون) بيعمل model للـ log بتاع العدد المتوقع كدالة خطية:

الـ log link

\ln\big(\mathbb{E}[Y \mid \mathbf{x}]\big) = \mathbf{x}^\prime\boldsymbol{\beta}, \qquad Y \sim \text{Poisson}(\lambda)

الـ log link بيخلّي الـ mean المتظبّط موجب وبيحوّل الآثار اللي بالضرب لـ coefficients بالجمع: e^β_j هو المعامل اللي العدد المتوقع بيتضرب فيه لكل وحدة من x_j. ولما الـ variance يعدّي الـ mean (overdispersion) الـ negative binomial model بيبقى الخطوة الجاية المعتادة.

الفكرة اللي بتجمع: الـ generalized linear models

الـ polynomial والـ logistic والـ Poisson regression مش 3 حيل مالهمش علاقة ببعض. دول 3 أمثلة على إطار واحد، الـ generalized linear model (GLM)، اللي بيسيب الـ linear predictor المعروف β₀ + β₁x₁ + … زي ما هو ويربطه بالـ mean بتاع الـ response عن طريق link function (دالة رابط) g:

الـ generalized linear model

g\big(\mathbb{E}[Y]\big) = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p

الـ GLM بيتحدد بإنك تسمّي حاجتين: عيلة الـ distribution للـ response، والـ link function g اللي بتوصّل الـ mean بتاعها بالـ linear predictor.

إطار واحد، و3 أعضاء معروفين

الـ linear regression — عيلة normal (Gaussian)، والـ identity link g(μ) = μ. فالـ model العادي ببساطة هو الـ GLM اللي الـ link بتاعه مش بيعمل حاجة.

الـ logistic regression — عيلة binomial، والـ logit link g(μ) = ln(μ/(1−μ)). للنتايج الثنائية.

الـ Poisson regression — عيلة Poisson، والـ log link g(μ) = lnμ. للأعداد.

وإنك تشوفهم عيلة واحدة هو المقصود: اختار الـ distribution اللي ماشي مع بياناتك والـ link اللي بيخلّي التنبؤات جوه المدى، ونفس ماكينة الـ fit (الـ maximum likelihood) ونفس طريقة الاستدلال بيمشوا معاك.

الـ regularization: الـ Ridge، والـ Lasso، والـ Elastic Net

مع predictors كتير — خصوصًا لما يبقوا مرتبطين ببعض أو عددهم قريب من عدد المشاهدات — الـ least squares بيعمل overfitting والـ coefficients بتاعته بتبقى كبيرة ومش ثابتة. والـ regularization (التنظيم) بيزوّد عقوبة على حجم الـ coefficients لمعيار الـ fit، فبيقبل بقصد شوية bias مقابل تقليل كبير في الـ variance.

الـ Ridge regression (عقوبة L2)

\hat{\boldsymbol{\beta}}_{\text{ridge}} = \arg\min_{\boldsymbol{\beta}} \sum_{i=1}^{n}(y_i - \mathbf{x}_i^\prime\boldsymbol{\beta})^2 + \lambda \sum_{j=1}^{p} \beta_j^2

الـ Ridge بيزوّد λ مضروبة في مجموع مربعات الـ coefficients. فبيقلّص كل الـ coefficients بنعومة ناحية الصفر — من غير ما يوصله أبدًا — وهو شاطر بالذات في ترويض الـ multicollinearity.

الـ Lasso regression (عقوبة L1)

\hat{\boldsymbol{\beta}}_{\text{lasso}} = \arg\min_{\boldsymbol{\beta}} \sum_{i=1}^{n}(y_i - \mathbf{x}_i^\prime\boldsymbol{\beta})^2 + \lambda \sum_{j=1}^{p} |\beta_j|

الـ Lasso بيعاقب مجموع القيم المطلقة للـ coefficients. وهندسته بتزق شوية coefficients للصفر بالظبط، فبيعمل feature selection (اختيار سمات) أوتوماتيك — يعني الـ model بيختار أنهي predictors يحتفظ بيها.

الـ Elastic Net (الشبكة المرنة) بيخلط العقوبتين، λ₁Σ|β_j| + λ₂Σβ_j²، فبيورث الـ sparsity بتاعة الـ Lasso ومعاها تعامل أشطر مع مجموعات الـ predictors المرتبطة من الـ Lasso لوحده. وفي التلاتة، شدة λ مفتاح ضبط بيتختار بالـ cross-validation: λ = 0 بيرجّع الـ ordinary least squares، وλ أكبر معناه model أبسط ومتقلّص أكتر.

الكوبري للـ machine learning

الدرس ده هو المكان اللي الـ regression الكلاسيكي والـ machine learning بيتقابلوا فيه. الـ logistic regression هو linear classifier، وهو آخر layer في neural network. والـ regularization — عقوبات L1 وL2 اللي فوق — مش هامش إحصائي لكنه الدفاع الافتراضي ضد الـ overfitting في كل الـ machine learning الحديث، من الـ Lasso لحد الـ weight decay في الـ deep networks. وعادة الـ GLM إنك تختار loss ماشية مع البيانات وlink بيخلّي التنبؤات جوه المدى هي بالظبط إزاي الـ model الحديث بيتحدد. فالطريق من «اعمل fit لخط مستقيم» لـ «درّب classifier» أقصر وأعدل مما يبان.

أهم النقط

الـ polynomial regression بيحني الـ fit بإنه يزوّد x² وx³ كـ predictors؛ وبيفضل خطي في الـ coefficients فالـ least squares بتنطبق — بس الدرجات العالية بتعمل overfitting جامد.
الـ logistic regression بيعمل model خطي للـ log-odds بتاعة نتيجة ثنائية؛ والـ sigmoid بيخلّي التنبؤات في (0, 1) وe^β هي odds ratio. وبيتظبط بالـ maximum likelihood.
الـ Poisson regression بيعمل model خطي للـ log بتاع عدد متوقع؛ وe^β معامل معدّل بالضرب. والـ overdispersion بيشاور على negative binomial model.
الـ generalized linear models بتجمع ده كله: اختار عيلة distribution وlink function g بحيث g(E[Y]) = Xβ. والـ linear regression هو الحالة الخاصة بعيلة Gaussian والـ identity link.
الـ regularization بيبدّل الـ bias بالـ variance: الـ Ridge (L2) بيقلّص بنعومة، والـ Lasso (L1) بيصفّر الـ coefficients عشان feature selection، والـ Elastic Net بيخلط الاتنين. والشدة λ بتتظبط بالـ cross-validation.
ده هو الكوبري للـ machine learning: الـ logistic regression classifier، والـ regularization هو الأداة العامة ضد الـ overfitting، وعقلية الـ GLM هي إزاي الـ models الحديثة بتتحدد.