STAT 101
M07 · L02
الوحدة 7 · الدرس 2
الـ regression المتعدد
النتايج الحقيقية معتمدة على عوامل كتير في نفس الوقت. الـ multiple regression (الانحدار المتعدد) بيمدّ الـ linear model عشان ياخد p predictors — وبيقدّر المساهمة الخاصة بكل variable مع التحكم في الباقيين.
01 / 12
STAT 101
M07 · L02
المعادلة
الـ model
الـ multiple linear regression
Y = \beta_0 + \beta_1 X_1 + \cdots + \beta_p X_p + \varepsilon
بصيغة الـ matrices: Y = Xβ + ε. وحل الـ OLS: β̂ = (X′X)⁻¹X′Y — معادلة واحدة لأي عدد من الـ predictors.
02 / 12
STAT 101
M07 · L02
مع تثبيت الباقيين
التأثيرات الجزئية
الفرق الجوهري
β̂₁ في الـ simple regression: التغيّر الخام في Y لكل وحدة X₁
β̂₁ في الـ multiple regression: التغيّر في Y مع تثبيت X₂,…,Xₚ
β̂₁ في الـ multiple regression: التغيّر في Y مع تثبيت X₂,…,Xₚ
الـ partial coefficients بتتحكم في الـ confounders — وبتقيس المساهمة الخطية الخاصة بكل predictor.
03 / 12
STAT 101
M07 · L02
جودة fit عليها عقوبة
الـ adjusted R²
الـ adjusted R²
\bar{R}^2 = 1 - (1-R^2)\dfrac{n-1}{n-p-1}
الـ R² العادي مش بيقل لما تزوّد predictors. والـ adjusted R² بيعلى بس لو الـ variable الجديد ساعد بجد — لأنه بيعاقب تعقيد الـ model.
04 / 12
STAT 101
M07 · L02
predictors مرتبطة ببعض
الـ multicollinearity
- هو إيه: ارتباط عالي بين اتنين أو أكتر من الـ predictors
- الأثر: الـ standard errors بتتنفخ — coefficients مش ثابتة
- العلامة: R² عالي بس مفيش predictor significant
- الحل: تشيل variable أو تدمجهم أو تستخدم Ridge
05 / 12
STAT 101
M07 · L02
تشخيص الـ multicollinearity
الـ variance inflation factor
VIF
\text{VIF}_j = \dfrac{1}{1 - R_j^2}
VIF = 1
مفيش multicollinearity
VIF > 10
جامد — محتاج تتدخّل
06 / 12
STAT 101
M07 · L02
نحتفظ بأنهي predictors؟
اختيار الـ variables
- الأمامي: زوّد أحسن predictor كل خطوة
- الخلفي: ابدأ بالكل واشيل الأضعف واحد ورا التاني
- التدريجي: أمامي + خلفي بالتبادل
- القيد: كلهم بيكبّروا الـ Type I error — استكشافيين بس
07 / 12
STAT 101
M07 · L02
الـ predictors الفئوية
الـ dummy variables
k مستوى → k−1 dummy variable
المنطقة: الشمال (مرجع)، والجنوب، والشرق، والغرب
← 3 variables: D₁، D₂، D₃
كل coefficient = التأثير مقارنةً بالفئة المرجعية مع تثبيت الـ predictors التانية
← 3 variables: D₁، D₂، D₃
كل coefficient = التأثير مقارنةً بالفئة المرجعية مع تثبيت الـ predictors التانية
لما تزوّد interaction بين dummy وcontinuous الـ slope بيختلف بين الفئات.
08 / 12
STAT 101
M07 · L02
مقارنة الـ models
AIC وBIC
الـ information criteria
\text{AIC} = {-2\ell + 2k} \quad \text{BIC} = {-2\ell + k\ln n}
AIC
بيفضّل التنبؤ
BIC
بيفضّل البساطة
09 / 12
STAT 101
M07 · L02
نفس افتراضات الـ simple regression
التأكد من الافتراضات
- الخطية — الـ residuals قصاد الـ fitted: مفيش منحنى
- الـ homoscedasticity — انتشار منتظم في الـ residuals
- الـ normality — QQ plot للـ residuals
- الاستقلالية — مفيش autocorrelation
- مفيش multicollinearity — اتأكد من الـ VIF لكل predictor
10 / 12
STAT 101
الخلاصة
مراجعة
اتعلّمت إيه النهارده
- الـ model: Y = β₀ + β₁X₁ + … + βₚXₚ + ε؛ والحل: β̂ = (X′X)⁻¹X′Y
- الـ partial coefficients بتقيس تأثير كل predictor مع تثبيت الباقيين
- الـ adjusted R² بيعاقب الـ predictors الزيادة؛ والـ R² العادي عمره ما بيقل
- الـ VIF بيشخّص الـ multicollinearity (تحذير > 5؛ جامد > 10)
- الاختيار التدريجي استكشافي — فضّل AIC/BIC أو Lasso
- الـ categorical variables محتاجة k−1 dummy variable
12 / 12