STAT 101
M08 · L03
الوحدة 8 · الدرس 3
الـ regression الـ nonparametric
ارمي المعادلة المفترضة. وسيب البيانات ترسم منحناها تحت قيد نعومة — لما متكونش عارف الشكل الدالّي. ده الـ nonparametric regression (الانحدار اللامعلمي).
01 / 07
STAT 101
M08 · L03
الـ histogram الناعم
الـ kernel density estimation
KDE
\hat{f}(x) = \tfrac{1}{nh}\sum K\!\left(\tfrac{x - x_i}{h}\right)
نتوء فوق كل نقطة؛ والـ bandwidth h (عرض النطاق) بيظبط النعومة (الوحدة 2، الدرس 1). ونفس فكرة المتوسط المحلي، لما تطبّقها على y، هي الـ nonparametric regression.
02 / 07
STAT 101
M08 · L03
fit نقطة نقطة
الـ LOESS: regression محلي
local weighted fit
\min_{a,b} \sum w_i(x)(y_i - a - b x_i)^2
regression موزون صغير عند كل x، بيدّي النقط القريبة وزن أكبر. والـ span هو زرار النعومة.
03 / 07
STAT 101
M08 · L03
polynomials متخيّطة
الـ splines
polynomials درجتها واطية بين الـ knots (العُقد)، ومتخيّطة بنعومة. والـ smoothing spline بيزوّد عقوبة خشونة — قريب الـ Ridge — وبيشغّل الـ generalized additive models.
04 / 07
STAT 101
M08 · L03
العضو البايزي
الـ Gaussian processes
prior على الدوال ← posterior على كل المنحنيات اللي بتعمل fit. بتاخد error bars أمينة بتوسع لما البيانات تقل — كوبري للوحدة 9.
05 / 07
STAT 101
الخلاصة
مراجعة
اتعلّمت إيه
- الـ nonparametric regression مش بيفترض معادلة — نعومة بس
- الـ KDE والـ LOESS والـ splines والـ Gaussian processes — 4 طرق لمنحنى مرن
- لكل واحدة زرار نعومة واحد = الـ bias-variance trade-off، بيتظبط بالـ cross-validation
- الـ Gaussian processes بتزوّد error bars أمينة معتمدة على البيانات
الجاي — الوحدة 9
07 / 07