الـ nonparametric regression | STAT-101

regression من غير معادلة

الوحدة 7 كانت دايمًا بتبدأ بـ افتراض شكل للعلاقة — خط مستقيم، polynomial، منحنى logistic — وبعدين تقدّر الـ parameters بتاعته. أما الـ nonparametric regression (الانحدار اللامعلمي) فبيرمي الافتراض ده. بدل ما يجبر البيانات على شكل مختار، بيسيبها ترسم منحناها بنفسها، وبيستعين بقيد نعومة وبس. ودي اللي بتلجأ لها لما متكونش عارف الشكل الدالّي بجد، أو لما العلاقة تبقى متموّجة أكتر من أي معادلة شيك.

الـ kernel density estimation

الفكرة بتبدأ خطوة قبل الـ regression، بتقدير distribution. والـ kernel density estimation (تقدير الكثافة بالنواة) أو KDE، المشروح في الوحدة 2، الدرس 1، هو القريب الناعم للـ histogram — فهنفتكر معادلته هنا من غير ما نشتقها تاني:

الـ kernel density estimation

\hat{f}(x) = \dfrac{1}{nh}\sum_{i=1}^{n} K\!\left(\dfrac{x - x_i}{h}\right)

حط نتوء صغير (الـ kernel K) فوق كل نقطة بيانات واجمعهم. والـ bandwidth h (عرض النطاق) بيحدد عرض كل نتوء — المفتاح الوحيد اللي بيتحكم في نعومة التقدير. ونفس فكرة «المتوسط المحلي» دي، لما تطبّقها على y بدل العدّ، هي الـ nonparametric regression.

الـ LOESS: الـ local regression

الـ LOESS (أو LOWESS، الـ locally weighted scatterplot smoothing) بيعمل fit للمنحنى نقطة نقطة. عشان يلاقي الـ fitted value عند مكان x، بيعمل local regression صغير بالـ weighted least squares باستخدام النقط القريبة بس، وبيدّي كل واحدة وزن على قد قربها:

local weighted fit

\min_{a,b}\; \sum_{i=1}^{n} w_i(x)\,\big(y_i - a - b\,x_i\big)^2

الأوزان w_i(x) بتقل كل ما تبعد عن x (kernel تاني)، فالنقط البعيدة بالعافية بتتحسب. حرّك x على المدى، واعمل fit تاني عند كل خطوة، والـ fitted values هترسم منحنى ناعم. والـ span — نسبة النقط اللي بتتحسب «قريبة» — بيلعب دور الـ bandwidth.

الـ splines: polynomials على حتت

الـ spline (المنحنى المتعدّد) بيمشي في طريق تاني لنفس الحرية: بيقسم محور x عند مجموعة knots (عُقد) ويعمل fit لـ polynomial درجته واطية (عادةً cubic) بين كل اتنين، ومخيّطين مع بعض بحيث الوصلات تبقى ناعمة — بيطابق القيمة والـ slope عند كل knot. وknots أكتر معناها مرونة أكتر. أما الـ smoothing spline فبيعمل الاختيار أوتوماتيك بإنه يحط knot عند كل نقطة ويزوّد عقوبة على الخشونة (قريبة من عقوبة الـ Ridge في الوحدة 7) بتبدّل الـ fit بالتموّج. والـ splines هي حصان الشغل ورا الحدود المرنة في الـ generalized additive models.

الـ Gaussian process regression

الـ Gaussian process regression (GP) هو العضو البايزي في العيلة دي — كوبري طبيعي لـ الوحدة الجاية. بدل ما يعمل fit لمنحنى واحد، الـ GP بيحط prior على الدوال وبيرجّع posterior distribution على كل المنحنيات اللي ماشية مع البيانات. والناتج بتاعه مش خط متظبّط وبس لكن شريط عدم يقين كامل بيوسع لما البيانات تقل وبيضيق لما تكتر — error bars أمينة لشكل عمرك ما اضطريت تحدده.

المفتاح الواحد: الـ bandwidth والـ bias-variance trade-off

كل طريقة هنا ليها زرار نعومة واحد — الـ bandwidth، أو الـ span، أو عدد الـ knots، أو الـ length scale بتاع الـ GP — وهو هو الـ bias-variance trade-off متجسّد. ناعم أكتر من اللازم (bandwidth واسع) والمنحنى مش هيلحق الـ fit، فيفوّت تركيبة حقيقية: bias عالي. وخشن أكتر من اللازم (bandwidth ضيق) هيجري ورا الـ noise: variance عالي. واختيار الزرار ده — عادةً بالـ cross-validation — هو فن الـ nonparametric regression كله. استخدم الطرق دي لما المرونة تفرق أكتر من معادلة نضيفة؛ واستخدم الـ parametric regression لما تكون عايز coefficients ينفع تتفسّر وعندك سبب تثق في الشكل.

أهم النقط

الـ nonparametric regression مش بيفترض شكل دالّي — البيانات بترسم منحناها تحت قيد نعومة.
الـ kernel density estimation (الوحدة 2، الدرس 1) هو الـ histogram الناعم؛ ونفس فكرة المتوسط المحلي، لما تطبّقها على y، بتدّي الـ nonparametric regression.
الـ LOESS بيعمل local weighted regression عند كل نقطة؛ والـ span بتاعه بيتحكم في النعومة.
الـ splines بتخيّط polynomials درجتها واطية عند الـ knots؛ والـ smoothing splines بتزوّد عقوبة خشونة شبه الـ Ridge.
الـ Gaussian process regression هو النسخة البايزية — posterior على الدوال بـ error bars أمينة معتمدة على البيانات.
كلهم بيشتركوا في زرار نعومة واحد، بيتظبط بالـ cross-validation — وهو الـ bias-variance trade-off متجسّد.