الـ Bayesian estimation | STAT-101

الـ posterior هو الإجابة كلها

الدرس اللي فات طلّع posterior distribution (توزيع بعْدي) P(θ∣D) — probability distribution كامل على الـ parameter بالنظر للبيانات. والـ distribution ده هو الإجابة البايزية: فيه كل اللي نعرفه عن θ، ومعاه عدم اليقين بتاعنا. والتقدير في العالم البايزي مش إنك تلاقي قيمة «حقيقية» واحدة لكن إنك تلخّص الـ posterior ده لبني آدم لازم ياخد قرار.

point estimates من الـ posterior

لما تحتاج رقم واحد، الـ posterior بيدّيك 3 طبيعيين. الـ posterior mean (المتوسط البعْدي) هو الـ expected value لـ θ تحت الـ posterior — أشهر Bayesian point estimate لأنه بيصغّر الـ expected squared error:

الـ posterior mean

\hat{\theta}_{\text{Bayes}} = \mathbb{E}[\theta \mid D] = \int \theta\, p(\theta \mid D)\, d\theta

مركز كتلة الـ posterior. والـ posterior median (متين، بيصغّر الـ absolute error) بديل لما الـ posterior يبقى skewed.

والـ posterior mode — أكتر قيمة محتملة — اسمه تقدير الـ maximum a posteriori (MAP). ومع prior مفرود بيطابق تمامًا الـ maximum likelihood estimate الـ frequentist، وده أنضف كوبري بين العالمين:

تقدير الـ MAP

\hat{\theta}_{\text{MAP}} = \arg\max_{\theta}\, p(\theta \mid D)

قمة الـ posterior. تحت prior uniform، الـ MAP = الـ maximum likelihood estimate — وعقوبات الـ regularized regression هي بالظبط تقديرات MAP تحت prior Gaussian (Ridge) أو Laplace (Lasso).

الـ credible interval

لتقدير بفترة، البايزي بيقول credible interval (فترة موثوقة): مدى فيه نسبة محددة — عادةً 95% — من الـ posterior probability.

credible interval 95%

P(\theta_L \le \theta \le \theta_U \mid D) = 0.95

فيه posterior probability 95% إن θ تقع بين θ_L وθ_U. ونسخة الـ highest density بتقول أقصر فترة زي دي.

الـ credible قصاد الـ confidence — الفترة اللي الناس كانت عايزاها

ودي الثمرة. في الوحدة 5 كنا حريصين — ومصرّين — إن الـ confidence interval 95% مش معناها «فيه احتمال 95% إن الـ parameter جوه الفترة دي». في العالم الـ frequentist الـ parameter ثابت، فهو يا جوه فترة معيّنة يا لأ؛ والـ 95% بتوصف سلوك الطريقة على المدى الطويل مش الفترة دي. والتحذير ده بيحبط كل طالب، لأن القراية الممنوعة هي بالظبط اللي الكل عايزه.

والـ credible interval البايزية معناها الحاجة الممنوعة دي بالظبط. لأن θ ليها probability distribution، الجملة «فيه احتمال 95% إن θ بين θ_L وθ_U» مش مسموحة وبس — دي التعريف نفسه. الفترة اللي الوحدة 5 حذّرتك تقراها غلط هي اللي الإطار ده بيسلّمهالك بأمانة. والفرق ده لوحده — جملة احتمالية عن الـ parameter مش عن الطريقة — هو السبب العملي إن مجالات كتير بتتحوّل للتقارير البايزية.

اختيار prior

الـ prior الـ non-informative (غير المُخبِر) (المفرود) بيعبّر عن جهل مقصود وبيسيب البيانات تسيطر؛ ومعاه الـ point estimates البايزية والـ frequentist غالبًا بتتطابق. والـ prior الـ informative (المُخبِر) بيدخّل معرفة مسبقة حقيقية — قيد فيزيائي، أو دراسة قديمة — وبيشد الـ posterior ناحيتها، وده مفيد لما البيانات تبقى قليلة وخطير لما الـ prior يبقى غلط. ولأن prior قوي ممكن يرجّح استنتاج، الممارسة البايزية الأمينة فيها sensitivity analysis (تحليل الحساسية): اعمل التحليل تاني تحت كذا prior معقول وقول الاستنتاج بيتحرك قد إيه. لو بالعافية اتحرك يبقى البيانات هي اللي بتتكلم؛ ولو اتمرجح يبقى الـ prior هو اللي بيتكلم، والقارئ بتاعك من حقه يعرف.

الـ Bayesian linear regression

ده كله بيتركّب مع الـ regression بتاع الوحدة 7. في الـ Bayesian linear regression الـ coefficients β بتاخد priors والناتج posterior distribution على كل coefficient — فبدل point estimate وconfidence interval بتاخد credible interval كاملة لكل coefficient، والتنبؤات بتيجي بـ error bars أمينة. والـ Gaussian prior على β بيرجّع الـ Ridge regression كتقدير MAP، والـ Laplace prior بيرجّع الـ Lasso: فالـ regularization بتاع الوحدة 7 والـ priors بتوع الوحدة 9 وشّين لفكرة واحدة.

أهم النقط

الـ posterior distribution هو الإجابة البايزية كلها؛ والتقدير هو إنك تلخّصه عشان قرار.
الـ point estimates: الـ posterior mean (بيصغّر الـ squared error)، والـ median (متين)، والـ MAP (الـ mode). وتحت prior مفرود الـ MAP بيساوي الـ maximum likelihood estimate.
الـ credible interval فيها نسبة محددة من الـ posterior probability — مثلًا احتمال 95% إن θ جواها.
الـ credible ≠ الـ confidence: الـ credible interval معناها بالظبط اللي الوحدة 5 منعتك تقراه في الـ confidence interval — جملة احتمالية عن الـ parameter مش عن الطريقة.
الـ priors بتتراوح من مفرود (سيب البيانات تتكلم) لـ informative (دخّل المعرفة)؛ والـ sensitivity analysis بيقول الـ prior بيسوق الاستنتاج قد إيه.
الـ Bayesian linear regression بيدّي posterior لكل coefficient؛ والـ Gaussian والـ Laplace priors بيرجّعوا الـ Ridge والـ Lasso كتقديرات MAP.

الجاي: الـ computational Bayesian methods

الوحدة بتخلص بالدرس 9.3 — الـ computational Bayesian methods (MCMC): الـ Metropolis-Hastings، والـ Gibbs sampling، والتشخيصات. والطرق دي صعب تتابعها في كلام ثابت، فالدرس معاه sampler تفاعلي بتشوف فيه chain بتتقارب وبتتخلط وإنت بتغيّر عرض الـ proposal. وزرار «الجاي» بيوديك له.