الـ computational Bayesian methods
الـ posterior سهل تكتبه، بس عمومًا مستحيل تعمله normalization. والـ Markov chain Monte Carlo (MCMC) بتعدّي الـ integral خالص — هي بتاخد samples من الـ posterior بدل ما تحسبه.
المقام الصعب
برّه الأزواج الـ conjugate الـ integral ده على θ مالوش صيغة مقفولة، وفي أبعاد كتير مفيش numerical quadrature يوصله. نقدر نحسب البسط لأي θ — أما الثابت اللي بيعمله normalization فلأ.
chain بتستقر على الـ posterior
- ابني Markov chain — كل خطوة معتمدة على الحالة الحالية بس
- اختار النقلات بتاعتها بحيث الـ stationary distribution بتاعها يبقى هو الـ posterior نفسه
- شغّلها وقت كفاية والحالات اللي بتزورها هي samples من p(θ∣D)
- وأي كمية posterior — mean، أو credible interval، أو احتمال ديل — بتبقى ساعتها متوسط على الـ samples دي
والأهم إنك محتاج بس نسب الـ posterior، فثابت الـ normalization الناقص بيتشال ومش لازم يتحسب أبدًا.
Metropolis–Hastings
اقترح نقلة x→x′، وبعدين اقبلها باحتمال α — غير كده افضل مكانك. ومع proposal symmetric نسبة q بتتشال فيبقى α = min(1, p(x′)/p(x)). والـ detailed balance هو اللي بيخلّي الـ posterior هو الـ stationary.
عرض الـ proposal: القبول قصاد الـ mixing
- صغير أوي — تقريبًا كل نقلة بتتقبل، بس الـ chain بتلف حوالين نفسها: autocorrelation عالي، وeffective sample size صغير
- كبير أوي — تقريبًا كل نقلة بتترفض، فالـ chain بتعلق وتقف
- نطاق صحي بينهم — نقلات بحجم مفيد بتتقبل كفاية إنها تستكشف
- في الأبعاد العالية، acceptance rate حوالي 0.234 قاعدة تقريبية معروفة (Roberts, Gelman & Gilks, 1997)
الـ Gibbs sampling
لما الـ full conditional distribution لكل parameter يبقى معروف بصيغة مقفولة، اسحب كل إحداثي بالدور من الـ conditional بتاعه مع تثبيت الباقي. كل sample بتتقبل — من غير خطوة رفض. وللـ bivariate normal المرتبط اللي فوق الـ conditionals بتبقى Gaussian بالظبط. والـ Gibbs بيعمل mixing كويس لما ينفع يتستخدم، بس الـ conditionals مش دايمًا ينفع تتشتق.
الـ trace plots والتقارب
- الـ trace plot — الـ chain الصحية شريط أفقي منكوش؛ واللي عالقة بيبان فيها حتت مفرودة طويلة أو انزلاق بطيء
- الـ burn-in — ارمي الـ samples الأولانية اللي اتاخدت قبل ما الـ chain توصل لمنطقتها المستقرة
- الـ autocorrelation وESS — الـ samples المرتبطة شايلة معلومة أقل؛ والـ effective sample size هو بتعادل كام sample مستقلة
- R-hat — شغّل كذا chain من بدايات مختلفة؛ ولما تتداخل (R̂ ≈ 1) يبقى اتقاربت
شوف chain بتعمل mixing
حرّك عرض الـ proposal وشوف trade-off القبول والـ mixing — الخطوات الصغيرة بتزحف، والكبيرة بتعلق، واللي في النص بيستكشف.
اتعلّمت إيه
- integral الـ normalization بتاع الـ posterior عادةً مستحيل — فالـ MCMC بتاخد samples من الـ posterior بدل ما تحسبه
- الـ Metropolis–Hastings بيقترح وبعدين يقبل بـ α = min(1, …)؛ والـ detailed balance بيخلّي الـ posterior هو الـ stationary
- عرض الـ proposal بيبدّل القبول بالـ mixing؛ و~0.234 هي القاعدة التقريبية في الأبعاد العالية
- الـ Gibbs بيسحب كل إحداثي من الـ full conditional بتاعه ويقبل كل sample
- شخّص بالـ trace plots، والـ burn-in، والـ autocorrelation/ESS، وR-hat بين الـ chains