الإطار البايزي | STAT-101

طريقتين تقرا بيهم الـ probability

كل اللي في الكورس ده لحد دلوقتي كان frequentist (تكراري): الـ probability هي التردد على المدى الطويل لحدث، والـ parameter زي الـ mean بتاع الـ population ثابت ومش معروف، والـ confidence interval 95% كلام عن الطريقة مش عن مكان الـ parameter. إطار قوي، بس كمياته الأساسية — الـ p-values والـ confidence intervals — سهل تتقري غلط، بالظبط لأنها مش بتجاوب على السؤال اللي الناس بتسأله بطبيعتها: بالنظر لبياناتي، احتمال إن فرضيتي صح قد إيه؟

الـ Bayesian statistics (الإحصاء البايزي) بيجاوب على السؤال ده بالظبط، بإنه يعامل الـ probability كـ درجة اعتقاد الدليل بيحدّثها. الـ parameter مش رقم ثابت لكنه كمية إحنا مش متأكدين منها، وبيوصفها probability distribution. والبيانات مش بتكشف الـ parameter لكنها بتحدّث الـ distribution بتاعنا عليه. والنقلة دي لوحدها — من «الـ parameter ثابت والبيانات عشوائية» لـ «البيانات ثابتة واعتقادنا هو اللي بيتغيّر» — هي الفكرة البايزية كلها.

المكوّنات التلاتة

أي تحليل بايزي مبني من 3 distributions، وإنك تسمّيهم ده أغلب المعركة:

الـ prior (القبْلي) P(θ) — اللي بنعتقده عن الـ parameter θ قبل ما نشوف البيانات. ممكن يشيل معرفة حقيقية أو يبقى غامض بقصد.
الـ likelihood (الأرجحيّة) P(D∣θ) — البيانات اللي شفناها D محتملة قد إيه لكل قيمة ممكنة لـ θ. وهي نفس الـ likelihood اللي بتشغّل الـ maximum likelihood estimation.
الـ posterior (البعْدي) P(θ∣D) — اللي بنعتقده عن θ بعد ما ندمج الـ prior بالبيانات. وهو ناتج التحليل، ومنه بييجي كل اللي بنقوله.

قاعدة Bayes للـ distributions

نظرية Bayes هي اللي بتربط المكوّنات التلاتة، مطبّقة مش على أحداث لوحدها لكن على distributions كاملة على θ:

قاعدة Bayes

P(\theta \mid D) = \dfrac{P(D \mid \theta)\,P(\theta)}{P(D)}

الـ posterior هو الـ likelihood مضروب في الـ prior، مقسوم على P(D) — الـ marginal likelihood (الأرجحيّة الحدّية)، ثابت normalization بيخلّي الـ posterior يتكامل لواحد.

ولأن P(D) مش معتمدة على θ، فهي بتغيّر المقياس وبس. ولأغلب الشغل الصيغة التناسبية كفاية، وبتتقري كجملة: الـ posterior هو الـ prior بعد ما تدّيه وزن من جديد على قد كل قيمة لـ θ بتفسّر البيانات قد إيه.

الـ posterior ∝ الـ likelihood × الـ prior

P(\theta \mid D) \;\propto\; P(D \mid \theta)\,P(\theta)

ماكينة الـ Bayesian updating. البيانات القوية بتغلب الـ prior الضعيف؛ والـ prior القوي بيقاوم البيانات الضعيفة؛ ومع بيانات كفاية الـ prior بيختفي خالص.

مثال محلول: الـ Beta-Binomial

افترض إننا عايزين الاحتمال θ إن عملة (أو ضغطة، أو علاج) تنجح. والـ prior الطبيعي لاحتمال هو الـ Beta distribution (توزيع بيتا)، اللي عايش على (0، 1) وبيتشكّل برقمين للعدّ، α وβ:

الـ Beta prior

\theta \sim \text{Beta}(\alpha, \beta), \qquad p(\theta) \propto \theta^{\alpha-1}(1-\theta)^{\beta-1}

اقرا α−1 على إنهم «نجاحات قبْلية» وβ−1 على إنهم «فشل قبْلي». فـ Beta(1، 1) مفرود — جهل تام؛ وBeta(50، 50) اعتقاد واثق إن θ قريبة من النص.

ودلوقتي شوف s نجاح وf فشل. اضرب الـ binomial likelihood في الـ Beta prior، والناتج Beta distribution تاني، بإنك بس تجمع العدّين:

الـ conjugate update

\text{Beta}(\alpha, \beta) \;\xrightarrow{\;s\text{ u0646u062cu0627u062d},\; f\text{ u0641u0634u0644}\;}\; \text{Beta}(\alpha+s, \beta+f)

التحديث مجرد حساب: زوّد النجاحات اللي شفتها على α والفشل على β. كل نقطة بيانات بتزق الـ posterior؛ وبيانات أكتر بتخلّيه أضيق وأوثق.

الـ conjugate priors

زوج الـ Beta-Binomial ليه خاصية مميزة: الـ posterior من نفس عيلة الـ prior. والـ prior اللي ليه الخاصية دي اسمه conjugate prior (قبْلي مترافق)، والأزواج الـ conjugate (Beta-Binomial، وGamma-Poisson، وNormal-Normal) بتحوّل الـ Bayesian updating لجبر بصيغة مقفولة بدل integration صعب. وهي السبب إن الإطار كان ينفع يستخدم أصلًا قبل الكمبيوتر — ولسه أوضح طريقة تشوف بيها الماكينة، مع إن المسائل الحقيقية عادةً محتاجة الطرق الحسابية اللي كان الدرس التالت المؤجّل في الوحدة دي هيغطّيها.

ومنين الـ prior بييجي ده أكتر حاجة عليها خلاف في الإطار: ناقد بيسمّيه ذاتية، وممارس بيسمّيه إدخال أمين للي كان معروف. وفي كل الأحوال، الدرس الجاي بيوريك تقرا الـ posterior إزاي لما يبقى في إيدك — وإزاي الـ credible interval البايزية أخيرًا بتعني اللي الناس كانت دايمًا عايزاه من الـ confidence interval.

أهم النقط

frequentist قصاد Bayesian: الـ frequentist بيعامل الـ parameter كثابت والبيانات عشوائية؛ والـ Bayesian بيعامل البيانات كثابتة وبيحدّث probability distribution على الـ parameter.
كل تحليل ليه 3 أجزاء: الـ prior P(θ) (اعتقاد قبل البيانات)، والـ likelihood P(D∣θ)، والـ posterior P(θ∣D) (اعتقاد بعد البيانات).
قاعدة Bayes بتربطهم: الـ posterior ∝ الـ likelihood × الـ prior. والـ marginal likelihood P(D) مجرد ثابت normalization.
البيانات القوية بتغلب الـ prior الضعيف؛ ومع بيانات كفاية الـ prior بيختفي. والتحديث بيدّي الاعتقاد وزن جديد على قد كل θ بتفسّر البيانات قد إيه.
الـ conjugate prior بيخلّي الـ posterior في عيلة الـ prior — زي الـ Beta-Binomial، اللي التحديث فيه بيزوّد النجاحات على α والفشل على β.
اختيار الـ prior هو الملمح المميز للإطار: وسيلة تدخّل بيها اللي كان معروف، والنقطة اللي النقّاد بيدقّقوا فيها أكتر من أي حاجة.