الـ central limit theorem | STAT-101

أهم نظرية في الإحصاء

لو هتعرف نظرية واحدة بس في علم الإحصاء كله، يبقى هي الـ central limit theorem (نظرية النهاية المركزية) أو الـ CLT. النظرية دي بتشرح ليه الـ normal distribution (التوزيع الطبيعي) بيظهر في كل حتة في الطبيعة والبيانات، وليه الطرق الإحصائية القياسية بتشتغل حتى لما البيانات نفسها مش normal، وليه منحنى الجرس مش مجرد حالة خاصة لكنه attractor (عامل جذب) كوني للمتوسطات.

الـ CLT بتجاوب على سؤال شكله بسيط: لو سحبت sample من أي population وحسبت الـ sample mean، يبقى التوزيع بتاع المتوسط ده شكله إيه؟ والإجابة — مهما كان شكل الـ population الأصلي — إن كل ما الـ sample size يكبر، توزيع متوسطات الـ samples بيقرب من الـ normal. وده شيء مذهل، وتأثيره داخل في كل فروع الإحصاء.

في الدرس ده هنكتب النظرية بدقة، ونبني إحساس بصري بيها بأمثلة على distributions مختلفة جدًا، ونتكلم عن قاعدة «الحجم الكفاية»، ونعرّف الـ standard error، ونمدّ النظرية للنسب.

الإعداد: متوسطات الـ samples كـ random variables

افترض إن عندنا population الـ mean بتاعه μ والـ variance بتاعه محدود σ². بنسحب random sample من n مشاهدة X₁, X₂, …, X_n، كل واحدة مستقلة ومن نفس الـ population. والـ sample mean (متوسط العينة) هو:

الـ sample mean

\bar{X} = \dfrac{1}{n}\sum_{i=1}^{n} X_i

X̄ نفسه random variable. كل sample جديدة حجمها n بتدّي قيمة مختلفة (عمومًا) لـ X̄.

لأن X₁, …, X_n عشوائية، يبقى X̄ عشوائي هو كمان. والـ sampling distribution (توزيع أخذ العينات) بتاع X̄ هو الـ probability distribution لكل القيم الممكنة لـ X̄ لو كررنا السحب. وفيه نتيجتين طالعين على طول من خطية الـ expectation:

الـ mean بتاع X̄

E[\bar{X}] = \mu

الـ sample mean unbiased للـ mean بتاع الـ population

الـ variance بتاع X̄

\text{Var}(\bar{X}) = \dfrac{\sigma^2}{n}

الـ variance بيقل بمعامل n

النتيجتين دول بينطبقوا على أي population ليه mean وvariance محدودين، ولأي n. والـ CLT بتضيف الحقيقة التالتة الجوهرية: شكل توزيع X̄ بيقرب من الـ normal كل ما n يكبر.

الصياغة الرسمية

خلّي X₁, X₂, … random variables مستقلة وليها نفس الـ distribution (i.i.d.) بـ mean μ وvariance σ² < ∞. بنعرّف الـ standardized sample mean:

الـ central limit theorem

Z_n = \dfrac{\bar{X}_n - \mu}{\sigma / \sqrt{n}} \xrightarrow{d} N(0,\,1)

لما n يقرب من ما لا نهاية، الـ standardized mean Z_n بيتقارب في التوزيع لـ N(0, 1). وده صحيح مهما كان توزيع الـ X_i، بشرط إن σ² يبقى محدود.

وبنفس المعنى: لـ n كبير، X̄ توزيعه تقريبًا N(μ, σ²/n):

التوزيع التقريبي لـ X̄

\bar{X} \doteq N\!\left(\mu,\, \frac{\sigma^2}{n}\right)

علامة «≐» معناها «توزيعه تقريبًا» للـ n الكبيرة. والتقريب بيتحسّن كل ما n يزيد.

الفكرة الجوهرية

الـ CLT مش بتفترض أي حاجة عن شكل توزيع الـ population. الـ population ممكن يبقى uniform أو exponential أو skewed أو bimodal أو أي شكل تاني. طول ما الـ variance محدود، متوسطات الـ samples الكبيرة هتبقى normal تقريبًا.

وده السبب إن الطرق المبنية على الـ normal distribution بتشتغل على نطاق واسع في التطبيق: هي بتتطبّق على متوسطات الـ samples مش على البيانات الخام، ومتوسطات الـ samples تقريبًا normal حتى لما البيانات نفسها مش كده.

التقارب بالعين

عشان تبني الإحساس، تخيّل إنك بتعمل التجربة دي على أشكال مختلفة من الـ populations. اختار population (مثلًا، uniform على [0,1])، اسحب random samples كتير حجمها n، احسب الـ mean بتاع كل sample، وارسم الـ histogram بتاع المتوسطات دي.

population uniform: Uniform([0,1]) الـ mean بتاعه 0.5 والـ variance بتاعه 1/12. حتى عند n = 2 توزيع X̄ بيبقى مثلث. عند n = 5 بيبان شبه منحنى الجرس تمامًا. وعند n = 30 مستحيل تفرّقه بعينك عن المنحنى الـ normal.

population exponential: Exponential(1) الـ mean بتاعه 1 وهو skewed جامد لليمين. الـ skew في X̄ بيقل كل ما n يكبر. عند n = 10 شكل الجرس بيبان خلاص؛ وعند n = 30 التقريب بيبقى كويس جدًا.

population Bernoulli: قلب عملة بـ P(X = 1) = 0.3 ده discrete ومش متماثل. الـ CLT بتتنبأ إن X̄ ≈ N(0.3, 0.21/n)، والـ histograms بتأكد ده لـ n ≥ 30.

إيه اللي ثابت وإيه اللي بيتغيّر

المركز: E[X̄] = μ، دايمًا. الـ sample mean مركزه دايمًا عند الـ mean بتاع الـ population.

الانتشار: SD(X̄) = σ/√n، بيقل مع الـ sample size. لو ضاعفت n الانتشار بيقل بمعامل √2 ≈ 1.41.

الشكل: بيقرب من الـ normal كل ما n يكبر. وده مضمون الـ CLT.

الـ sample تبقى «كفاية» إمتى؟

الـ CLT نتيجة asymptotic (مقاربية): بتوصف الـ limit لما n → ∞. في الواقع محتاجين نعرف n قد إيه تكفي عشان تقريب الـ normal يبقى موثوق.

القاعدة المعروفة هي n ≥ 30. لأغلب الـ populations اللي الـ skew بتاعها متوسط، n = 30 بيدّي sampling distribution لـ X̄ الـ normal بيقرّبه كويس. بس دي مجرد قاعدة إرشادية:

قاعدة n ≥ 30

populations متماثلة (زي الـ uniform): حتى n = 2 أو 5 كفاية.

skew متوسط (زي الـ exponential): n ≈ 30 معقول.

skew جامد أو heavy tails: ممكن تحتاج n = 100 أو أكتر.

نسب Bernoulli بـ p متطرف: القاعدة np ≥ 10 وn(1-p) ≥ 10 أوثق.

الـ standard error: انتشار متوسطات الـ samples

الـ standard deviation بتاع الـ sampling distribution لـ X̄ ليه اسم خاص: الـ standard error (الخطأ المعياري) أو SE. بيقيس متوسطات الـ samples بتختلف قد إيه من sample للتانية.

كحك فردي بأحجام مختلفة على ترابيزة، وجنبه صف علب مفتوحة، في كل علبة خليط كحك. — الكحك الفردي بيختلف كتير: ده الـ standard deviation. وكل علبة فيها خليط شبه بعض، فمتوسطات العلب بتختلف أقل بكتير: ده الـ standard error.

الـ standard error

\text{SE}(\bar{X}) = \dfrac{\sigma}{\sqrt{n}}

σ هو الـ standard deviation بتاع الـ population، وn هو الـ sample size. الـ SE بيقل كل ما n يكبر — الـ samples الأكبر بتدّي تقديرات أدق لـ μ.

الـ standard error من أنفع الكميات في الإحصاء التطبيقي. بيقولك تثق قد إيه في الـ sample mean كتقدير للـ mean بتاع الـ population. SE صغير معناه دقة عالية؛ وSE كبير معناه إنك محتاج بيانات أكتر.

قانون الجذر التربيعي

عشان تقلّل الـ standard error للنص، لازم تكبّر الـ sample size أربع مرات (لأن SE ∝ 1/√n). وده قانون العائد اللي بيقل: النقلة من n = 10 لـ n = 40 بتقلّل الـ SE للنص، بس محتاج تنقل من n = 100 لـ n = 400 عشان تقلّله للنص تاني. الدقة غالية.

الـ CLT للنسب

فيه حالة خاصة مهمة جدًا ليها علاقة بـ sample proportions (نسب العينات). افترض إن عندنا population ثنائي كل فرد فيه عنده الصفة اللي بندوّر عليها باحتمال p. في random sample من n فرد، خلّي p̂ = (عدد اللي عندهم الصفة) / n هي الـ sample proportion.

وبما إن p̂ مجرد sample mean لمتغيرات Bernoulli(p) (اللي الـ mean بتاعها p والـ variance p(1-p))، يبقى الـ CLT بتنطبق على طول:

الـ CLT للنسب

\dfrac{\hat{p} - p}{\sqrt{p(1-p)/n}} \xrightarrow{d} N(0,\,1)

لـ n كبير (القاعدة: np ≥ 10 وn(1−p) ≥ 10)، الـ sample proportion بعد الـ standardization بتبقى تقريبًا standard normal.

الـ mean بتاع p̂

E[\hat{p}] = p

الـ sample proportion unbiased لـ p

الـ SE بتاع p̂

\text{SE}(\hat{p}) = \sqrt{\dfrac{p(1-p)}{n}}

الـ standard error بتاع الـ sample proportion

النتيجة دي هي أساس مدى واسع من التطبيقات: استطلاعات الرأي، ومراقبة الجودة، والتجارب السريرية، واختبارات A/B. في كل الحالات دي، الـ CLT للنسب بتبرّر استخدام الـ normal distribution عشان تحسب الـ confidence intervals والـ p-values.

ليه الـ CLT أساس الاستدلال

الـ CLT مش مجرد فضول رياضي. دي المحرك اللي ورا أغلب الاستدلال الإحصائي الكلاسيكي. وده السبب:

الـ confidence intervals: confidence interval 95% للـ mean شكلها X̄ ± 1.96 × SE. القيمة 1.96 جاية من الـ standard normal، وصحة المعادلة دي معتمدة على الـ CLT.

اختبارات الفرضيات للمتوسطات: اختبار Z واختبار t بيحسبوا إحصاءة Z = (X̄ − μ₀) / SE ويقارنوها بالـ normal distribution أو الـ t. والـ CLT بتبرّر استخدام الـ distributions دي حتى لما البيانات الخام مش normal.

الـ regression coefficients: الـ least squares estimators هي linear combinations من المشاهدات، وده بيخلّيها متوسطات samples. وبالـ CLT، توزيعها تقريبًا normal في الـ samples الكبيرة، وده بيبرّر اختبارات t وF في الـ regression.

ليه الـ normal distribution «طبيعي»: أي قياس طالع من تجميع مصادر صغيرة ومستقلة كتير من التغيّر هيبقى normal تقريبًا — مش بسبب قانون فيزيائي عميق، لكن بسبب الـ CLT. الأطوال مجموع تأثيرات وراثية وبيئية. وأخطاء القياس مجموع اضطرابات عشوائية صغيرة كتير. والـ noise الإلكتروني مجموع أحداث دقيقة مش مرتبطة ببعض. والـ CLT بتقولنا إن كل دول هيبانوا normal.

أهم النقط

الـ CLT: لـ samples مستقلة ليها نفس الـ distribution وvariance محدود، الـ standardized mean Z_n = (X̄ − μ)/(σ/√n) بيتقارب في التوزيع لـ N(0,1) لما n → ∞، مهما كان شكل الـ population.
الـ sampling distribution بتاع X̄: الـ mean = μ (unbiased)، والـ variance = σ²/n (بيقل مع n)، والشكل → normal (CLT).
الـ standard error: SE = σ/√n هو الـ standard deviation بتاع الـ sampling distribution لـ X̄. الدقة بتتحسّن مع الجذر التربيعي لـ n — ولو عايز تضاعف الدقة لازم تربّع الـ sample size.
القاعدة الإرشادية: n ≥ 30 كفاية لأغلب الـ populations اللي الـ skew بتاعها متوسط. ومحتاج أكتر للـ populations اللي skewed جامد أو ليها heavy tails.
الـ CLT للنسب: (p̂ − p)/√(p(1−p)/n) → N(0,1) لـ n كبير، بشرط np ≥ 10 وn(1−p) ≥ 10.
أساس الاستدلال: الـ confidence intervals واختبارات Z وt والـ regression كلهم معتمدين على الـ CLT عشان تبرّر استخدام القيم الحرجة المبنية على الـ normal حتى لما البيانات الخام مش normal.
ليه الـ normal distribution في كل حتة: أي كمية طالعة من تأثيرات تراكمية مستقلة كتير بتبقى normal تقريبًا — بسبب الـ CLT، مش افتراض.