الـ confidence intervals | STAT-101

من الـ point estimate للفترة

الـ point estimate بيدّينا أحسن تخمين واحد للـ parameter المجهول — بس مش بيدّينا أي إحساس بالتخمين ده موثوق قد إيه. جاي من 10 مشاهدات ولا 10,000؟ الـ distribution اللي ورا البيانات قريب من الـ normal ولا skewed جامد؟ الـ point estimate لوحده مش هيقدر يجاوب على الأسئلة دي.

الـ confidence interval (فترة الثقة) أو CI بتمدّ الـ point estimate لمدى من القيم المعقولة، وبتعبّر عن عدم اليقين بتاعنا حوالين الـ parameter. بدل ما نقول “μ ≈ 4.7”، بنقول “إحنا واثقين 95% إن μ بين 4.1 و5.3.” وعرض الفترة شايل معلومات عن الـ sample size والـ variance ومستوى الثقة اللي اخترناه.

الدرس ده بيبني confidence intervals لأهم 3 حالات: الـ mean بتاع الـ population لما الـ variance بتاع الـ population معروف (فترة z)، والـ mean لما الـ variance مش معروف (فترة t)، ونسبة في الـ population. وهنتكلم كمان عن أشهر فهم غلط في الإحصاء — «الثقة» معناها إيه فعلًا — وهنوريك إزاي تختار الـ sample size عشان توصل لعرض فترة إنت عايزه.

الـ confidence interval مش إيه

قبل ما نعرّف الـ confidence interval، خلّينا نشيل التفسير الغلط الأكتر انتشارًا في الإحصاء. طلبة كتير، وعلماء كتير كمان، فاكرين إن الـ confidence interval بـ 95% معناها: «احتمال إن الـ parameter الحقيقي θ يقع جوه الفترة دي 95%.»

ده غلط. الـ parameter الحقيقي θ رقم ثابت (حتى لو مش معروف) — مالوش probability distribution. أول ما نحسب فترة من البيانات، الفترة دي بالذات يا إما فيها θ يا إما لأ. مفيش احتمال.

التفسير الصح

الـ confidence interval بـ 95% هي طريقة، مش كلام عن فترة واحدة بعينها. لو كررنا التجربة بتاعتنا مرات كتير وحسبنا confidence interval 95% كل مرة، حوالي 95% من الفترات دي هيبقى فيها الـ parameter الحقيقي.

وعن أي فترة اتحسبت بعينها، بنقول إننا «واثقين بنسبة 95%» — يعني الفترة طلعت من طريقة بتنجح 95% من الوقت — مش إن فيه احتمال 95% إن الـ parameter جواها.

الـ confidence interval للـ mean — σ معروفة (فترة z)

أبسط confidence interval بتفترض إننا عارفين الـ standard deviation بتاع الـ population σ (نادر في الواقع، بس نقطة بداية مفيدة). وبالـ central limit theorem، الـ sample mean X̄ توزيعه تقريبًا normal للـ samples الكبيرة.

الإحصاءة الـ standardized Z = (X̄ − μ) / (σ/√n) ماشية على الـ standard normal. ولو قلبنا الـ pivot ده بيطلعلنا الـ confidence interval:

فترة ثقة z للـ mean μ

\bar{x} \pm z_{\alpha/2}\,\dfrac{\sigma}{\sqrt{n}}

x̄ هو الـ sample mean، وσ هو الـ standard deviation المعروف بتاع الـ population، وn هو الـ sample size، وz_{α/2} هي الـ critical value من الـ standard normal. لفترة 95%: z_{0.025} = 1.96.

الحد z_α/2 ⋅ σ/√n اسمه الـ margin of error (هامش الخطأ) (E). بيقيس الـ sample mean بتاعنا ممكن يبعد قد إيه عن الـ mean الحقيقي. الـ samples الأكبر بتدّي فترات أضيق؛ ومستويات الثقة الأعلى محتاجة z_α/2 أكبر وبالتالي فترات أوسع.

الـ critical values المشهورة

فترة 90%: α = 0.10، z_α/2 = z_0.05 = 1.645

فترة 95%: α = 0.05، z_α/2 = z_0.025 = 1.960

فترة 99%: α = 0.01، z_α/2 = z_0.005 = 2.576

الـ t distribution والـ degrees of freedom

في الواقع، نادرًا لما بنعرف σ. لما نحط مكانها الـ sample standard deviation S، الإحصاءة الـ standardized مبقتش ماشية على الـ standard normal — بقت ماشية على الـ t distribution (توزيع t) بـ n − 1 degrees of freedom (درجات الحرية):

إحصاءة t

t = \dfrac{\bar{X} - \mu}{S/\sqrt{n}} \sim t_{n-1}

لما σ تتبدّل بالـ sample standard deviation S، الـ pivot بيمشي على t distribution بـ ν = n − 1 degrees of freedom، مش على الـ standard normal.

الـ t distribution شبه الـ standard normal بس ديوله أتقل، وده بيعكس عدم اليقين الزيادة اللي جاي من تقدير σ. ولما n → ∞، الـ t distribution بيقرب من الـ standard normal. والـ parameter بتاع «الـ degrees of freedom» ν = n − 1 بيعدّ عدد حتت المعلومات المستقلة اللي اتستخدمت في تقدير σ (بنخسر واحدة لأن الـ mean بيتقدّر الأول).

الـ t distribution اشتقّه ويليام جوسيت سنة 1908، ونشره باسم مستعار «Student» لأن الشركة اللي كان شغّال فيها (مصنع بيرة جينيس) كانت بتشترط السرية. ومن هنا جه اسم Student's t distribution. وإسهامه كان إنه أدرك إن الاستدلال على samples صغيرة محتاج distribution مختلف جوهريًا عن الـ normal.

الـ confidence interval للـ mean — σ مش معروفة (فترة t)

لما نحط S مكان σ والـ critical values من الـ t distribution مكان قيم z، الـ confidence interval للـ mean μ لما σ مش معروفة بتبقى:

فترة ثقة t للـ mean μ

\bar{x} \pm t_{\alpha/2,\,n-1}\,\dfrac{s}{\sqrt{n}}

s هو الـ sample standard deviation، وt_{α/2, n−1} هي الـ critical value من الـ t distribution بـ n−1 degrees of freedom. صالحة لما الـ population يبقى normal تقريبًا أو لما n يبقى كبير كفاية بالـ central limit theorem.

دي فترة t، وهي الأكتر استخدامًا في الواقع. ولأن t_{α/2, n−1} > z_α/2 لأي n محدود، ففترة t دايمًا أوسع من فترة z — وده بيعكس عدم اليقين الزيادة من إننا مش عارفين σ.

مثال: افترض n = 16 مشاهدة من population normal طلّعوا x̄ = 12.3 وs = 2.4. لفترة ثقة 95%، محتاجين t_{0.025, 15} = 2.131. الفترة: 12.3 ± 2.131 ⋅ 2.4/√16 = 12.3 ± 1.279 = (11.02, 13.58).

فترة t بتبقى صالحة إمتى؟

الـ population normal: فترة t مظبوطة لأي sample size n.

sample كبيرة (n ≥ 30): الـ central limit theorem بتخلّيها صالحة تقريبًا حتى للـ populations اللي مش normal. وللـ populations اللي فيها skew متوسط، يُفضّل n ≥ 50.

الـ outliers: فترة t حساسة للـ outliers لما n يبقى صغير. اتأكد بـ box plot أو normal probability plot الأول.

الـ confidence interval للنسبة

لما الـ parameter اللي يهمّك يبقى نسبة في الـ population p (مثلًا نسبة الناخبين اللي بيأيدوا مرشح، أو معدل العيوب في التصنيع)، الـ estimator الطبيعي هو الـ sample proportion p̂ = X/n، وX هنا عدد «النجاحات» في n محاولة.

وبالـ central limit theorem، p̂ تقريبًا normal للـ samples الكبيرة، والـ mean بتاعها p والـ standard error √(p(1−p)/n). ولو حطينا p̂ مكان p في الـ standard error بيطلعلنا الـ Wald confidence interval (فترة ثقة والد) للنسب:

الـ confidence interval لنسبة

\hat{p} \pm z_{\alpha/2}\sqrt{\dfrac{\hat{p}(1-\hat{p})}{n}}

p̂ = X/n هي الـ sample proportion، وn هو الـ sample size، وz_{α/2} هي الـ critical value من الـ standard normal. صالحة لما np̂ ≥ 10 وn(1−p̂) ≥ 10.

مثال: في استطلاع لـ n = 400 ناخب، X = 220 قالوا إنهم هيصوّتوا لمرشح معيّن. يبقى p̂ = 220/400 = 0.55. وفترة الثقة 95%: 0.55 ± 1.96 ⋅ √(0.55 ⋅ 0.45 / 400) = 0.55 ± 0.0487 = (0.501, 0.599).

فترة Wald ليها نقط ضعف معروفة مع النسب المتطرفة (p قريبة من 0 أو 1) أو الـ samples الصغيرة. وفترة Wilson (فترة ويلسون) (اسمها كمان score interval) بتشتغل أحسن في الحالات دي ومفضّلة في الممارسة الحديثة.

تفسير مستويات الثقة

المحلل بيختار مستوى الثقة قبل ما يجمع البيانات. أشهر 3 اختيارات هما 90% و95% و99%. يعني إيه عمليًا إنك تختار 95%؟

فكّر في طريقة الـ confidence interval كماكينة. بتأكّلها بيانات من تجارب متكررة؛ وهي بتطلّع فترات. لطريقة بـ 95%، 95 من كل 100 فترة الماكينة دي بتطلّعها هيبقى فيها الـ parameter الحقيقي. والخمسة التانيين بيفوّتوه — بس إحنا مش عارفين أنهي.

مستويات الثقة الأعلى ليها تمن: فترات أوسع. بالبديهة، لو عايز تبقى متأكد أكتر إنك مسكت القيمة الحقيقية، لازم توسّع مدى التدوير. والعلاقة مضبوطة: لو رفعت مستوى الثقة من 90% لـ 99% الـ critical value بتطلع من 1.645 لـ 2.576، والفترة بتوسع بمعامل حوالي 1.57.

3 أدوات تتحكم بيها في عرض الفترة

زوّد n: الـ standard error بينكمش بمقدار 1/√n — لو كبّرت n أربع مرات الـ margin of error بيقل للنص.

قلّل مستوى الثقة: قيمة z أو t أصغر — بس إنت كده بتقبل معدل خطأ أعلى.

قلّل σ (أو s): قياسات أدق أو population متجانس أكتر بيضيّق عرض الفترة. وده عادةً برّه إيدنا.

تحديد الـ sample size

قبل ما نجمع البيانات، كتير بنبقى عايزين نعرف: الـ sample لازم تبقى قد إيه عشان نوصل لـ margin of error E اللي عايزينه عند مستوى ثقة (1 − α)؟

لتقدير mean وσ معروفة، بنساوي الـ margin of error بـ E ونحل عشان نجيب n:

الـ sample size للـ mean

n = \left(\dfrac{z_{\alpha/2}\,\sigma}{E}\right)^{\!2}

دايمًا قرّب الكسور لفوق لأقرب عدد صحيح. ولو σ مش معروفة، استخدم تقدير مبدئي من دراسة استكشافية، أو حد أعلى محافظ.

لتقدير نسبة، محتاجين تقدير مبدئي p̂. ولو مفيش معلومة مسبقة، استخدم p̂ = 0.5، وده بيعظّم الـ variance p(1−p) وبيدّي الـ sample size الأكتر تحفّظًا (الأكبر):

الـ sample size للنسبة

n = \left(\dfrac{z_{\alpha/2}}{E}\right)^{\!2}\hat{p}(1-\hat{p})

مع p̂ = 0.5 (أقصى variance)، لـ E = 0.03 (3%) وثقة 95%: n = (1.96/0.03)² × 0.25 ≈ 1068. وعشان كده الاستطلاعات القومية عادةً بتسأل ~1000 شخص عشان margin ±3%.

ملاحظة عن فترة t: لتخطيط الـ sample size وσ مش معروفة، المعادلة اللي فوق بتستخدم z_α/2 كتقريب. لـ n صغير، الـ critical value من t معتمدة على n نفسه (عن طريق الـ degrees of freedom)، وده محتاج حل بالتكرار. والبرامج بتتعامل مع ده لوحدها.

أهم النقط

الـ confidence interval يعني إيه: طريقة بتطلّع فترات؛ 95% من فترات الطريقة دي فيها الـ parameter الحقيقي. مش احتمال إن الفترة دي بالذات فيها θ.
فترة z (σ معروفة): x̄ ± z_α/2 ⋅ σ/√n. محتاجة variance للـ population معروف؛ نادرة في الواقع.
الـ t distribution: لما σ تتبدّل بـ S، الـ pivot بيمشي على t_n−1 بديول أتقل من الـ normal، وبيقرب من الـ normal لما n → ∞.
فترة t (σ مش معروفة): x̄ ± t_{α/2, n−1} ⋅ s/√n. الفترة القياسية في الواقع؛ صالحة لما الـ population يبقى normal تقريبًا أو n كبير.
فترة النسبة: p̂ ± z_α/2 ⋅ √(p̂(1−p̂)/n). صالحة لما np̂ ≥ 10 وn(1−p̂) ≥ 10.
مقايضة مستوى الثقة: ثقة أعلى ⇒ فترة أوسع. وعرض الفترة كمان بينكمش مع √n؛ لو كبّرت n أربع مرات الـ margin of error بيقل للنص.
تخطيط الـ sample size: ساوي E = z_α/2 ⋅ σ/√n وحل عشان تجيب n؛ وللنسب استخدم p̂ = 0.5 كقيمة افتراضية محافظة.