الغلطات المشهورة | STAT-101

إغراء النتايج الـ significant

الـ hypothesis testing من أقوى أدوات العلم ومن أكتر حاجة بتستخدم غلط في نفس الوقت. الـ p-value الأقل من 0.05 بقت عتبة ثقافية لـ"الاكتشاف"، والضغط عشان تعدّي العتبة دي بوّظ ممارسات البحث بالراحة في مجالات كتير. في الدرس ده هنفحص أخطر المطبّات: الـ p-hacking، ومشكلة الـ multiple comparisons، واللخبطة بين الـ statistical significance والأهمية العملية، وأزمة الـ replication اللي العادات دي طلّعتها.

فهم المطبّات دي مش كلام أكاديمي وبس؛ هيخلّيك محلل أحرص، وقارئ أشكّ في الأبحاث المنشورة، وأمين أكتر وإنت بتعرض نتايجك.

الـ p-hacking: الصيد ورا النجوم

الـ p-hacking (اختراق القيمة p) (اسمه كمان data dredging أو researcher degrees of freedom) هو إنك تجرّب تحليلات كتير على نفس البيانات لحد ما واحد فيهم يطلّع p < 0.05، وبعدين تقول النتيجة دي بس. ولأن كل اختبار ليه احتمال 5% يطلع false positive تحت الـ null hypothesis H₀، فإنك تعمل تحليلات كفاية بيضمن عمليًا إنك تلاقي حاجة "significant"، حتى في بيانات عشوائية خالص.

الـ p-hacking ليه أشكال كتير: إنك تجمع بيانات لحد ما الـ p-value تعدّي العتبة وبعدين تقف، أو تختبر كذا outcome variable وتقول بس اللي نجح، أو تطبّق شروط استبعاد مختلفة لحد ما الـ significance تظهر، أو تعمل transformation للـ variables (log، جذر تربيعي) لحد ما الـ p-value تتحسن، أو تختار بين الاختبار الـ one-tailed والـ two-tailed بعد ما تشوف البيانات. ولا واحدة من الممارسات دي عدم أمانة بالضرورة لوحدها، بس إنك تعملهم من غير تصحيح ومن غير ما تفصح عنهم بيرفع الـ Type I error rate بكتير فوق α.

سيناريو الكوميديا العلمية

تخيّل إنك بتختبر هل حلوى الـ jelly beans بتعمل حب شباب. بتعمل 20 اختبار منفصل، واحد لكل لون. عند α = 0.05 متوقع false positive واحد بالصدفة. لون واحد (الأخضر) بيطلّع p = 0.04. العنوان: "الـ jelly beans الخضرا مرتبطة بحب الشباب!" ومن غير ما تعرف الـ 19 اختبار التانيين، النتيجة المنشورة بتبان مقنعة. ودي مشكلة الـ multiple comparisons في أنضف صورها.

مشكلة الـ multiple comparisons

كل مرة بتعمل m hypothesis test في نفس الوقت — أو بتبص على m نتيجة، أو m مجموعة فرعية، أو m نقطة زمنية — احتمال إن اختبار واحد على الأقل يطلّع false positive مبقاش α. ولو افترضنا إن كل الـ null hypotheses صح، الـ familywise error rate (معدل خطأ الأسرة) أو FWER هو:

الـ familywise error rate

\text{FWER} = 1 - (1 - \alpha)^m

FWER = 1 − (1 − α)ᵐ. مع m = 20 اختبار عند α = 0.05، الـ FWER بيوصل ≈ 64%. واحتمال false positive واحد على الأقل بيكبر بسرعة مع عدد المقارنات.

ده مش عيب في الـ p-values نفسها، ده عيب في طريقة استخدامها. الـ p-value صالحة لاختبار واحد متحدد من الأول. وإنك تطبّقها على كذا اختبار على المزاج من غير تصحيح هو الغلطة.

التصحيحات: Bonferroni وBenjamini-Hochberg

فيه استراتيجيتين أساسيتين للتصحيح، وكل واحدة بتستهدف معيار خطأ مختلف.

الـ Bonferroni correction (تصحيح بونفيروني) بيتحكم في الـ FWER. بيقسم α ببساطة على عدد الاختبارات m، وبيطلّع عتبة معدّلة α* = α/m. وكل اختبار لوحده لازم يعدّي العتبة الأصعب دي عشان يتقال عليه significant:

عتبة Bonferroni

\alpha^* = \dfrac{\alpha}{m}

ارفض H₀(i) لو pᵢ ≤ α/m. بيضمن FWER ≤ α مهما كان عدد الاختبارات. التمن: power أقل. مع m = 100 وα = 0.05، كل اختبار محتاج p ≤ 0.0005.

لما تختبر فرضيات كتير في نفس الوقت — زي عشرات الآلاف من الجينات في دراسة genomics — الـ Bonferroni بيبقى متحفّظ جدًا. والبديل الأخف إنك تتحكم في الـ false discovery rate (معدل الاكتشافات الزائفة) أو FDR: النسبة المتوقعة من الفرضيات المرفوضة اللي هي null فعلًا.

إجراء Benjamini-Hochberg (بنيامين-هوكبرغ) أو BH بيتحكم في الـ FDR عند مستوى q. رتّب الـ m p-values من الأصغر للأكبر: p₁ ≤ p₂ ≤ … ≤ pᵐ. ودوّر على أكبر k بحيث:

قاعدة Benjamini-Hochberg

p_{(k)} \le \dfrac{k}{m} \cdot q

ارفض كل H₀(1) لحد H₀(k). بيتحكم في النسبة المتوقعة من الاكتشافات الزائفة بين كل الفرضيات المرفوضة عند مستوى q. أقوى من Bonferroni لما يبقى فيه تأثيرات حقيقية كتير.

تستخدم أنهي إمتى؟

Bonferroni: لما الـ false positives تبقى غالية جدًا وm معتدل (زي التجارب السريرية). Benjamini-Hochberg: لما الاكتشافات تبقى كتير وتقبل شوية false positives مقابل power أعلى (الـ genomics، وتصوير المخ). ولو محتار: حدّد التصحيح من الأول قبل التحليل والتزم بيه.

الـ statistical significance قصاد الأهمية العملية

يمكن أشهر فهم غلط في الإحصاء: النتيجة الـ significant إحصائيًا مش لازم تبقى مهمة. الـ p-value بتجاوب على سؤال واحد بس: "التأثير اللي شفناه ماشي مع العشوائية تحت H₀؟" ومش بتقول أي حاجة عن التأثير كبير كفاية إنه يفرق عمليًا ولا لأ.

الـ effect size (حجم التأثير) هو المقياس الصح للأهمية العملية. لمقارنة متوسطين، الـ Cohen's d (d لكوهن) هو أشهر إحصاءة effect size:

الـ Cohen's d

d = \dfrac{\mu_1 - \mu_2}{\sigma_{\text{pooled}}}

d = (μ₁ − μ₂) / σ_pooled. معايير Cohen: |d| ≈ 0.2 صغير، |d| ≈ 0.5 متوسط، |d| ≈ 0.8 كبير. ودي إرشادات تقريبية؛ والعتبة المناسبة للـ effect size معتمدة على المجال.

دوا بيقلّل ضغط الدم 0.1 مم زئبق مع p < 0.0001 (في دراسة على 500,000 مريض) significant إحصائيًا بس مالوش أي أهمية طبية. وفي المقابل، تدخّل بيقلّل أحداث القلب بنسبة 30% ممكن ميوصلش للـ significance في دراسة تجريبية صغيرة، بس الـ effect size بيقولك إنه يستاهل يتدرس بـ sample size مناسب.

الـ samples الكبيرة والـ p-values الصغيرة أوي

كل ما الـ sample size n يكبر، الـ standard error بينكمش بمقدار 1/√n، وده بيكبّر الـ test statistics ويصغّر الـ p-values. ومع بيانات كفاية، أي بعد عن الـ null hypothesis — مهما كان تافه — بيبقى ممكن يتلقط. وده معناه إن الـ p-values الـ significant تقريبًا مضمونة في البيانات الضخمة، حتى للتأثيرات اللي مالهاش أهمية عملية.

إحصاءة الـ one-sample z-test بتوضّح المشكلة بشكل واضح:

أثر الـ sample size

z = \dfrac{\bar{x} - \mu_0}{\sigma / \sqrt{n}}

z = (x̄ − μ₀) / (σ/√n). لفرق ثابت (x̄ − μ₀)، لو ضاعفت n الـ z بيتضرب في √2 والـ p-value بتصغر جامد. والـ effect size |d| = |x̄ − μ₀|/σ بيفضل ثابت؛ الـ p-value بس هي اللي بتتغيّر.

الحل إنك تقول دايمًا الـ effect sizes جنب الـ p-values، وتحدّد أقل effect size ليه أهمية عملية من الأول قبل ما تجمع البيانات. وده بيمنع إنك بعدين تبرّر تأثيرات تافهة على إنها اكتشافات.

ملخص التلات أرقام

أي نتيجة hypothesis test لازم تقول 3 حاجات: الـ p-value (الدليل ضد H₀)، والـ effect size (حجم التأثير)، والـ confidence interval (مدى عدم اليقين). الـ p-value لوحدها بتحكي حتة صغيرة بس من الحكاية. وبيان الـ American Statistical Association الرسمي سنة 2016 نصح بده بالظبط.

أزمة الـ replication

الأثر التراكمي للـ p-hacking والنشر الانتقائي والـ sample sizes الصغيرة ظهر بوضوح في أوائل العقد التاني من الألفية (بداية سنين الـ 2010) لما محاولات replication كبيرة كشفت إن نتايج منشورة كتير مينفعش تتكرر. الـ Open Science Collaboration (2015) لما كرّرت 100 دراسة في علم النفس لقت إن 36% بس طلّعت نتايج significant في التكرار مقارنةً بـ 97% في الدراسات الأصلية.

الـ replication crisis (أزمة قابلية الاستنساخ) دي مش مقصورة على علم النفس. حالات فشل replication شبهها ظهرت في العلوم الاجتماعية وأبحاث التغذية وبيولوجيا السرطان والصيدلة قبل السريرية والاقتصاد. والأسباب الجذرية معروفة: الـ publication bias (المجلات بتفضّل النتايج الإيجابية)، والـ sample sizes الصغيرة اللي بتطلّع تقديرات تأثير فيها noise، والـ researcher degrees of freedom من غير تصحيح، وقلة الشفافية في كتابة الطرق.

Simmons وNelson وSimonsohn (2011)

ورقة "False-Positive Psychology" الرائدة وضّحت إن بـ 4 researcher degrees of freedom بس — إضافة control variables، أو جمع بيانات زيادة بعد ما تبص عليها، أو الاختيار بين outcome variables، أو حذف conditions — احتمال الـ false positive ممكن يوصل لـ 61% وإنت ماشي بأمانة على القواعد التقليدية. المرونة من غير تحديد مسبق هي عدو الاستدلال الصح.

الـ pre-registration: الحل

الـ pre-registration (التسجيل المسبق) هو إنك تلتزم علنًا بفرضياتك والـ sample size والـ outcome variables وخطة التحليل قبل ما تجمع البيانات. ولما تقفل الاختيارات دي من الأول بتشيل الـ degrees of freedom اللي بتسمح بالـ p-hacking، والفرق بين التحليل التأكيدي والاستكشافي بيبقى واضح.

الـ pre-registration مش بيمنع الاستكشاف، بس بيشترط إن التحليلات الاستكشافية تتعلّم إنها كده. دراسة متسجّلة مسبقًا بتقول p = 0.04 شايلة دليل أقوى بكتير من دراسة مش متسجّلة بتقول نفس القيمة، لأن الأولى مستحيل تكون اتشكّلت وهي عارفة البيانات.

منصات زي Open Science Framework (OSF) وAsPredicted.org والـ AEA RCT Registry بتسهّل الـ pre-registration ببلاش. والـ Registered Reports — اللي المجلات فيها بتراجع الدراسات وتقبلها على أساس تصميمها قبل ما النتايج تتعرف — بتمدّ مزايا الـ pre-registration عشان تشيل الـ publication bias من جذوره.

ليستة الممارسات الكويسة

1. سجّل مسبقًا الفرضيات وخطة التحليل قبل ما تجمع البيانات. 2. قول الـ effect sizes والـ confidence intervals جنب كل p-value. 3. طبّق تصحيحات الـ multiple comparisons لما تختبر أكتر من فرضية. 4. فرّق بين التحليل التأكيدي والاستكشافي وإنت بتكتب. 5. شارك البيانات والـ code عشان حد تاني يقدر يتأكد. 6. اعمل لدراستك power كفاية (≥ 80% power عند أصغر تأثير مهم) قبل ما تبدأ.

أهم النقط

الـ p-hacking بيرفع الـ Type I error rate عن طريق استغلال الـ researcher degrees of freedom: الوقف بدري، واختبار كذا outcome، أو اختيار التحليلات بعد ما تشوف البيانات.
الـ multiple comparisons: إنك تعمل m اختبار عند α بيدّي FWER = 1 − (1−α)ᵐ. ومع 20 اختبار عند 5%، احتمال الـ false positive بيعدّي 60%.
الـ Bonferroni correction بيتحكم في الـ FWER بإنه يختبر عند α/m. متحفّظ بس آمن لما m يبقى صغير أو الاختبارات خطيرة.
الـ Benjamini-Hochberg بيتحكم في الـ false discovery rate. أقوى من Bonferroni لما يبقى فيه تأثيرات حقيقية كتير (الـ genomics، وتصوير المخ).
الـ statistical significance ≠ الأهمية العملية. تأثير صغير جدًا في sample ضخمة ممكن يدّي p < 0.001. قول دايمًا الـ Cohen's d أو اللي زيه.
الـ samples الكبيرة بتضمن p-values صغيرة حتى للتأثيرات التافهة. الـ effect size مستقل عن الـ sample size؛ الـ p-value لأ.
أزمة الـ replication: عقود من الـ p-hacking والـ publication bias ملت الأبحاث بـ false positives. ونتايج مشهورة كتير مش بتتكرر لما تتعاد.
الـ pre-registration بيشيل الـ researcher degrees of freedom بالالتزام بالفرضيات وخطة التحليل قبل جمع البيانات. وهو المعيار الدهبي للبحث التأكيدي.