شغّل اختبار A/B لعيّنتين في المُحاكي وتوقَّع — قبل أن تقرأ من الشاشة — قيمة z للنسبتين وp-value لها في حالةٍ نموذجية، ومعدّل الإيجابية الكاذبة حين تكون النسبتان متساويتين حقًّا، وحجم العيّنة لكل ذراعٍ الذي يشتري قوةً مقدارها 80%، وماذا يحدث لمعدّل الإيجابية الكاذبة حين تنظر إلى النتائج مبكّرًا (peeking).
اختبار A/B لعيّنتين يقارن معدّلَي تحويلٍ، p_A وp_B. واختبار z للنسبتين يسأل هل الرفع المُلاحَظ أكبر من ضجيج المعاينة؛ والقيمة الاحتمالية الصغيرة تعني أنّ البيانات ستكون مفاجئةً لو كانت النسبتان متساويتين، لا أنّ النسبتين متساويتان باحتمالٍ ما. وفخّان يجعلان p-value تكذب: قلّة البيانات (قوةٌ منخفضة، فيُفوَّت رفعٌ حقيقي)، والنظر المتكرّر (peeking) — أي الاختبار مرارًا مع وصول البيانات والتوقّف عند أوّل نظرةٍ دالّة. وعند رفعٍ حقيقيٍّ مقداره صفر يكون معدّل الرفض مساويًا تمامًا لـα؛ والنظر المتكرّر يدفعه إلى أعلى بكثيرٍ من α.
افتح المُحاكي. يفتح على مُدخلاته الافتراضية. تُسمّي كل خطوة المؤشّر الذي تُحرّكه؛ واترك الباقي عند هذه القيم. تطبع القراءات واللوحات كل رقمٍ تتوقّعه؛ ويأتي شريطا الإيجابية الكاذبة والنظر المتكرّر من محاكاةٍ مبذورة، فالبَذرة نفسها تعطي التقدير نفسه دائمًا.
Sliders -> rate A / rate B / n per arm / alpha / tails / target power / looks / seed
Defaults -> 0.10 / 0.125 / 2000 / 0.05 / two / 0.80 / 5 / 42
راقب قراءتَي z وp وحكم «دالّة/غير دالّة» (كلمة، لا لونًا فقط)، ومنحنى القوة مقابل n وقراءة العيّنة المطلوبة، وشريطَي الإيجابية الكاذبة الموسومَين «single look» و«with peeking». اضغط «تشغيل» لرسم المحاكاة المبذورة.
اترك القيم الافتراضية: معدّل الضبط p_A = 0.10 (200/2000) مقابل معدّل النسخة p_B = 0.125 (250/2000)، وn = 2000 لكل ذراع. تقسم z المجمّعة للنسبتين الرفعَ المُلاحَظ على خطئه المعياري في ظلّ H₀. توقَّع z، ثم اقرأ قراءة z.
تُظهر القراءة z ≈ 2.502. فالرفع البالغ 0.025 يبعد نحو 2.5 خطأٍ معياريٍّ مجمّعٍ فوق الصفر — عميقًا في الذيل، ولهذا تكون p-value في الخطوة التالية صغيرة.
المُدخلات نفسها، وذو الذيلين. تكون p-value ذات الذيلين P(|Z| ≥ |z| given H₀) — احتمال رفعٍ بهذا التطرّف أو أكثر لو كانت النسبتان متساويتين. توقَّع p وهل تتجاوز α = 0.05، ثم اقرأ قراءة p والحكم.
قيمة p نحو 0.0124 — أقلّ من 0.05، فيقرأ الحكم «دالّة». واقرأها قراءةً صحيحة: هي P(data this extreme | H₀)، لا احتمال أن تكون H₀ صحيحة، ولا احتمال أن تكون النتيجة صدفة.
اجعل p_B مساويةً لـp_A = 0.10، فلا فرق حقيقي وتكون H₀ صحيحة. يصبح منحنى القوة عند الرفع الصفري هو معدّل الإيجابية الكاذبة — نسبة التجارب التي ترفض H₀ رغم ذلك. توقَّعه، ثم اقرأ قيمة القوة عند الصفر.
هو α = 0.05 تمامًا. فالاختبار المضبوط الحجم يرفض H₀ صحيحةً بنسبة α بالضبط — وذلك تعريف معدّل الإيجابية الكاذبة، وهو سبب كون α الثمنَ الذي توافق على دفعه.
أعِد p_B = 0.125 واترك القوة المستهدفة عند 0.80، وذا الذيلين، وα = 0.05. قراءة n المطلوبة هي حجم العيّنة لكل ذراعٍ الذي يبلغ تلك القوة عند الرفع النموذجي. توقَّع مقداره تقريبًا، ثم اقرأه.
هو نحو 2507 لكل ذراع — قرابة 5000 مستخدمٍ إجمالًا. جاءت النتيجة الدالّة في الخطوة الثانية من 2000 لكل ذراع؛ ورفعٌ حقيقيٌّ بهذا الصغر يحتاج بياناتٍ أكثر قبل أن تصبح قوة 80% مطروحةً أصلًا. الدلالة تحتاج رفعًا حقيقيًّا و عيّنةً كافية معًا.
أبقِ النسبتين متساويتين (p_A = p_B = 0.10، فتكون H₀ صحيحة)، واترك النظرات عند 5 والبَذرة عند 42، واضغط «تشغيل». يقع شريط «single look» قرب α (نحو 0.0493). توقَّع شريط «with peeking» — معدّل الرفض حين تختبر عند 5 نظراتٍ بينية وتتوقّف عند أوّل نظرةٍ دالّة — ثم اقرأه.
معدّل «with peeking» نحو 0.1367 — قرابة 3× القيمة الاسمية 0.05، مقابل نظرةٍ نزيهةٍ واحدة عند 0.0493 ≈ α. فالاختبار المتكرّر والتوقّف عند أوّل «فوز» يصنع دلالةً من ضجيجٍ محض؛ ثبِّت حجم العيّنة مسبقًا، واقرأ نتيجةً نهائيةً واحدة.
كل ما سبق ينتظرك في المُحاكي. باعِد بين المعدّلين وراقب z وp والحكم يتحرّكون معًا؛ وأزلِق n على منحنى القوة لترى متى يصبح رفعٌ حقيقيٌّ قابلًا للكشف؛ وغيّر عدد النظرات لتراقب شريط النظر المتكرّر يتسلّق أعلى فأعلى فوق α.
- قرأتَ z المجمّعة للنسبتين z ≈ 2.502 لـ200/2000 مقابل 250/2000
- وجدتَ p ذات الذيلين p ≈ 0.0124 < 0.05 — دالّة، وتُقرأ بوصفها P(data | H₀)
- رأيتَ معدّل الإيجابية الكاذبة يستقرّ عند α = 0.05 تمامًا حين تتساوى النسبتان
- وجدتَ أنّ قوة 80% عند هذا الرفع تحتاج نحو 2507 لكل ذراع — أكثر من الـ2000 التي بلغت الدلالة
- راقبتَ النظر المتكرّر (5 نظرات) يرفع معدّل الإيجابية الكاذبة إلى ≈ 0.1367، قرابة 3× القيمة الاسمية 0.05