مقاييس الـ spread

المركز نص الحكاية بس

مدينتين كل واحدة فيهم بتقول إن متوسط حرارتها في السنة 15 درجة. في الأولى، كل يوم في السنة بين 12 و18 درجة. وفي التانية، الشتا −20 والصيف +45. المركز هو هو، والمكانين مستحيل يبقوا مختلفين أكتر من كده.

اللي بيفرّق بينهم هو الـ spread (التشتت) — القيم مبعترة قد إيه حوالين المركز. الملخص اللي بيقول الـ mean (المتوسط) لوحده مش ناقص وبس؛ ده بيخلّي القارئ يتخيّل انتظام ممكن ميكونش موجود أصلًا. الـ spread هو اللي بيقولك المركز يستاهل ثقة قد إيه كوصف لأي مشاهدة لوحدها.

في الدرس ده هنبني 5 مقاييس للـ spread وقاعدتين نكشف بيهم الـ outliers (القيم الشاذة)، وكلهم على نفس الـ 11 رقم عشان تشوف بالظبط كل مقياس بيتعامل إزاي مع نفس البيانات.

المثال اللي هنفضل معاه

دول 11 وقت مشوار يومي بالدقايق، مترتبين من الأول:

مجموع القيم 341، فمع n = 11 الـ mean بيبقى x̄ = 341 ÷ 11 = 31 دقيقة بالظبط. والـ median (الوسيط) هو القيمة السادسة، 29 دقيقة. الـ mean أعلى من الـ median، وده بقاعدة الاتجاه من الدرس اللي فات معناه إن البيانات right-skewed (ملتوية يمينًا) — والـ skew هنا عاملاه مشاهدة واحدة.

الـ range

الـ range (المدى) هو أبسط مقياس spread ممكن: أكبر قيمة ناقص أصغر قيمة.

ولمشاويرنا، الـ range هو 53 − 21 = 32 دقيقة. رقم مفهوم على طول ومفيد فعلًا كفحص سريع: range قدره 32 دقيقة على مشوار متوسطه 31 دقيقة بيقولك من الأول إن الرحلة مش مضمونة.

بس بص الـ range اتجاهل إيه. 9 قيم من الـ 11 مشاركوش في الحساب. زوّد 50 مشوار عادي خالص حوالين 30 دقيقة والـ range مش هيتحرك، مع إن البيانات بقت منتظمة جدًا. الـ range مبني بالكامل على أكتر مشاهدتين متطرفين، ودول بالظبط أقل مشاهدتين بيمثّلوا البيانات.

والـ range كمان بيكبر مع الـ sample size (حجم العينة) بشكل شبه أوتوماتيكي: كل يوم زيادة بتسجّله بيزوّد فرصتك إنك تلقط يوم مش عادي. فـ range متاخد من 11 يوم وrange متاخد من 1,100 يوم مش كميتين ينفع تقارنهم. وكل مقياس بعد كده موجود عشان يصلّح مشكلة من الاتنين دول أو الاتنين مع بعض.

الـ variance

لو عايزين مقياس بيستخدم كل مشاهدة، الخطوة الطبيعية إننا نحسب متوسط بعد كل قيمة عن الـ mean. الإحساس ده صح، بس النسخة البديهية منه بتفشل على طول: مجموع الانحرافات عن الـ mean دايمًا صفر، لأن ده بالظبط معنى إنه نقطة التوازن. الموجب بيلغي السالب، كل مرة، ولأي مجموعة بيانات.

والحل إنك تربّع كل انحراف قبل ما تحسب المتوسط. التربيع بيخلّي كل حاجة موجبة، وبيخلّي الانحرافات الكبيرة تتحسب أكتر من حجمها كمان — قيمة بعيدة عن الـ mean ضعف بعد قيمة تانية بتساهم بأربع أضعاف مساهمتها. والنتيجة هي الـ variance (التباين).

يلا نحسبه على المشاوير. الـ mean هو 31، فاطرح 31 من كل قيمة وربّع الناتج.

مجموع العمود اللي في النص صفر، زي ما قلنا بالظبط. ومجموع العمود اليمين 804، فالـ variance هو s² = 804 ÷ 10 = 80.4.

وخد بالك المجموع ده مش متوازن قد إيه. المشوار الواحد اللي خد 53 دقيقة بيساهم بـ 484 من 804 — أكتر من 60% من الـ variance كله جاي من مشاهدة واحدة من 11. ده التربيع وهو شغّال، وهو السبب إن الـ variance والـ standard deviation (الانحراف المعياري) بيتقال عليهم إنهم حساسين للـ outliers.

الـ standard deviation

الـ variance فيه عيب واحد مزعج: وحدته هي مربع وحدة البيانات. مشاويرنا بالدقايق، فالـ variance هو 80.4 دقيقة مربعة، ودي كمية محدش عنده إحساس بيها.

خد الجذر التربيعي والوحدات بترجع. ده الـ standard deviation، وبيتكتب s للـ sample وσ للـ population (المجتمع) — وهو بفرق كبير أكتر مقياس spread بيستخدم في الإحصاء كله.

وللمشاوير: s = √80.4 = 8.97 دقيقة. دلوقتي الرقم بقى ليه معنى تقدر تتصرف على أساسه: الصباح العادي بيختلف عن متوسط الـ 31 دقيقة بحوالي 9 دقايق.

ودي نفس المعادلة اللي درس «يعني إيه علم الإحصاء؟» في الوحدة 1 الدرس 1 حطها قدامك، تحت عنوان «الـ standard deviation للـ sample». الدرس ده ذكرها، وقال إن المقسوم عليه n − 1 مش n، وبعدين أجّل السبب. وده الدرس اللي المعادلة بتتفهم فيه بدل ما تتفرض — والجزء الجاي هو الشرح اللي اتأجّل.

ليه n − 1؟

القسمة على n − 1 بدل n شكلها حيلة، والطلبة عندهم حق يشكّوا. بس هي مش حيلة. وده اللي بيحصل فعلًا، من غير أي برهان.

الـ variance اللي إنت عايزه هو الـ spread حوالين الـ mean بتاع الـ population μ. بس إنت مش عارف μ — ودي بالظبط الحالة اللي وصفها درس «الـ population قصاد الـ sample». فبتحط مكانه x̄، يعني متوسط نفس البيانات اللي بتقيس الـ spread بتاعها دلوقتي.

وx̄ من طريقة بنائه هو القيمة اللي بتخلّي مجموع مربعات الانحرافات أصغر ما يمكن. جرّب: احسب الـ 804 اللي فوق تاني بأي مركز تاني — 30 أو 32 — والمجموع هيطلع أكبر. كل مرة. يبقى قياس spread بياناتك حوالين الـ mean بتاعها هي بيقلّل بشكل منهجي من تقدير الـ spread حوالين الـ mean الحقيقي، لأن مركزك اتشدّ ناحية الـ sample بتاعتك بالذات.

والقسمة على n − 1 بدل n بتنفخ النتيجة بالمقدار الصح بالظبط عشان تلغي الـ bias (التحيز) ده في المتوسط. وn − 1 اسمها degrees of freedom (درجات الحرية): 11 مشاهدة شايلين 11 معلومة، بس واحدة منهم اتصرفت من الأول على حساب x̄، فبيفضل 10 أحرار يوصفوا الـ spread. والفحص بالبديهة هو الحالة المتطرفة: بمشاهدة واحدة n − 1 = 0 والـ variance مش معرّف — وده صح، لأن نقطة بيانات واحدة مش بتقولك أي حاجة خالص عن التغيّر.

وبالأرقام على مشاويرنا: 804 ÷ 10 = 80.4 بالتصحيح، و804 ÷ 11 = 73.1 من غيره. الـ standard deviation من غير تصحيح هيبقى 8.55 دقيقة بدل 8.97 — أصغر بحوالي 5%. مع n = 11 الفرق بسيط؛ مع n = 4 هيبقى كبير؛ ومع n = 1,000 ملوش لازمة. فالتصحيح بيفرق أكتر حاجة لما بياناتك تبقى أقل حاجة.

ونتيجة واحدة تستاهل تحفظها: استخدم n − 1 كل ما أرقامك تبقى sample، وده عمليًا الحال تقريبًا كل مرة. واقسم على n بس لما يبقى معاك فعلًا كل فرد في الـ population. والوحدة 5 بترجع للموضوع ده بالصياغة الرسمية: إن s² مقدِّر unbiased (غير متحيز) لـ σ².

الـ quartiles والـ IQR

الـ standard deviation مبني على الـ mean، فبيورث هشاشة الـ mean — وشفنا مشوار واحد عامل 60% منه. والبديل إنك تقيس الـ spread بـالمكان، زي ما الـ median بيقيس المركز بالمكان.

الـ median بيقسم البيانات المترتبة نصين. والـ quartiles (الأرباع) بتقسمها أربع أرباع. الـ first quartile (الربيع الأول) هو median النص الواطي، والـ second quartile (الربيع الثاني) هو الـ median نفسه، والـ third quartile (الربيع الثالث) هو median النص العالي. فربع البيانات تحت الربيع الأول، وربعها فوق الربيع الثالث.

وعلى مشاويرنا الـ 11، الـ median هو القيمة السادسة، 29. النص الواطي 21 و23 و24 و26 و28، والـ median بتاعه هو الربيع الأول = 24. والنص العالي 31 و33 و35 و38 و53، والـ median بتاعه هو الربيع الثالث = 35. (لما العدد يبقى فردي، القيمة اللي في النص مش بتنتمي لأي نص من الاتنين.)

والـ interquartile range (المدى الربيعي)، أو IQR، هو ببساطة الربيع الثالث ناقص الربيع الأول: عرض الشريحة اللي فيها الـ 50% اللي في النص من البيانات.

وهنا الـ IQR = 35 − 24 = 11 دقيقة. ودلوقتي الخاصية اللي بتحسم: غيّر الـ 53 لـ 200 والـ IQR مش هيتحرك ولا شعرة. الربيعين أماكن، وإنك تبعّد أكبر قيمة أكتر مش بيغيّر القيمة اللي في المركز الرابع من فوق. الـ IQR مقياس spread متين بنفس الطريقة اللي الـ median بيبقى بيها مقياس مركز متين — وعشان كده هو أساس قاعدة الـ outliers في آخر الدرس ده.

الـ five-number summary

حط الطرفين مع الأرباع التلاتة هيطلعلك الـ five-number summary (الملخص الخماسي): الأصغر، والربيع الأول، والـ median، والربيع الثالث، والأكبر. 5 أرقام بيوصفوا المركز والـ spread والشكل في نفس الوقت، والتلاتة اللي في النص بيصمدوا قدام الـ outliers.

اقرا الفجوات والشكل هيبان من غير ولا رسمة. من الأصغر للربيع الأول 3 دقايق؛ ومن الربيع الأول للـ median 5؛ ومن الـ median للربيع الثالث 6؛ ومن الربيع الثالث للأكبر 18. المسافات بتوسع جامد وإنت ماشي يمين، وده شكل الـ right skew بالأرقام.

بناء الـ box plot خطوة بخطوة

الـ box plot (مخطط الصندوق) هو الـ five-number summary مرسوم بمقياس رسم. ودروس تانية في الكورس ده بتشاور على الـ box plots كأداة معاك أصلًا — درس «التواصل الفعّال بالبيانات» في الوحدة 2 بينصح بواحد عشان تقارن الـ distributions بين المجموعات، ودرس «الـ confidence intervals للـ mean» في الوحدة 5 بيطلب منك تبص على واحد قبل ما تثق في فترة t على sample صغيرة. ودي طريقة بنائه فعلًا.

الخطوة 1 — رتّب البيانات. كل اللي جاي معتمد على الأماكن، فمفيش حاجة هتشتغل قبل ما القيم تترتب. وقيمنا مترتبة من الأول: من 21 لـ 53.

الخطوة 2 — اكتب الـ five-number summary. الأصغر 21، والربيع الأول 24، والـ median 29، والربيع الثالث 35، والأكبر 53.

الخطوة 3 — احسب الـ IQR والسورين. الـ IQR هو 11، يبقى 1.5 × الـ IQR = 16.5. السور الواطي هو الربيع الأول − 16.5 = 24 − 16.5 = 7.5، والسور العالي هو الربيع الثالث + 16.5 = 35 + 16.5 = 51.5. السورين مش بيترسموا على المخطط النهائي؛ وجودهم عشان نحدد الشوارب بتقف فين.

الخطوة 4 — ارسم الصندوق. مستطيل ممتد من الربيع الأول للربيع الثالث، من 24 لـ 35. وعرض الصندوق ده هو الـ IQR، وعشان كده الـ box plot بيوريك مقياس spread متين من أول نظرة.

الخطوة 5 — ارسم خط الـ median. خط بيعدّي الصندوق عند 29. وهو بعيد عن نص الصندوق بتاعنا (5 دقايق من الربيع الأول و6 من الربيع الثالث)، وخط median مش في النص هو الإشارة البصرية بتاعتك للـ skew.

الخطوة 6 — ارسم الشوارب. كل شارب بيمتد من الصندوق لأكتر قيمة متطرفة لسه جوه السور — مش للسور نفسه. من تحت، مفيش حاجة تحت 7.5، فالشارب الواطي بيوصل للأصغر، 21. ومن فوق، 53 بيعدّي سور 51.5، فالشارب العالي بيقف عند القيمة اللي بعدها نزولًا، 38.

الخطوة 7 — ارسم اللي برّه كل واحد لوحده. أي قيمة برّه السور بتترسم كنقطة لوحدها. فالـ 53 بتاعنا بيبقى نقطة واحدة ورا آخر الشارب العالي: باينة، وليها اسم، ومش متدمّجة بسكات في أي حاجة.

والمخطط النهائي بيتقري من 21 — [24 | 29 | 35] — 38 •53. 4 حقايق من نظرة واحدة: النص اللي في الوسط من 24 لـ 35، والصباح العادي 29، والصباحات العادية بتخلص عند 38 تقريبًا، وصباح واحد كان مش عادي بجد. وفي الـ slides اللي مع الدرس المخطط ده على canvas ومعاه slider لأوحش مشوار — حرّكه وشوف النقطة وهي بتعدّي السور.

الـ coefficient of variation

كل مقياس لحد دلوقتي شايل وحدة البيانات، وده بيخلّي مقارنة الـ spread بين كميات مختلفة مالهاش معنى. هل standard deviation قدره 8.97 كبير؟ مش هتقدر تجاوب أبدًا من غير ما تعرف إن الـ mean هو 31 — وأكيد مش هتقدر تقارنه بـ standard deviation متقاس بالكيلوجرام.

والـ coefficient of variation (معامل الاختلاف) بيحل ده إنه يقسم الـ standard deviation على الـ mean. الوحدات بتتلغي، والـ spread بيفضل متقال كنسبة من الـ mean، وعادةً بيتكتب كنسبة مئوية.

ولمشاويرنا: الـ CV = 8.97 ÷ 31 = 0.289، يعني 28.9%. الصباح العادي بيبعد عن الـ mean بحوالي 30% من الـ mean نفسه. والرقم ده لوحده ينفع يتفهم من غير ما تعرف أي حاجة عن الدقايق أصلًا.

ودي أنضف برهان إنه فعلًا من غير وحدة. أطوال الكبار ممكن يبقى متوسطها 170 سم والـ standard deviation بتاعها 7 سم. سجّل نفس الناس بالمتر والـ standard deviation يبقى 0.07 — أصغر 100 مرة، وهو بيوصف نفس الناس. بس الـ CV هو 7 ÷ 170 = 4.1% بالسنتيمتر، و0.07 ÷ 1.70 = 4.1% بالمتر. غيّر الوحدة والـ standard deviation يتغيّر؛ أما الـ CV فلأ.

وده اللي بيخلّي المقارنة بين المقاييس ممكنة. حرارة جسم الكبار متوسطها حوالي 36.8 درجة والـ standard deviation بتاعها حوالي 0.4 درجة، فالـ CV بتاعها حوالي 1.1%. والـ CV بتاع مشوارنا 28.9%. فبالنسبة لحجمه العادي، المشوار بيتغيّر أكتر من حرارة الجسم بحوالي 26 مرة — ودي جملة مكنتش هتقدر تقولها من الـ standard deviations الخام 0.4 و8.97، لأنهم عايشين في وحدات مينفعش تتقارن.

وفيه تحذيرين. الـ CV محتاج mean ليه معنى ومش صفر، فمينفعش لأي حاجة متمركزة قريب من الصفر (المقام بينفجر) ولا للمقاييس الـ interval (الفترية) اللي الصفر فيها اعتباطي — فالـ CV لحرارة بالسلسيوس والـ CV لنفس الحرارة بالفهرنهايت مش هيتفقوا، لأن كل مقياس ليه صفر مختلف. ولأنه مبني على x̄ وs، فهو بيورث حساسيتهم للـ outliers.

كشف الـ outliers: سور 1.5 × الـ IQR

الـ outlier (القيمة الشاذة) هي مشاهدة بعيدة عن باقي البيانات كفاية إنها تستاهل نظرة تانية. وخد بالك من الصياغة: تستاهل نظرة، مش تستاهل تتمسح. الـ outlier ممكن يبقى غلطة قياس، أو غلطة إدخال بيانات، أو أهم مشاهدة في الدراسة كلها.

والقاعدة القياسية لـ variable (متغير) واحد هي اللي استخدمناها من شوية عشان نرسم الشوارب. ابني سور على بعد 1.5 من الـ IQR ورا كل ربيع، وعلّم أي حاجة برّاه.

وللمشاوير: 7.5 و51.5. مفيش حاجة تحت 7.5. وصباح الـ 53 دقيقة بيعدّي 51.5، فبيتعلّم — ودي نفس النتيجة اللي الـ box plot رسمها هندسيًا، لأنه حرفيًا نفس الحساب.

وليه 1.5؟ ده عُرف، اختاره جون توكي لما اخترع الـ box plot، وتبريره تجريبي مش عميق: على بيانات قريبة فعلًا من الـ normal، السورين دول بيعلّموا حوالي 0.7% بس من المشاهدات، فالعلامة بتبقى نادرة كفاية إنها تستاهل تحقيق من غير ما تغرّقك في إنذارات كدّابة. وفيه محللين بيستخدموا 3.0 × الـ IQR عشان يميّزوا «الـ outliers البعيدة» لوحدها.

وأكبر ميزة في القاعدة دي إنها متينة. هي مبنية على الربيع الأول والربيع الثالث والـ IQR، ومفيش واحد فيهم بيتحرك لما تزق القيمة المتطرفة أبعد. ومجموعة outliers متقدرش تتفق مع بعض وتستخبى بإنها توسّع نفس السور اللي المفروض يمسكها — وده بالظبط اللي بيحصل مع البديل، زي ما الجزء الجاي هيوضّح.

كشف الـ outliers: قاعدة الـ z-score

القاعدة التانية بتعدّ الـ standard deviations. الـ z-score (الدرجة المعيارية) لمشاهدة هو بعدها عن الـ mean متقال بوحدات s.

والعُرف العادي بيعلّم أي حاجة قيمتها المطلقة أكبر من 3، وأحيانًا 2 في الـ samples الصغيرة. ولمشوار الـ 53 دقيقة بتاعنا: z = (53 − 31) ÷ 8.97 = 2.45. فبقاعدة الـ 3 الصباح ده مش outlier أصلًا — في حين إن سور الـ IQR علّمه بوضوح.

القاعدتين بيناقضوا بعض، وفهم السبب هو أنفع حاجة في الجزء ده. x̄ وs الاتنين بيتحسبوا والقيمة المشكوك فيها جواهم. الـ 53 شدّ الـ mean لفوق من 28.8 لـ 31، فقصّر بعده هو عن المركز، وبعدين عمل 60% من مجموع المربعات، فنفخ نفس الـ s اللي بيتقسم عليها. هو بوّظ الاختبار اللي بيتعمل عليه.

يلا نقيس ده بالأرقام. شيل الـ 53 على جنب والـ 10 مشاوير الباقيين يبقى الـ mean بتاعهم 28.8 والـ standard deviation بتاعهم 5.49. ومتقاس على البيانات اللي هو مش منها، صباح الـ 53 دقيقة بياخد z = (53 − 28.8) ÷ 5.49 = 4.41 — معدّي أي عتبة بأريحية. نفس المشاهدة بتبقى 2.45 أو 4.41 على حسب حاجة واحدة بس: هل سمحنالها تصوّت في محاكمتها ولا لأ. والإحصائيين بيسمّوا الأثر ده masking (التقنيع).

والـ masking بيسوء مش بيتحسّن لما الـ outliers تكتر: كل ما القيم المتطرفة تزيد بتنفخ s أكتر، ويبقى أصعب على أي واحدة فيهم تعدّي عتبة z ثابتة. وفيه نسخ متينة — حط الـ median مكان x̄ والـ median absolute deviation (الانحراف المطلق الوسيطي) مكان s — وتستاهل تلجأ لها. بس قاعدة z العادية هي اللي أغلب الناس قصدهم عليها لما يقولوا «قاعدة الـ z-score»، فاعرف نقطة ضعفها.

والقاعدتين هنا univariate (أحاديتا المتغيّر): بيحكموا على variable واحد في المرة. ولما النقطة تتحاكم قصاد model متظبّط مش قصاد عمود واحد، الأدوات كلها بتتغيّر — الـ standardized والـ studentized residuals (البواقي)، والـ leverage (الرفع)، والـ Cook's distance (مسافة كوك). ودرس «تشخيص الـ regression» في الوحدة 7 بيشرح ده كله، ومفيش داعي نكرره هنا؛ فالقاعدتين اللي فوق هما اللي بتستخدمهم لما ميكونش في إيدك غير عمود أرقام.

وفي الآخر، الانضباط اللي بيفرق أكتر من القاعدتين مع بعض: عمرك ما تمسح outlier عشان هو مزعج. حقّق فيه. لو كان غلطة تسجيل، صلّحه أو شيله وقول كده. ولو كان حقيقي، سيبه، واعرض تحليلك بيه ومن غيره عشان القارئ يشوف الاستنتاج معتمد على نقطة واحدة قد إيه. فمشوار الـ 53 دقيقة ممكن يكون هو الصباح اللي بيفسّر كل حاجة.