ارسم بياناتك الأول دايمًا
قبل ما تعمل أي اختبار إحصائي أو تحسب أي إحصاء وصفي، فيه قاعدة واحدة المفروض كل محلل بيانات يمشي عليها: ارسم بياناتك الأول. لما ترسم الـ distribution (التوزيع) بيبان حاجات الأرقام لوحدها مش هتقدر توريهالك — الشكل، ووجود outliers (قيم شاذة)، وهل فيه مجموعات فرعية، والبيانات ماشية مع الافتراضات اللي التحليل اللي ناوي تعمله محتاجها ولا لأ.
الإحصائي فرانسيس أنسكومب وضّح النقطة دي بطريقة متتنسيش سنة 1973 باللي اتعرف بعد كده بـ Anscombe's quartet (رباعي أنسكومب): 4 مجموعات بيانات ليهم تقريبًا نفس الـ means والـ variances والـ correlations، ومع ذلك رسوماتهم مختلفة خالص. والدرس متغيّرش: الإحصاءات الملخّصة ممكن تضلّلك؛ أما الصور فبتكشف الحقيقة.
كل مجموعة من الأربعة ليها تقريبًا نفس الـ mean (~7.5) ونفس الـ variance (~4.12) ونفس الـ correlation (~0.816) ونفس خط الـ regression. ومع ذلك، واحدة خطية، والتانية منحنية، والتالتة فيها outlier، والرابعة تقريبًا مفيهاش أي تغيّر في X. من غير الرسم، هتعاملهم كلهم بنفس الطريقة.
ارسم الأول، احسب بعدين. الأرقام بتلخّص؛ الصور بتكشف.الـ histograms
الـ histogram (المدرّج التكراري) هو الأداة الأساسية لرسم الـ distribution. بيقسم مدى الـ variable لفترات جنب بعض ومش متداخلة اسمها bins (الفئات)، ويعدّ كام مشاهدة وقعت في كل bin، وبعدين يرسم عمود ارتفاعه على قد العدد ده. وعلى عكس الـ bar charts بتاعة البيانات الفئوية، أعمدة الـ histogram لازقة في بعض — واللزقة دي معناها إن الـ variable اللي ورا البيانات continuous (مستمر).
قراية الـ histogram سهلة: الأعمدة العالية معناها إن القيم متجمّعة؛ والقصيرة معناها مناطق فاضية شوية؛ والفجوات بتشاور على مجموعات فرعية محتملة أو مشاكل في القياس.
عرض الـ bin هو أهم قرار وإنت بتبني الـ histogram. bins قليلة أوي بتنعّم زيادة عن اللزوم وبتخبّي حاجات مهمة؛ وbins كتير أوي بتخلّي الـ noise العشوائي يغطّي على الأنماط الحقيقية.
قاعدة Sturges بتقترح k = 1 + log₂(n) bin كنقطة بداية. وقاعدة Scott بتحدد عرض الـ bin بـ 3.49σn⁻¹/³. الاتنين إرشادات بس — جرّب دايمًا كذا عرض مختلف.
أشكال الـ distribution
من أغلى الحاجات اللي الـ histogram ممكن يكشفها شكل الـ distribution. الشكل مش حاجة جمالية وبس — هو بيحدد أنهي طرق إحصائية مناسبة وأنهي إحصاءات ملخّصة مفيدة أكتر.
الـ distributions المتماثلة شكلها زي صورة في مراية حوالين مركزها. الـ normal distribution (التوزيع الاعتدالي) هو المثال المثالي. مع البيانات المتماثلة، الـ mean (الوسط الحسابي) والـ median (الوسيط) والـ mode (المنوال) بيقربوا من بعض، وأي واحد فيهم ملخص كويس.
الـ distributions الـ right-skewed (الملتوية يمينًا) ليها ديل طويل ممتد لليمين. الدخل والثروة وعدد سكان المدن كتير بيمشوا على النمط ده: أغلب القيم متجمّعة في الناحية الواطية، وشوية قيم متطرفة بيشدّوا الديل بعيد لليمين. هنا الـ mean بيترفع فوق الـ median — والـ median مقياس أمتن.
الـ distributions الـ left-skewed (الملتوية يسارًا) عكسها، بديل طويل للشمال. درجات امتحان سهل (أغلب الطلبة بيجيبوا كويس، وقليل بياخدوا درجات واطية أوي) غالبًا بيبان فيها left skew.
الـ distributions الـ bimodal (ثنائية القمة) ليها قمتين واضحتين، وده بيشاور إن البيانات ممكن يكون فيها مجتمعين فرعيين. لو دمجت أوقات مشاوير الصبح والمسا، أو أطوال sample من الرجالة والستات مع بعض من غير ما تفصلهم، كتير بيطلعلك قمتين.
الـ distributions الـ uniform (المنتظمة) التكرار فيها متقارب تقريبًا على كل القيم. لو رميت زهرة طاولة عادلة مرات كتير المفروض يطلعلك histogram شبه منتظم.
قياس الـ skewness
البص بعينك بيقولك الالتواء في أنهي اتجاه، بس نقدر نقيسه بـ إحصاء الـ skewness (الالتواء) — الـ third standardized central moment (العزم المركزي الثالث المعياري). القيمة القريبة من الصفر معناها تماثل؛ والموجبة معناها right skew؛ والسالبة معناها left skew.
الـ density plots والـ KDE
الـ density plot (مخطط الكثافة) بيبدّل الـ histogram بمنحنى continuous ناعم. بيتعمل باستخدام الـ kernel density estimation (تقدير كثافة النواة) أو KDE: عند كل نقطة بيانات بنحط kernel function (دالة نواة) (عادةً Gaussian)، وبعدين بنجمع كل الـ kernels. والنتيجة تقدير ناعم للـ probability density function (دالة الكثافة الاحتمالية) اللي ورا البيانات.
أهم ميزة للـ KDE على الـ histograms إنه بيشيل مشكلة حدود الـ bins الاعتباطية. لو حرّكت حد bin شوية في الـ histogram ممكن يتغيّر الـ bin اللي قيمة معيّنة واقعة فيه؛ في الـ KDE مفيش انقطاعات زي دي. والمساحة تحت منحنى الـ KDE دايمًا بتساوي 1، فتقدر تفسّره كـ probability density.
الـ bandwidth h بيلعب نفس دور عرض الـ bin في الـ histogram. قاعدة Silverman الإرشادية — h = 1.06σn⁻¹/⁵ — بتشتغل كويس لما البيانات تبقى normal تقريبًا. ومع البيانات اللي فيها كذا قمة، الـ bandwidths الأصغر غالبًا بتكشف تفاصيل أكتر.
الـ Q-Q plots: فحص الـ normality
طرق إحصائية كتير بتفترض إن البيانات ماشية على الـ normal distribution. والـ Q-Q plot (مخطط الكميّات-الكميّات) بيدّيك اختبار بالعين للافتراض ده. بيرسم الـ quantiles (الكميّات) بتاعة بياناتك على المحور الرأسي قصاد الـ quantiles المقابلة من الـ normal distribution على المحور الأفقي.
لو البيانات normal بالظبط، كل النقط هتقع على الخط القطري بالظبط. والبعد عن الخط بيكشف إزاي البيانات مش normal:
النقط بتنحني فوق الخط في الديل اليمين: البيانات ديولها أتقل من الـ normal.
النقط بتنحني تحت الخط في الديل اليمين: البيانات ديولها أخف من الـ normal.
المنحنيات على شكل S: بتشاور على skew. S طالع معناه right skew؛ وS نازل معناه left skew.
النقط على الخط: البيانات ماشية مع الـ distribution المرجعي (مثلًا الـ normal).
النقط بتنحني لبرّه في الطرفين: heavy tails (ذيول ثقيلة) — قيم متطرفة أكتر من المتوقع.
النقط بتنحني لجوّه في الطرفين: light tails (ذيول خفيفة) — قيم متطرفة أقل من المتوقع.
الـ ECDF
الـ empirical cumulative distribution function (دالة التوزيع التجريبي) أو ECDF يمكن تكون أأمن طريقة تمثّل بيها الـ distribution: مفيهاش أي اختيارات في التقسيم أو التنعيم، وكل نقطة بيانات متمثّلة بالظبط. الـ ECDF عند أي قيمة x بتدّيك نسبة نقط البيانات اللي أقل من أو بتساوي x.
الـ ECDF دالة سلّمية: بتبدأ من 0، وبتنط بمقدار 1/n عند كل نقطة بيانات، وبتوصل لـ 1 عند أكبر مشاهدة. مفيدة بالذات لما تقارن بين two distributions: ارسم الاتنين على نفس المحاور والفجوة بينهم عند أي قيمة x بتوريك الفرق في الـ cumulative probability (الاحتمال التراكمي) عند النقطة دي.
الـ stem-and-leaf plots
قبل ما الرسومات بالكمبيوتر تبقى متاحة، الإحصائيين كانوا بيستخدموا الـ stem-and-leaf plots (المخططات الجذعية والورقية) عشان يمثّلوا الـ distributions وهم محافظين على كل قيمة لوحدها. كل مشاهدة بتتقسم لـ stem أو جذع (الرقم أو الأرقام الأولى) وleaf أو ورقة (الرقم اللي بعده). لو لفّيت الـ stem-and-leaf plot 90 درجة هيبقى شبه الـ histogram — بس محافظ على كل قيمة بعينها.
الـ stem-and-leaf plots مناسبة للبيانات الصغيرة (أقل من ~100 مشاهدة) وتقريبًا اختفت من البرامج الحديثة، بس لسه نموذج ذهني مفيد: بتفكّرنا إن الـ histogram تجميع لنقط بيانات فردية، مش دالة رياضية ناعمة.
إزاي تختار الأداة المناسبة
كل رسمة ليها مكانها الطبيعي:
الـ histogram: الأحسن لنظرة أولى سريعة على variable واحد. استخدمه لما البيانات تبقى كبيرة لدرجة إن النقط الفردية هتلخبط الرسمة.
الـ KDE: الأحسن للمقارنات الناعمة — خصوصًا لما تحط كذا مجموعة فوق بعض على نفس الرسمة. المنحنى الناعم أسهل تقارنه بعينك من histograms داخلة في بعض.
الـ Q-Q plot: الأحسن عشان تتأكد إن البيانات ماشية مع افتراض distribution معيّن (عادةً الـ normality) قبل ما تطبّق اختبار parametric (معلمي).
الـ ECDF: الأحسن لما تحتاج مقارنة دقيقة بين two distributions، أو لما تكون عايز تقرا الـ percentiles بالظبط من غير bias التنعيم.
- ارسم بياناتك دايمًا قبل ما تحسب الإحصاءات — رباعي أنسكومب بيوريك إن ملخصات متطابقة ممكن تخبّي أشكال مختلفة خالص.
- الـ histograms بتكشف شكل الـ distribution بس معتمدة على اختيار عرض الـ bin؛ جرّب كذا عرض قبل ما تستقر على واحد.
- الـ KDE بيشيل مشاكل حدود الـ bins ومثالي للمقارنات الناعمة بين المجموعات؛ والـ bandwidth بيلعب دور عرض الـ bin.
- الـ Q-Q plots بتختبر البيانات ماشية مع distribution نظري ولا لأ؛ والبعد عن الخط القطري بيكشف الـ skew وسلوك الديول.
- الـ ECDF أدق تمثيل — من غير تنعيم، وكل نقطة باينة — ومثالية للمقارنات الدقيقة بين الـ distributions.