الإحصاء رايح على فين
وحدات الكورس ده ادّتك أساس متين: أنواع البيانات والـ sampling، ورسم البيانات، والـ probability، والـ distributions، والتقدير، والـ hypothesis testing، والـ regression، والـ time series، وتصميم التجارب. دي الأدوات الأساسية اللي الإحصائيين وعلماء البيانات بيستخدموها كل يوم. بس المجال ممتد لأبعد بكتير من الأدوات دي.
الدرس ده بيستعرض 6 آفاق: الـ survival analysis، والـ spatial statistics، والـ functional data analysis، والـ high-dimensional statistics، والـ causal inference، والتقاطع بين الـ machine learning والإحصاء. كل واحد فيهم تخصص ناضج ليه أبحاثه وبرامجه ومجتمعه. والهدف هنا إنك تاخد خريطة كفاية تقرر بيها تستكشف أنهي آفاق، وتعرف تقرا إيه لما توصلها.
الـ survival analysis
الـ survival analysis (تحليل البقاء) بيتعامل مع بيانات الوقت لحد ما حدث يحصل: قد إيه لحد ما مريض يتوفى، أو جهاز يبوظ، أو عميل يلغي الاشتراك، أو مستخدم يضغط. والتحدي الجوهري هو الـ censoring (الرقابة): ناس كتير لسه محصلهمش الحدث لحد آخر الدراسة. المريض اللي لسه عايش لما الدراسة تخلص بيدّي معلومة — عارفين إنه عاش على الأقل لحد النقطة دي — بس وقت بقائه مش معروف. ولو رميت المشاهدات الـ censored هيدخل bias جامد؛ والـ survival analysis بيتعامل معاها صح.
الحاجة الأساسية هي الـ survival function (دالة البقاء) S(t) = P(T > t): احتمال إن الحدث ميحصلش لحد الوقت t. والـ estimator الـ nonparametric ليها هو الـ Kaplan-Meier estimator (مُقدِّر كابلان-ماير)، اللي بيطلّع دالة سلّمية بتنزل عند كل وقت حدث اتشاف.
الـ Cox proportional hazards model (نموذج كوكس للمخاطر النسبية) بيمدّ الـ survival analysis للـ covariates. الـ model ده بيعمل model للـ hazard — معدل الحدث اللحظي بشرط إنك عشت لحد الوقت t — على إنه baseline hazard مضروب في دالة أسية للـ covariates. والفكرة الأساسية: الـ regression coefficients ممكن تتقدّر من غير ما تحدد الـ baseline hazard، وده بيخلّيه semiparametric. والـ Cox regression من أكتر الطرق الإحصائية اللي بيتستشهد بيها في الأبحاث الطبية الحيوية.
الـ censoring — الحدث متشافش لحد آخر الدراسة؛ المشاهدة ناقصة بس مفيدة.
الـ hazard function h(t) — معدل الحدث اللحظي بشرط إنك عشت لحد الوقت t.
الـ log-rank test — مقارنة nonparametric لمنحنيات البقاء بين المجموعات.
البرامج: حزم R زي survival وsurvminer؛ وفي Python: lifelines وscikit-survival.
الـ spatial statistics
الـ spatial statistics (الإحصاء المكاني) بيحلّل البيانات اللي فيها مكوّن جغرافي. الطرق الإحصائية القياسية بتفترض الاستقلالية بين المشاهدات. بس البيانات المكانية بتكسر ده: الأماكن القريبة بتميل تبقى شبه بعض أكتر من البعيدة — ظاهرة اسمها الـ spatial autocorrelation (الارتباط الذاتي المكاني). وإنك تتجاهلها بيطلّع standard errors أصغر من الحقيقة وبيبالغ في الثقة في الاستنتاجات.
قانون Tobler الأول في الجغرافيا بيقول: "كل حاجة مرتبطة بكل حاجة، بس الحاجات القريبة مرتبطة أكتر من البعيدة." والكلام ده بيتقاس بالـ variogram، اللي بيمثّل متوسط مربع الفرق بين القيم في أزواج أماكن كدالة في المسافة بينهم (الـ lag). الـ variogram بيطلع من نقطة الأصل (nugget صغير بيعكس خطأ القياس) لحد أقصى اسمه الـ sill عند مسافة الارتباط المكاني بيختفي عندها.
الـ kriging، اللي طوّره مهندس المناجم داني كريج، تقنية geostatistical للتنبؤ المكاني الأمثل. لو عندك قيم اتشافت في أماكن معيّنة، الـ kriging بيطلّع أحسن linear unbiased predictor في أي مكان متشافش، ومعاه الـ variance بتاع التنبؤ. وهو النسخة المكانية من الـ Gaussian process regression.
الـ spatial statistics، جنب الـ geostatistics، بيشمل الـ areal data analysis (بيانات متجمّعة على وحدات إدارية زي المحافظات) بأدوات زي Moran's I والـ conditional autoregressive models، والـ point process analysis (model لأماكن الأحداث زي حالات المرض أو مراكز الزلازل).
الـ functional data analysis
الـ functional data analysis (FDA) (تحليل البيانات الدالية) بيتعامل مع المنحنيات أو الأسطح أو أي دوال تانية على إنها وحدة المشاهدة، بدل vector من القياسات العادية. منحنى نمو طفل، أو بروفايل الحرارة على مدار سنة، أو trace EEG لتجربة واحدة — كل واحد منهم دالة، والـ FDA بيدّي أدوات تلخّصها وتقارنها وتعمل ليها model.
الـ mean function والـ covariance function بياخدوا مكان الـ mean vector والـ covariance matrix. والـ functional principal component analysis (FPCA) بيفكّ المنحنيات لـ basis functions متعامدة (eigenfunctions للـ covariance operator) وscores، وبيختصر البيانات اللي أبعادها لا نهائية لمجموعة features ينفع تتعامل معاها. وهو النسخة الدالية من الـ PCA الكلاسيكي.
الـ FDA ليه تطبيقات خاصة في الأبحاث الطبية الحيوية (منحنيات النمو والـ biomarkers الطولية)، وعلوم البيئة (الـ time series للحرارة والأمطار)، والهندسة (إشارات الـ sensors مع الزمن). والفكرة الأساسية: إنك تعامل المنحنى كله كوحدة تحليل بيمسك معلومات الملخصات العادية زي الـ maximum أو المساحة تحت المنحنى بترميها.
الإحصاء الكلاسيكي: بنشوف vector x ∈ ℝp.
الإحصاء الدالي: بنشوف دالة x(t) متعرّفة على فترة [a, b]. "البعد" لا نهائي، بس التركيبة (النعومة) بتخلّي المسألة ينفع تتحل.
FPCA: x(t) ≈ μ(t) + Σk ξk φk(t)، وξk هنا scores عشوائيةالـ high-dimensional statistics
الـ high-dimensional statistics (الإحصاء عالي الأبعاد) بيتعامل مع المسائل اللي عدد الـ variables فيها p قريب من عدد المشاهدات n أو أكبر منه. النظرية الـ asymptotic الكلاسيكية كانت بتفترض n → ∞ وp ثابت؛ أما الوضع الحديث فهو n, p → ∞ مع بعض، وغالبًا p ≫ n. والـ genomics هي المثال النموذجي: دراسة واحدة ممكن يبقى فيها n = 200 مريض وp = 20,000 feature للـ gene expression.
الـ ordinary least squares بيقع لما p ≥ n: الـ design matrix ناقصة الـ rank، والـ coefficients مش متحددة، والتنبؤ برّه الـ sample كارثة. والـ regularization بينقذ الموقف بإنه يزوّد حد عقوبة على هدف الـ least squares بيقلّص الـ coefficients أو يصفّرها.
الـ Ridge regression بيستخدم عقوبة L2 بتقلّص كل الـ coefficients ناحية الصفر بس نادرًا لما بتصفّرها. والـ Elastic Net بيجمع عقوبتين L1 وL2 عشان يحقق اختيار variables وتعامل مع الـ predictors المرتبطة. والـ Lasso (Least Absolute Shrinkage and Selection Operator) اتشهر جدًا لأن خاصية الـ sparsity بتخلّي النتيجة سهلة تتفسّر.
الـ high-dimensional statistics، جنب الـ regression، بيشمل الـ multiple testing (ضبط الـ false discovery rate على آلاف الاختبارات في نفس الوقت)، والـ covariance estimation (covariance matrices sparse أو ليها تركيبة لما p ≫ n)، والـ compressed sensing (إنك ترجّع إشارات sparse من قياسات أقل بكتير من بعد الإشارة).
الـ causal inference بعمق
الوحدة 11 استعرضت الـ causal inference في سياق تصميم التجارب. هنا هنتعمق في الـ potential outcomes framework (اسمه كمان Rubin causal model)، اللي بيدّي اللغة الرسمية للأسئلة السببية. لكل وحدة i، عرّف Yi(1) على إنها النتيجة تحت الـ treatment وYi(0) على إنها النتيجة من غير treatment. والـ individual treatment effect هو Yi(1) − Yi(0)، بس هو مش ممكن يتشاف من الأساس لأن كل وحدة مينفعش تبقى في حالتين في نفس الوقت — المشكلة الأساسية للـ causal inference.
الـ average treatment effect (ATE) = E[Y(1) − Y(0)] ينفع يتقدّر من الـ randomized experiments، اللي الـ treatment فيها متوزع بشكل مستقل عن الـ potential outcomes. وفي الدراسات الـ observational، الاستقلال ده بيفشل؛ ولازم تظبط الـ confounders بالـ matching أو الـ propensity score weighting أو الـ regression adjustment.
الـ instrumental variables (IV) بتدّي حل أنيق لما يبقى فيه confounder مش باين: لاقي variable Z بيأثر على توزيع الـ treatment بس بيأثر على النتيجة عن طريق الـ treatment بس. الـ Z ده هو الـ instrument. والتقدير بالـ IV — خصوصًا الـ two-stage least squares (2SLS) — بيحدد أثر سببي للمجموعة الفرعية من الـ compliers (اللي حالة الـ treatment بتاعتهم بتتغيّر لما Z يتغيّر).
الـ regression discontinuity (RD) بيستغل الحدود الحادة في قواعد التوزيع. لو الطلبة اللي جابوا فوق 70 خدوا منحة واللي تحتها لأ، نقدر نقارن النتايج للطلبة اللي قريبين من الحد — مجموعتين تقريبًا زي بعض ما عدا المنحة — عشان نقدّر أثرها السببي. والـ difference-in-differences (DiD) بيقارن التغيّرات على مدار الزمن بين مجموعة الـ treatment ومجموعة الـ control، وبيحدد الآثار السببية تحت افتراض الـ parallel trends.
الـ randomized experiment — المعيار الدهبي؛ الـ treatment مستقل عن الـ potential outcomes من التصميم.
الـ matching / الـ propensity weighting — observational؛ بيظبط الـ confounders المفترض إنها اتقاست.
الـ instrumental variables — محتاجة instrument برّاني؛ بتحدد الـ LATE للـ compliers.
الـ regression discontinuity — محتاج حد حاد للتوزيع؛ أثر سببي محلي قريب من العتبة.
الـ difference-in-differences — محتاج parallel trends؛ بيستغل الـ panel data.
الـ machine learning والإحصاء: نقطة التقاطع
الإحصاء والـ machine learning طلعوا من مدارس مختلفة — الإحصاء من الرياضيات والعلوم التجريبية، والـ machine learning من علوم الكمبيوتر والذكاء الاصطناعي — بس بيقربوا من بعض بسرعة. وفهم العلاقة بينهم بينوّر المجالين.
التنبؤ قصاد الاستدلال هو أوضح خط فاصل. الإحصاء الكلاسيكي بيركّز على الاستدلال: تقدير الـ parameters، وتحديد عدم اليقين، واختبار الفرضيات. والـ machine learning بيركّز على التنبؤ: بناء models بتتعمّم على بيانات جديدة، ومتقيّمة بالـ held-out test error. الـ linear regression model شفاف وغني بالاستدلال؛ والـ gradient-boosted forest ممكن يتنبأ أحسن بس أصعب يتفسّر. ولا هدف فيهم أعلى من التاني؛ الاتنين بيخدموا أغراض مختلفة.
الـ regularization هو الكوبري. الـ Ridge regression = linear regression بـ L2 regularization = حالة خاصة من الـ Gaussian process regression بـ prior معيّن. والـ Lasso = linear regression بـ L1 regularization = تقدير MAP تحت Laplace prior. والـ cross-validation لاختيار lambda = تقدير marginal likelihood للـ empirical Bayes. ونفس الطرق طلعت بشكل مستقل في المدرستين.
الـ conformal prediction إطار حديث بيلف أي predictor black box — neural network، أو random forest، أو أي خوارزمية — في prediction interval صالحة بضمانات coverage للـ samples المحدودة، من غير افتراضات parametric. وبيمدّ القياس الإحصائي لعدم اليقين لـ models الـ machine learning اللي النظرية الكلاسيكية مش بتغطّيها.
الـ double machine learning (DML)، اللي طوّره Chernozhukov وزمايله، بيجمع الـ machine learning عالي الأبعاد مع الـ causal inference. الفكرة: تستخدم الـ machine learning عشان تشيل بمرونة تأثيرات الـ controls اللي أبعادها عالية على الـ treatment والنتيجة الاتنين، وبعدين تقدّر الآثار السببية على الـ residuals. وده بيحقق convergence rates semiparametric للـ causal parameters حتى لما الـ nuisance functions تبقى عالية الأبعاد.
التجميع لسه بيتشكّل. الإحصائيين النهارده محتاجين يبقوا فاهمين الـ machine learning؛ وممارسين الـ machine learning بيستفيدوا من الانضباط الإحصائي في عدم اليقين والتفكير السببي والاستدلال الصح. الحدود بتدوب، وأكتر شغل مثير للاهتمام قاعد بالظبط عند التقاطع.
- الـ survival analysis بيتعامل مع بيانات الوقت لحد الحدث مع الـ censoring. والـ Kaplan-Meier estimator بيوصف منحنيات البقاء بشكل nonparametric؛ والـ Cox regression بيمدّ ده للـ covariates بشكل semiparametric.
- الـ spatial statistics بياخد الاعتماد الجغرافي في الاعتبار. والـ kriging بيدّي تنبؤ مكاني أمثل؛ والـ variograms بتحدد الارتباط بيقل إزاي مع المسافة.
- الـ functional data analysis بيعامل المنحنيات كلها كمشاهدات. والـ FPCA بيفكّ المنحنيات لمكوّنات ينفع تتفسّر، وبيسمح بالـ regression والـ clustering للبيانات الدالية.
- الـ high-dimensional statistics بيتعامل مع حالات p ≫ n. والـ Lasso regularization بيختار الـ variables ويقدّر الـ coefficients في نفس الوقت؛ وضبط الـ false discovery rate بيظبط الـ multiple testing الضخم.
- الـ causal inference بيعدّي الارتباط في المشاهدات بأدوات الـ instrumental variables والـ regression discontinuity والـ difference-in-differences.
- الإحصاء والـ machine learning بيقربوا من بعض. الـ regularization والـ cross-validation وقياس عدم اليقين أساسات مشتركة؛ والـ conformal prediction والـ double machine learning أمثلة على تجميع مثمر.