الـ point estimation | STAT-101

مشكلة التقدير

في قلب الاستدلال الإحصائي فيه تحدي جوهري: عايزين نعرف حاجة عن population — الـ mean بتاعه، أو الـ variance بتاعه، أو احتمال حدث معيّن — بس مش قادرين نشوفه غير من خلال sample محدودة. الـ point estimation (التقدير النقطي) هو فن إنك تستخدم بيانات الـ sample عشان تطلّع أحسن تخمين واحد لـ parameter (معامل) مش معروف في الـ population.

الـ parameter المجهول ممكن يبقى الـ mean μ لـ normal distribution، أو احتمال النجاح p لمحاولة Bernoulli، أو المعدل λ لـ Poisson process، أو أي كمية تانية بتوصف البيانات بتتولد إزاي. مش بنقدر نشوف الـ parameters دي على طول؛ بنشوف بس نتايجها اللي فيها noise في البيانات.

في الدرس ده هنبني مصطلحات التقدير (الـ estimator قصاد الـ estimate، والـ bias، والـ consistency، والـ efficiency)، ونطوّر إطارين منهجيين للتقدير (الـ method of moments والـ maximum likelihood)، ونستكشف الـ trade-off الأساسي بين الـ bias والـ variance اللي بيحكم كل مسائل التقدير.

الـ estimator قصاد الـ estimate

قبل أي حاجة، محتاجين دقة في الكلام. الـ estimator (المقدِّر) هو دالة في البيانات — قاعدة أو طريقة بتحوّل sample لرقم. والـ estimate (التقدير) هو القيمة المعيّنة اللي الـ estimator بيطلّعها لما تطبّقه على بيانات بعينها.

مثلًا، الـ sample mean X̄ = (X₁ + X₂ + … + X_n) / n هو estimator للـ mean بتاع الـ population μ. لو شفنا القيم {2.1, 3.4, 1.8, 4.0}، يبقى x̄ = 2.825 هو الـ estimate — الرقم المعيّن اللي القاعدة دي بتطلّعه على البيانات دي.

الـ estimator random variable: ليه distribution (الـ sampling distribution) لأنه معتمد على بيانات عشوائية. والـ estimate رقم ثابت، وهو القيمة اللي الـ random variable ده خدها فعلًا. والتفرقة دي مهمة جدًا: لما نتكلم عن خصايص زي الـ bias والـ variance، إحنا بنتكلم عن الـ estimator — سلوكه على كل الـ samples الممكنة — مش عن أي estimate لوحده.

التفرقة الجوهرية

الـ estimator: Θ̂ = g(X₁, …, X_n) — دالة في random variables، وهو نفسه random variable ليه distribution.

الـ estimate: θ̂ = g(x₁, …, x_n) — الرقم المعيّن المحسوب من البيانات اللي شفناها. الحروف الصغيرة = اللي اتشاف؛ والحروف الكبيرة = random variable.

الـ unbiasedness

أبسط خاصية مرغوبة في الـ estimator وأقربها للبديهة هي الـ unbiasedness (اللاتحيز): في المتوسط، على كل الـ samples الممكنة، الـ estimator المفروض يساوي قيمة الـ parameter الحقيقية. رسميًا:

الـ unbiasedness

E[\hat{\theta}] = \theta \quad \text{for all } \theta

الـ estimator بيبقى unbiased لو الـ expectation بتاعه ساوت قيمة الـ parameter الحقيقية لكل قيم θ الممكنة. والـ bias بيساوي صفر: Bias(θ̂) = E[θ̂] − θ = 0.

الـ sample mean X̄ هو estimator unbiased للـ mean μ لأي population الـ mean بتاعه محدود. والـ sample variance S² = ∑(X_i − X̄)² / (n − 1) هو estimator unbiased لـ σ² — القسمة على n − 1 بدل n هي بالظبط اللي بتخلّيه unbiased.

بس الـ bias مش دايمًا قاتل. فيه estimators متحيزة بقصد عشان تقلّل الـ variance، وده بيدّي أداء أحسن في المجمل. الـ sample variance بالقسمة على n (الـ maximum likelihood estimator لـ σ²) متحيز، بس بسيط ولسه مفيد في سياقات كتير. والمعيار الصح معتمد على إنت بتوازن بين الـ bias والـ variance إزاي.

الـ consistency والـ efficiency

الـ consistency (الاتساق) خاصية للـ samples الكبيرة: الـ estimator بيبقى consistent لو بيتقارب في الـ probability للـ parameter الحقيقي لما n → ∞. رسميًا، Θ̂_n consistent لـ θ لو لكل ε > 0:

الـ consistency

\lim_{n\to\infty} P\!\left(|\hat{\theta}_n - \theta| > \varepsilon\right) = 0

كل ما الـ sample size يكبر، احتمال إن الـ estimator يبعد عن القيمة الحقيقية بيقرب من الصفر. الـ estimator الـ consistent بـ«يتعلّم» الـ parameter الحقيقي لو خد بيانات كفاية.

قانون الأعداد الكبيرة بيضمن إن الـ sample mean consistent لأي population الـ mean بتاعه محدود. وبشكل أعم، أي estimator unbiased الـ variance بتاعه بيقرب من الصفر كل ما n يكبر بيبقى consistent.

الـ efficiency (الكفاءة) بتقارن الـ estimators جوه فئة الـ estimators الـ unbiased. الـ estimator الـ unbiased بيبقى efficient (كفؤ) لو وصل لأصغر variance ممكن بين كل الـ estimators الـ unbiased. والـ Cramér-Rao bound (CRLB) أو حد كراميه-راو بيدّي الحد النظري الأدنى للـ variance اللي أي estimator unbiased يقدر يوصله:

الـ Cramér-Rao bound

\text{Var}(\hat{\theta}) \geq \frac{1}{I(\theta)} = \frac{1}{E\!\left[\left(\frac{\partial}{\partial\theta}\log f(X;\theta)\right)^{\!2}\right]}

I(θ) هي الـ Fisher information (معلومات فيشر) — مقياس للبيانات تقدر «تقولنا» قد إيه عن θ. كل ما I(θ) تكبر، الـ variance الممكن بيصغر. والـ estimator اللي بيوصل للحد ده اسمه UMVUE.

الـ method of moments

الـ method of moments (طريقة العزوم) أو MOM من أقدم طرق التقدير وأقربها للبديهة. الفكرة بسيطة: الـ population moment من الدرجة k هو E[X^k]، وده معتمد على الـ parameter المجهول θ. والـ sample moment من الدرجة k هو m_k = (1/n)∑X_i^k، ومحسوب من البيانات. الطريقة بتساوي الـ sample moments بالـ population moments وتحل المعادلات عشان تطلّع الـ parameters.

للـ distribution اللي ليه parameter واحد بنستخدم الـ moment الأول. ولاتنين parameters، بنستخدم الأول والتاني، وهكذا. ونظام المعادلات هو:

الـ method of moments

E[X^k] = m_k = \frac{1}{n}\sum_{i=1}^n X_i^k, \quad k = 1, \ldots, K

ساوي أول K population moments بأول K sample moments، وبعدين حل عشان تجيب الـ K parameters المجهولة. وقانون الأعداد الكبيرة بيضمن الـ consistency.

مثال — الـ normal distribution: الـ distribution N(μ, σ²) عنده E[X] = μ وE[X²] = σ² + μ². لما تساوي m₁ = X̄ بيطلعلك μ̂ = X̄، ولما تحل من الـ moment التاني بيطلعلك σ̂² = (1/n)∑(X_i − X̄)². بسيط ومنطقي.

الـ method of moments سهلة في التطبيق والـ estimators اللي بتطلع منها consistent. بس ممكن متبقاش الأكفأ — هي مش بتستخدم كل المعلومات اللي في البيانات بأحسن طريقة. وعشان كده بنلجأ للـ maximum likelihood.

الـ maximum likelihood estimation

الـ maximum likelihood estimation (تقدير الإمكانية العظمى) أو MLE هو النموذج المسيطر في الإحصاء الحديث. الفكرة إنك تلاقي قيمة الـ parameter اللي بتخلّي البيانات اللي شفناها أكتر احتمالًا — الـ parameter اللي البيانات تحته تبقى «أرجح» حاجة.

مع مشاهدات x₁, …, x_n من density (أو PMF) f(x; θ)، الـ likelihood function (دالة الإمكانية) بتعتبر البيانات ثابتة وبتبص لـ f كدالة في θ:

الـ likelihood function

L(\theta) = \prod_{i=1}^{n} f(x_i;\,\theta)

للمشاهدات المستقلة، الـ joint density بتتفكّ لحاصل ضرب. وL(θ) هي الـ likelihood — بتجاوب على: «البيانات دي كانت محتملة قد إيه، كدالة في θ؟»

ولأن حاصل ضرب أرقام صغيرة كتير بيعمل مشاكل في الحساب، تقريبًا دايمًا بنشتغل بالـ log-likelihood (لوغاريتم الإمكانية) ℓ(θ) = log L(θ). وبما إن الـ log دالة بتزيد، يبقى إنك تعظّم ℓ وإنك تعظّم L بيدّوا نفس الحل:

الـ log-likelihood

\ell(\theta) = \log L(\theta) = \sum_{i=1}^{n} \log f(x_i;\,\theta)

الـ log بيحوّل الضرب لجمع — أسهل في التفاضل ومستقر في الحساب. والـ MLE هو θ̂ اللي بيعظّم ℓ(θ).

عشان تجيب الـ MLE، فاضل الـ log-likelihood بالنسبة لـ θ وساوي المشتقة بالصفر. وده بيدّيك الـ score equation (معادلة الدرجة):

الـ score equation بتاعة الـ MLE

\frac{\partial \ell(\theta)}{\partial \theta} = 0 \implies \hat{\theta}_{\text{MLE}}

الـ score هو الـ gradient بتاع الـ log-likelihood. لما تساويه بالصفر بتلاقي القيمة العظمى (اتأكد إنها عظمى مش صغرى بالمشتقة التانية).

الـ MLE للـ distributions المشهورة

يلا نشتغل على 3 أمثلة هما الأهم، بيوضّحوا طريقة الـ MLE وبيطلّعوا نتايج هتستخدمها طول الوقت.

الـ normal distribution N(μ, σ²): الـ log-likelihood لـ n مشاهدة normal i.i.d. هو:

الـ log-likelihood بتاع الـ normal

\ell(\mu,\sigma^2) = -\dfrac{n}{2}\log(2\pi\sigma^2) - \dfrac{1}{2\sigma^2}\sum_{i=1}^n(x_i - \mu)^2

التفاضل بالنسبة لـ μ بيدّي μ̂ = X̄. والتفاضل بالنسبة لـ σ² بيدّي σ̂² = (1/n)Σ(Xᵢ − X̄)². ملاحظة: الـ MLE لـ σ² بيستخدم المقسوم عليه n (متحيز شوية) على عكس S² اللي بـ n−1 (unbiased).

الـ MLE لـ Bernoulli

\hat{p}_{\text{MLE}} = \bar{X} = \dfrac{\sum_{i=1}^n X_i}{n}

p̂ = X̄ = k/n، وk هنا عدد النجاحات. الـ sample proportion هي الـ MLE.

الـ MLE لـ Poisson

\hat{\lambda}_{\text{MLE}} = \bar{X} = \dfrac{\sum_{i=1}^n X_i}{n}

λ̂ = X̄. الـ sample mean هو الـ MLE لمعدل Poisson. ونفس نتيجة الـ method of moments.

ليه الـ MLE قوي

الـ consistency: تحت شروط regularity بسيطة، الـ estimator θ̂ بيتقارب في الـ probability لـ θ الحقيقية لما n → ∞.

الـ asymptotic efficiency: الـ MLE بيوصل لحد Cramér-Rao بشكل asymptotic — مفيش estimator consistent (من النوع العادي) الـ asymptotic variance بتاعه أصغر.

الـ invariance (الثبات): لو θ̂ هو الـ MLE لـ θ، يبقى g(θ̂) هو الـ MLE لـ g(θ) لأي دالة g. وده بيخلّي التحويلات سهلة جدًا.

الـ bias-variance trade-off

الـ unbiasedness والـ variance الصغير الاتنين مرغوبين، بس كتير بيتعارضوا. الـ mean squared error (متوسط مربع الخطأ) أو MSE بيجمعهم في معيار واحد بيقيس الدقة الكلية للـ estimator:

تحليل الـ MSE

\text{MSE}(\hat{\theta}) = E[(\hat{\theta}-\theta)^2] = \underbrace{\text{Var}(\hat{\theta})}_{\text{variance}} + \underbrace{[\text{Bias}(\hat{\theta})]^2}_{\text{bias}^2}

MSE = الـ variance + الـ bias². الـ estimator المتحيز ممكن يبقى الـ MSE بتاعه أقل من الـ unbiased لو الـ variance بتاعه أصغر بكتير. والتفكيك ده هو الـ bias-variance trade-off (مقايضة التحيز-التباين).

فكّر في تقدير الـ variance بتاع الـ normal σ². الـ estimator σ̂² = (1/n)∑(X_i − X̄)² متحيز (E[σ̂²] = ((n-1)/n)σ²)، بس الـ variance بتاعه أصغر من الـ S² = (1/(n-1))∑(X_i − X̄)² الـ unbiased. لـ n صغير، التبادل ده ممكن يستاهل؛ ولـ n كبير، الاتنين تقريبًا زي بعض.

الـ bias-variance trade-off مش مجرد فضول — ده التوتر الأساسي في الإحصاء كله والـ machine learning. الـ regularization (التحجيم) (Ridge، Lasso) بيدخّل bias بقصد عشان يقلّل الـ variance. والـ shrinkage estimators (مقدِّرات الانكماش) (زي estimator جيمس-شتاين) بتنكمش بقصد ناحية الصفر أو قيمة مسبقة، وبتبدّل الـ unbiasedness بـ MSE أقل في الأبعاد العالية.

الإحساس: أسهم على لوحة نيشان

unbiased، والـ variance عالي: أسهم مركزها نص اللوحة بس مبعترة. صح في المتوسط، بس ولا سهم قريب.

متحيز، والـ variance واطي: أسهم متجمّعة جامد بس بعيدة عن النص. غلط دايمًا في نفس الاتجاه، بس ثابت.

unbiased، والـ variance واطي: المثالي — مركزها النص ومتجمّعة جامد. ممكن بس لو فيه estimator كفؤ unbiased (UMVUE).

أهم النقط

الـ estimator قصاد الـ estimate: الـ estimator Θ̂ = g(X₁,…,X_n) random variable (قاعدة)؛ والـ estimate θ̂ = g(x₁,…,x_n) هو الرقم المعيّن اللي بيطلّعه على البيانات اللي اتشافت.
الـ unbiasedness: E[Θ̂] = θ لكل θ. الـ sample mean unbiased لـ μ؛ والـ sample variance بـ n−1 unbiased لـ σ².
الـ consistency: Θ̂_n → θ في الـ probability لما n → ∞. أي estimator unbiased الـ variance بتاعه → 0 بيبقى consistent.
الـ efficiency: حد Cramér-Rao بيدّي أقل variance ممكن أي estimator unbiased يوصله. والـ MLE كفؤ asymptotically.
الـ method of moments: ساوي الـ sample moments بالـ population moments وحل. بسيطة وconsistent بس مش دايمًا الأكفأ.
الـ MLE: اختار θ اللي بيعظّم L(θ) = ∏f(x_i;θ)، أو بنفس المعنى ℓ(θ) = ∑log f(x_i;θ). الـ MLEs consistent، وكفؤة asymptotically، وثابتة لو غيّرت الـ parameterization.
الـ bias-variance trade-off: MSE = الـ variance + الـ bias². إدخال bias ممكن يقلّل الـ MSE لو نقّص الـ variance كفاية. والتوتر ده أساسي في الإحصاء والـ machine learning.