STAT 101
M05 · L01
الوحدة 5 · الدرس 1

الـ point estimation

بنشوف البيانات. وعايزين نعرف الـ parameter اللي وراها. الـ point estimation (التقدير النقطي) بيدّينا أحسن تخمين واحد — والأدوات اللي نعرف بيها التخمين ده كويس قد إيه.

01 / 13
STAT 101
M05 · L01
دقة في الكلام

الـ estimator قصاد الـ estimate

الـ estimator (المقدِّر)
g(X₁,…,Xₙ)
random variable
الـ estimate (التقدير)
g(x₁,…,xₙ)
رقم معيّن

الحروف الكبيرة = random variable. والحروف الصغيرة = قيمة اتشافت. خصايص زي الـ bias والـ variance تخص الـ estimator، مش أي estimate بعينه.

02 / 13
STAT 101
M05 · L01
الخاصية المرغوبة #1

الـ unbiasedness

في المتوسط، على كل الـ samples الممكنة، الـ estimator بيصيب الهدف الحقيقي — ودي الـ unbiasedness (اللاتحيز):

الـ unbiasedness
E[\hat{\theta}] = \theta
أمثلة
X̄ unbiased لـ μ.
S² بـ n−1 unbiased لـ σ².
03 / 13
STAT 101
M05 · L01
الخاصية المرغوبة #2

الـ consistency

بيانات أكتر = أقرب للحقيقة — ودي الـ consistency (الاتساق). رسميًا، θ̂ₙ بيتقارب في الـ probability لـ θ:

الـ consistency
\lim_{n\to\infty} P(|\hat{\theta}_n - \theta| > \varepsilon) = 0
04 / 13
STAT 101
M05 · L01
الخاصية المرغوبة #3

الـ efficiency وحد Cramér-Rao

  • من بين كل الـ estimators الـ unbiased، بنفضّل أصغر variance — ودي الـ efficiency (الكفاءة)
  • حد Cramér-Rao بيحط أقل variance ممكن
  • الـ estimator اللي بيوصل للحد اسمه UMVUE
  • الـ MLE كفؤ asymptotically
05 / 13
STAT 101
M05 · L01
إطار التقدير #1

الـ method of moments

ساوي الـ sample moments بالـ population moments، وبعدين حل — ودي الـ method of moments (طريقة العزوم):

الـ method of moments
E[X^k] = \tfrac{1}{n}\sum_{i=1}^n X_i^k
مثال: الـ normal
μ̂ = X̄, σ̂² = (1/n)Σ(Xᵢ−X̄)²
06 / 13
STAT 101
M05 · L01
إطار التقدير #2

الـ maximum likelihood

اختار θ اللي يخلّي البيانات اللي شفناها أكتر احتمالًا — ده الـ maximum likelihood (الإمكانية العظمى):

الـ likelihood function
L(\theta) = \prod_{i=1}^{n} f(x_i;\,\theta)

عمليًا، عظّم الـ log-likelihood ℓ(θ) = Σ log f(xᵢ; θ).

07 / 13
STAT 101
M05 · L01
حل الـ MLE

الـ score equation

فاضل الـ log-likelihood، وساويه بالصفر:

الـ score equation (معادلة الدرجة)
\dfrac{\partial\,\ell(\theta)}{\partial\theta} = 0 \implies \hat{\theta}_{\mathrm{MLE}}
ليه الـ log؟
الضرب → جمع. مستقر في الحساب. ونفس نقطة الأقصى.
08 / 13
STAT 101
M05 · L01
الـ MLE في التطبيق

الـ MLE للـ normal distribution

  • التعظيم بالنسبة لـ μ → μ̂ = X̄ (الـ sample mean)
  • التعظيم بالنسبة لـ σ² → σ̂² = (1/n)Σ(Xᵢ−X̄)²
  • σ̂² بيستخدم n (متحيز شوية) على عكس S² بـ n−1 (unbiased)
  • لـ n كبير، الفرق صغير
09 / 13
STAT 101
M05 · L01
نتايج MLE زيادة

Bernoulli وPoisson

  • Bernoulli(p): p̂ = X̄ = k/n (الـ sample proportion)
  • Poisson(λ): λ̂ = X̄ (الـ sample mean)
  • الاتنين زي الـ method of moments — بس مش دايمًا كده
  • الـ invariance: لو θ̂ هو الـ MLE لـ θ، يبقى g(θ̂) هو الـ MLE لـ g(θ)
10 / 13
STAT 101
M05 · L01
التوتر الجوهري

الـ bias-variance trade-off

تحليل الـ MSE
\mathrm{MSE}(\hat{\theta}) = \mathrm{Var}(\hat{\theta}) + [\mathrm{Bias}(\hat{\theta})]^2
الفكرة الجوهرية
الـ estimator المتحيز ممكن يغلب الـ unbiased لو الـ variance بتاعه أصغر بكتير. والـ regularization بيستغل ده.
11 / 13
STAT 101
اختبار سريع

شوف إيه اللي ثبت

4 أسئلة من الدرس ده. جاوب عشان تشوف السبب — الشرح بيظهر سواء جاوبت صح أو غلط. ونتيجتك مش بتتحفظ.

السؤال 1 من 0
النتيجة 0/0

12 / 13
STAT 101
الخلاصة
مراجعة

اتعلّمت إيه

  • الـ estimator (عشوائي) قصاد الـ estimate (رقم ثابت)
  • الـ unbiasedness، والـ consistency، والـ efficiency (حد Cramér-Rao)
  • الـ method of moments: طابق الـ moments بتاعة الـ sample والـ population
  • الـ MLE: عظّم الـ log-likelihood — consistent وكفؤ asymptotically
  • MSE = الـ variance + الـ bias² — الـ trade-off الجوهري
الجاي
الدرس 2 — الـ confidence intervals ←
كل الدروس اقرا المقالة
13 / 13