ML 101
M14 · L04
الوحدة 14

الـ policy methods

تعلّم القيمة Q درّب قيم وبعدين قرا policy منها. الـ policy كانت ناتج جانبي. والدرس ده بيدرّب الـ policy نفسها — وبيخلص بالـ reinforcement learning بيتستخدم فين فعلًا، وفين لأ.

01 / 13
ML 101
M14 · L04
لما القيم تخسر

اتعلّم الـ policy على طول

  • الـ actions المتصلة — maxa Q على زاوية توجيه هو optimization في حد ذاته، جوه كل تحديث
  • الـ optimality العشوائية — أحسن policy في حجر-ورقة-مقص عشوائية؛ والـ argmax متقدرش تقول ده
  • النعومة — تغيير قيمة صغير جدًا بيقلب الـ argmax؛ أما الاحتمالات فبتتحرّك بالراحة
02 / 13
ML 101
M14 · L04
المبرهنة

الـ policy gradient

خلّي الـ actions الكويسة أكتر احتمالًا، على قد ما هي كويسة. وخد بالك من الغايب: مفيش حد بيفاضل الـ environment، فده بيفضل model-free. ودي الصيغة من غير خصم — فمع الخصم الحد عند الخطوة t بياخد weight قده γt، وده اللي بيتشال عمليًا. ساتون وبارتو (2018)، فصل الـ policy gradient.

الـ policy gradient
\nabla_{\theta} J(\theta) = \mathbb{E}_{\pi_{\theta}}\left[ \nabla_{\theta} \log \pi_{\theta}(a \mid s) \, Q^{\pi}(s,a) \right]
03 / 13
ML 101
M14 · L04
ويليامز، 1992

REINFORCE

أبسط تمثيل. العب episode؛ واستخدم الـ return Gt اللي جه فعلًا بعد كل خطوة بدل Q. gradient ascent — الإشارة موجبة، لأن الـ reward بتتكبّر مش الـ loss بيتصغّر.

REINFORCE
\theta \leftarrow \theta + \alpha \, G_t \, \nabla_{\theta} \log \pi_{\theta}(A_t \mid S_t)
04 / 13
ML 101
M14 · L04
المأزق

من غير bias، وفيه noise من غير حدود

Gt بتجمع كل reward بعد الـ action، فبتشرب كل حادثة عشوائية جت بعده. actionين متطابقين ممكن يسحبوا returns مختلفين جامد — واحد بيتعزّز بقوة والتاني بيتثبّط بقوة.

وعيب تاني
لو كل reward موجبة، فكل action اتاخد في أي وقت بيتعزّز. والتعلّم مبيحصلش غير لأن الكويسة بتتعزّز أقوى.
05 / 13
ML 101
M14 · L04
الحل

الـ baselines والـ advantage

اطرح أي حاجة بتعتمد على الـ state مش على الـ action: الـ gradient بيفضل من غير bias، والـ variance بيقع. استخدم V(s) وهتاخد الـ advantage (الأفضلية) — فالدرجات المطلقة بتبقى نسبية.

الـ advantage
A^{\pi}(s,a) = Q^{\pi}(s,a) - V^{\pi}(s)
06 / 13
ML 101
M14 · L04
شبكتين

الـ actor والـ critic

الـ actor هو الـ policy وبيمشي ورا الـ policy gradient. والـ critic بيقدّر V(s) بـ temporal-difference regression عادي — bootstrapping الدرس 14.3، متعاد استخدامه. ومع critic الـ advantage بتبقى الـ TD error، فمش محتاج episode بتخلص.

REINFORCE
من غير bias، فيه noise
الـ actor-critic
عليه bias، عملي
07 / 13
ML 101
M14 · L04
شولمان وزمايله، 2017

الـ clipped objective بتاع PPO

خطوة واحدة حجمها زيادة بتبوّظ الـ policy — والـ policy بتولّد البيانات، فمتقدرش تتعافى. الـ PPO بيعمل clipping للـ probability ratio rt(θ) في [1−ε، 1+ε]. ولأنه بياخد الأصغر، عائد الزقّ أكتر بيتفرد.

الـ clipped objective
L^{\text{CLIP}}(\theta) = \mathbb{E}_t\!\left[ \min\!\left( r_t \hat{A}_t, ; \text{clip}(r_t, 1-\epsilon, 1+\epsilon)\hat{A}_t \right) \right]
08 / 13
ML 101
M14 · L04
ليه بقى default

ممل، وبيشتغل

  • first-order بس — طرق الـ trust region اللي قبله احتاجت معلومات انحناء؛ وclipping وmin بيدّوا أثر قريب
  • hyperparameters قليلة — مدى clipping، وlearning rate، وعدد epochs
  • إعادة استخدام البيانات — الـ clipping هو اللي بيخلّي كذا epoch على batch واحد آمنين
  • الخصائص اللي شولمان وزمايله دعوا لها — وأوضح مكان أغلب الناس بيقابلوه فيه هو RLHF (الـ slide الجاية)
  • ملحوظة: ε دي مدى clipping، مالهاش علاقة بإبسيلون الـ exploration
09 / 13
ML 101
M14 · L04
الدرس 9.3، زي ما ينبغي

RLHF

مفيش reward function لـ «إجابة مفيدة»، فبتتعلّم. كريستيانو وزمايله (2017) أسّسوا ده؛ وأويانج وزمايله (2022) طبّقوه على الـ language models.

  • بيانات التفضيل — البني آدمين بيرتّبوا الأزواج، مش بيدّوها درجات
  • الـ reward model — fit supervised على الترتيبات دي
  • fine-tuning بـ PPO — مع penalty على البعد عن الـ model الأصلي
10 / 13
ML 101
M14 · L04
قولها صريحة

حدود صريحة

  • الـ sample inefficiency — ملايين الـ episodes لمهام البني آدم بيتعلّمها في دقايق
  • تحديد الـ reward — الـ agent بيحسّن اللي إنت كتبته، مش اللي إنت قصدته
  • الـ sim-to-real — الـ policy المتدرّبة في simulator اتعلّمت الـ simulator، بأخطاؤه
  • الـ reproducibility — seeds مختلفة، منحنيات مختلفة جدًا. run واحدة مش دليل
11 / 13
ML 101
اختبار سريع

شوف إيه اللي ثبت

أربع أسئلة من الدرس ده. جاوب عشان تشوف السبب — الشرح بيظهر سواء جاوبت صح أو غلط. ونتيجتك مش بتتحفظ.

السؤال 1 من 0
النتيجة 0/0

12 / 13
ML 101
الخلاصة
مراجعة

ده رايح فين

طرق الـ policy بتدرّب πθ على طول، وده اللي القيم متقدرش عليه مع الـ actions المتصلة أو العشوائية بجد. الـ REINFORCE من غير bias وفيه noise؛ والـ baseline بيدّي الـ advantage؛ والـ critic بيخلّي التحديثات بخطوة واحدة ممكنة؛ والـ PPO بيعمل clipping للخطوة عشان الـ run تنجو. والـ RLHF هو الطبقات دي كلها متوجّهة لتفضيل البني آدم. ولو معاك أمثلة عليها labels للسلوك الصح، فاستخدم الـ supervised learning بداله.

الوحدة 14 خلصت
وصلت لآخر كورس ML 101
كل الدروس اقرا المقالة
13 / 13