تعلّم القيمة Q
الدرس 14.2 حل الـ Markov decision process باستخدام الـ transition probabilities. ومحدش بيسلّمك الاحتمالات دي. فالسؤال: هل agent يقدر يتعلّم يتصرّف كويس بمجرد إنه يتصرّف، من غير ما يقدّر ولا احتمال واحد؟ ده الـ Q-learning (تعلّم القيمة Q).
model-free
الروبوت مبيعرفش احتمال إن عجلته تتزحلق. الـ value iteration محتاج الرقم ده؛ وتعلّم القيمة Q مش محتاجه. بيستخدم اللي حصل فعلًا بدل اللي ممكن يحصل. ساتون وبارتو (2018) بيرسموا الخط ده بالظبط.
التعلّم من خطوة واحدة
الـ Monte Carlo بيستنّى آخر الـ episode. أما الـ temporal-difference learning فبيرفض يستنّى: بعد خطوة واحدة بيقارن رأيه القديم بالـ reward اللي لسه قابضها زائد القيمة المخصومة للمكان اللي نزل فيه.
قاعدة التحديث
حرّك التقدير القديم جزء قده α ناحية التقدير الأحسن. رسالة واتكينز سنة 1989 قدّمتها؛ وواتكينز ودايان (1992) أثبتوا إن النسخة الـ tabular بتعمل convergence للـ action values الـ optimal.
ممر من أربع خلايا
- الـ states A – B – C – G؛ وG هي الهدف الـ terminal
- الـ actions شمال، يمين. واليمين من C بيدخل G
- الـ rewards 0 لكل خطوة، و+10 عند دخول G
- α = 0.5، γ = 0.9، وكل خانة في Q بتبدأ من 0
- G terminal، فـ maxa Q(G, a) = 0
أول قيمة مش صفر
في C، اتحرّك يمين، ادخل G. الـ reward +10، وG terminal فحد الـ bootstrapping 0.
Q(C, right) ← 0 + 0.5×10 = 5.0
خد بالك 5.0 مش 10 — نص الدليل، لأن α = 0.5.
التعلّم من غير reward
في B، اتحرّك يمين، ووصل لـ C. الـ reward 0. بس maxa Q(C, a) = max(0، 5.0) = 5.0، فيه حاجة تتعلّم.
Q(B, right) ← 0 + 0.5×4.5 = 2.25
reward صفر، وتعلّم حقيقي. جه كله من تقدير الـ agent نفسه لـ C.
القيمة بتمشي لورا
في C تاني، يمين لـ G. نفس الانتقال، وجدول مختلف.
Q(C, right) ← 5.0 + 0.5×5.0 = 7.5
كل زيارة بتقفل نص الفجوة: 5.0، 7.5، 8.75، 9.375… ناحية Q* = 10، مع Q*(B, يمين) = 9 وQ*(A, يمين) = 8.1 بخطوة خصم واحدة وراها.
الـ epsilon-greedy
باحتمال 1 − ε خد أحسن action معروف؛ وباحتمال ε اتصرّف عشوائي. خشن، وهو اللي بيخلّي كل زوج state-action ينفع يتوصله — الشرط اللي برهان واتكينز ودايان بيطلبه.
SARSA جنب تعلّم القيمة Q
رَمِري ونيرانجان (1994). حد واحد بيختلف: الأكبر على a، قصاد الـ action اللي اتاخد فعلًا. أعد التحديث 2 مع شمال استكشافي من C — الـ Q-learning بيتعلّم القيمة 2.25، والـ SARSA بيتعلّم صفر.
الـ Deep Q-Networks
- الممر محتاج 8 خانات؛ وشاشة أتاري محتاجة عدد أكبر بشكل فلكي
- والأوحش: الجدول مالوش مفهوم للتشابه بين شاشتين شبه متطابقين
- الـ DQN بيبدّل الجدول بشبكة؛ وقاعدة التحديث متغيّرتش
- الـ experience replay — mini-batches عشوائية من buffer بتكسر الارتباط بين الـ frames اللي ورا بعض، وبتعيد استخدام كل انتقال
- الـ target network — نسخة متجمّدة θ− بتحسب الـ target، فبيبطّل يتحرّك مع كل خطوة gradient
اتعلّمت إيه
تعلّم القيمة Q مش محتاج model. بيعمل bootstrapping بعد خطوة واحدة، وبيحرّك التقدير جزء قده α ناحية الـ reward زائد أحسن قيمة جاية مخصومة. في الممر: 5.0، وبعدين 2.25 من خطوة من غير reward، وبعدين 7.5. والـ epsilon-greedy بتستكشف وبتتقلّل تدريجيًا. والـ SARSA هو التوأم الـ on-policy. والـ DQN بيبدّل الجدول ومحتاج experience replay وtarget network عشان ينجو — منيه وزمايله، Nature (2015).