الـ Markov decision processes
الدرس 14.1 وصف الـ loop. وعشان تحسب أي حاجة لازم تقول بدقة الـ environment إيه. والـ Markov decision process (عملية قرار ماركوف) هي القول ده — وثمرتها معادلة recursive واحدة المجال كله اتبنى عليها.
الـ Markov property
الـ state والـ action الحاليين بيحدّدوا اللي جاي بعدهم. والتاريخ مبيزوّدش حاجة. وضعية الشطرنج Markov؛ وframe فيديو واحد لكورة بتتحرّك مش كده — مفيهوش سرعة.
خمس أجزاء
- S — الـ states، وشوية منها terminal
- A — الـ actions، وممكن تعتمد على الـ state
- p — احتمالات الانتقال لـ s′ وr
- r — الـ reward function، وهي خاصية الـ environment
- γ — الـ discount factor، 0 ≤ γ ≤ 1
الـ return المخصوم
الـ agent مبيكبّرش الـ reward الجاية لكن كل اللي بعدها. والـ action في الزمن t بيكسب Rt+1، فالمجموع بيبدأ من هناك — من غير خصم، لأن γ0 = 1. ده الـ return (العائد).
تلات أسباب
- مجموع rewards مبيخلصش ممكن يبقى لا نهائي، واللانهايات مبتتقارنش
- الأقرب أحسن بجد — عشر خطوات أحسن من ألف
- المستقبل البعيد مش مؤكّد، فدّيه weight أقل
- γ = 0 قصير النظر؛ وقريب من 1 بعيد النظر وأبطأ في التعلّم؛ ومن 0.9 لـ 0.99 معتاد
- γ = 1 بس لما يبقى مضمون إن الـ episodes تخلص
الـ state تساوي إيه
الـ policy π(a | s) بتدّي احتمال كل action. وقيمة الـ state هي الـ return اللي المفروض تتوقّعه منها — ومبتبقاش غير تحت policy معيّنة. والـ superscript مش زينة.
قيمة الـ action
خد الـ action a الأول، وبعدين امشي ورا π. مع V لازم تبص لقدّام عن طريق الـ model عشان تقارن الـ actions؛ ومع Q بتقارن أرقام متفهرسة على حسب الـ action أصلًا. وعشان كده الدرس 14.3 بيتعلّم القيمة Q.
القيمة، بشكل recursive
الـ return بيتقسم للـ reward الجاية زائد الـ return المخصوم من المكان اللي بتنزل فيه. خد المتوسط على الـ policy، وبعدين على الـ environment. معادلة خطّية واحدة لكل state.
من متوسط لـ حد أقصى
الـ agent الـ optimal مبياخدش متوسط اللي ممكن يعمله — بياخد أحسن action. والتوقّع على الـ environment بيفضل، لأنك متقدرش تكبّر على اللي الدنيا بتعمله. والمعادلة مبقتش خطّية.
ممر من أربع خلايا
الـ states 1 و2 و3 والهدف G على خط واحد. يمين من 3 بيدفع 1 وبينهي الـ episode؛ وأي حركة تانية بتدفع 0. γ = 0.9، وكل القيم بتبدأ من 0. تلات passes لتحديث الـ optimality وتتحل.
الـ value iteration ولا الـ policy iteration
- الـ value iteration — عدّي بتحديث الـ optimality لحد ما مفيش حاجة تتغيّر
- الـ policy iteration — قيّم الـ policy بالظبط، وبعدين خلّيها greedy، وكرّر
- الـ value iteration أرخص في الـ pass؛ والـ policy iteration محتاج دورات أقل
- الـ policy عادةً بتبقى optimal قبل ما القيم تستقر
- والاتنين محتاجين p — ومحدش بيسلّمك dynamics مخزن
اتعلّمت إيه
الـ Markov decision process هي S وA وp وr وγ، قايمة على الـ Markov property. والـ return بيخصم المستقبل. وV بتقول الـ state تساوي إيه تحت policy؛ وQ بتقول الـ action يساوي إيه. ومعادلتين بلمان بيخلّوا الاتنين recursive، والـ dynamic programming بيحلّهم لما p تبقى معروفة.