ML 101
M08 · L03
الوحدة 8

تطبيقات الـ sequences

الـ language models، والـ text classifiers، وترجمة الـ sequence-to-sequence، والـ time series forecasting، والـ speech recognition — كل تطبيق أساسي للـ recurrent network (الشبكة المتكررة) متوصّل بـ architecture محدّدة وloss function وإجراء inference.

01 / 11
ML 101
M08 · L03
الـ language modeling

اتنبأ بالكلمة الجاية

التدريب بالتنبؤ بالـ token الجاي: تدّيله الـ prefix، يتنبأ بـ wt. الـ loss = cross-entropy. ومقياس التقييم = الـ perplexity (الحيرة) = exp(الـ loss). perplexity أقل معناها model بيتفاجئ أقل بالنصوص الحقيقية.

perplexity الـ RNN
60–100
perplexity الـ transformer
< 20
02 / 11
ML 101
M08 · L03
تدريب الـ language model

الـ loss بتاعة الـ language model

الـ cross-entropy loss
-\frac{1}{T}\sum_{t=1}^{T}\log P(w_t\mid w_1,\ldots,w_{t-1})

صغّر متوسط سالب اللوغاريتم على كل الأماكن. والسحب الـ autoregressive وقت الـ inference: ولّد token ← رجّعه كـ input ← وعيد.

03 / 11
ML 101
M08 · L03
الـ text classification

الـ sequence لـ label

  • شغّل الـ sequence على الـ RNN ← استخدم آخر hT كملخّص
  • زوّد classification head خطي + softmax لاحتمالات الفئات
  • في الاتجاهين: توصيل [&overrightarrow;hT ; &overleftarrow;h1] عشان تمثيل أغنى
  • الـ padding والـ masking بيعالجوا الـ sequences اللي أطوالها متغيّرة
04 / 11
ML 101
M08 · L03
sequence-to-sequence

الـ encoder — الـ decoder

  • الـ encoder بيضغط الـ input في الـ context vector c = hTenc
  • الـ decoder بيبدأ بـ c ويولّد الـ outputs بشكل autoregressive
  • التطبيقات: الترجمة، التلخيص، الحوار
  • عنق الزجاجة: الـ input كله مضغوط في vector واحد حجمه ثابت
05 / 11
ML 101
M08 · L03
الـ inference

الـ beam search

الـ greedy decoding بيختار الـ token الأكتر احتمال في كل خطوة بس ممكن يفوّت sequences أحسن. والـ beam search (البحث الحزمي) بيحتفظ بأحسن k مرشّح — عرض beam من 4 لـ 10 بيحسّن الجودة بشكل واضح.

greedy
k = 1
beam
k = 4–10
06 / 11
ML 101
M08 · L03
الـ time series forecasting

اتنبأ بالقيم الجاية

  • الـ output layer: linear regression (MSE/MAE loss)، مش softmax
  • استراتيجيات خطوة واحدة أو كذا خطوة
  • الـ preprocessing: الـ differencing والـ normalization للـ non-stationarity
  • الـ LSTM بتمسك الارتباطات بين المتغيرات في الـ multivariate series
07 / 11
ML 101
M08 · L03
الـ speech recognition

الـ frames الصوتية لنص

frames log-mel بحجم 25ms ← deep BiLSTM ← حروف. الـ input والـ output ليهم طولين مختلفين. والـ CTC loss بتعمل marginalization على كل الـ alignments الصحيحة — مش محتاج alignment بالإيد.

الـ CTC loss
-\log\sum_{\pi\in\mathcal{B}^{-1}(y)}P(\pi\mid x)
08 / 11
ML 101
M08 · L03
آلية الـ attention

البحث الناعم

  • الـ decoder بيحسب مجموع موزون على كل حالات الـ encoder في كل خطوة
  • درجات التوافق: a(st−1, hj) → softmax → attention weights αtj
  • السياق ct = ∑jαtjhj بيركّز على الأماكن المهمة في الـ input
  • بيعدّي عنق زجاجة الـ vector الثابت — ووصّل على طول للـ transformers
09 / 11
ML 101
اختبار سريع

شوف إيه اللي ثبت

أربع أسئلة من الدرس ده. جاوب عشان تشوف السبب — الشرح بيظهر سواء جاوبت صح أو غلط. ونتيجتك مش بتتحفظ.

السؤال 1 من 0
النتيجة 0/0

10 / 11
ML 101
الخلاصة
مراجعة

اتعلّمت إيه

الـ recurrent networks بتشغّل الـ language models (التنبؤ بالـ token الجاي + الـ perplexity)، والـ text classifiers (hT + softmax)، والترجمة (encoder-decoder + beam search)، والـ time series (MSE loss)، والـ speech recognition (CTC loss). والـ attention بيعدّي عنق الزجاجة، وبيمهّد للـ transformers في الوحدة 9.

الجاي
الوحدة 9 — الـ transformers ←
كل الدروس اقرا المقالة
11 / 11