architecture الـ transformer
إزاي رص الـ attention والـ feedforward layers مع الـ residual connections والـ layer normalization والـ positional encoding طلّع الـ architecture اللي مسيطرة دلوقتي على كل الـ deep learning. ده الـ transformer (المحوّل).
Attention Is All You Need
الورقة شالت الـ recurrence خالص. مفيش hidden states، مفيش اعتماد تسلسلي — attention layers وfeedforward networks وبس. وخلال سنة عدّت كل معايير الـ RNNs. وخلال سنتين أعادت تشكيل المجال كله.
stack الـ encoder والـ decoder
- الـ encoder: N layer من الـ self-attention + الـ feedforward، بيعالج الـ input كله بالتوازي
- الـ decoder: N layer من الـ masked self-attention + الـ cross-attention + الـ feedforward
- الـ masked self-attention بيمنع الانتباه للـ tokens الجاية (autoregressive)
- الـ cross-attention بيخلّي الـ decoder يسأل تمثيلات الـ encoder في كل خطوة
حقن الترتيب
بيتجمع على embeddings الـ tokens قبل أول layer. والشكل الجيبي بيعمّم على أطوال مشافهاش في التدريب. والـ models الحديثة غالبًا بتستخدم ترميزات بتتعلّم أو نسبية (RoPE وALiBi).
تدريب الـ stacks العميقة
الـ residual connections بتدّي الـ gradients ممر مباشر على الشبكات العميقة. والـ layer normalization بتثبّت مقاييس الـ activations بشكل مستقل عن حجم الـ batch.
حساب لكل مكان
الـ attention بيخلط على الأماكن. والـ feedforward بتحوّل كل مكان لوحده. بتوسع لـ 4×dmodel وبعدين بتنكمش. والأبحاث بتشاور إنها بتخزّن المعرفة الواقعية.
توازي كامل
- الـ RNNs: الاعتماد التسلسلي بيجبر ht تستنى ht-1
- الـ transformers: كل الأماكن بتتحسب مرة واحدة كضرب matrices
- قدرة التدريب بتكبر مع توازي الـ GPU مش مع طول الـ sequence
- hardware أكتر = إنتاج أكتر بالتناسب
العلاقات البعيدة
- الـ RNN: الـ gradient بيعدّي على k خطوة عشان يربط المكان t بـ t−k
- الـ transformer: كل مكان بينتبه على طول لكل مكان تاني في layer واحدة (طول المسار = 1)
- العلاقات البعيدة مش أصعب في التعلّم من القريبة
- حتى الـ LSTM بتتدهور في الـ sequences الطويلة جدًا؛ والـ transformer لأ
تحسّن ينفع يتوقّع
- الأداء ماشي على power law في الحساب والبيانات والـ parameters
- مضاعفة أي مورد بتدّي مكسب ثابت ومتوقّع
- الانتظام ده هو اللي خلّى GPT-3 وGPT-4 والـ foundation models الحديثة ممكنة
- عنق الزجاجة الأساسي: attention بـ O(n²) — والـ FlashAttention والطرق الـ sparse بتعالج ده
اتعلّمت إيه
الـ transformer بيرص الـ attention + الـ feedforward + الـ residual connections + الـ layer normalization في architecture متوازية بالكامل. والـ positional encoding بيحقن الترتيب. وتلات خصائص — التوازي وطول المسار الثابت والـ scaling laws — بيفسّروا سيطرته. والدرس 9.3 بيعرض عيلة الـ transformers الحديثة: BERT وGPT وT5 وViT.