models الـ transformer الحديثة
architecture واحدة، أشكال كتير — إزاي مخطط الـ transformer (المحوّل) بقى BERT وGPT وT5 وViT، وأعاد تشكيل الـ NLP والـ computer vision مع بعض.
BERT — encoder بس
Bidirectional Encoder Representations from Transformers. بيتعمل له pretraining بـ الـ masked language modeling (نمذجة اللغة بالإخفاء): التنبؤ بالـ tokens المخفية من السياق اللي على الشمال واليمين. بيتعلّم تمثيلات عميقة في الاتجاهين مثالية لمهام الفهم.
درّب مرة، اعمل fine-tuning مرات
- RoBERTa: بيانات أكتر وتدريب أطول من غير NSP — أقوى بكتير
- DistilBERT: أصغر بـ 40%، أسرع بـ 60%، محتفظ بـ 97% من الأداء
- ALBERT: مشاركة الـ parameters على الـ layers، حجم أصغر بكتير
- DeBERTa: disentangled attention للمحتوى والمكان — رائد في GLUE وSuperGLUE
GPT — decoder بس
بيتدرّب بشكل autoregressive يتنبأ بالـ token الجاي. GPT-2 بيّن أداء zero-shot بـ 1.5 مليار parameter. وGPT-3 بـ 175 مليار parameter كشف الـ in-context learning: أمثلة قليلة في الـ prompt بتعلّم مهام معقّدة من غير تحديث للـ parameters.
الـ RLHF والـ instruction tuning
- الـ language models الخام بتتنبأ بالنصوص بس مش بتمشي ورا التعليمات
- RLHF (تعلم التعزيز من التغذية الراجعة البشرية): مقيّمين بني آدمين بيرتّبوا الـ outputs؛ وPPO بيحسّن التفضيل
- InstructGPT → ChatGPT → GPT-4: نفس الفكرة بحجم بيكبر
- الـ instruction tuning (من غير RL) بيحقق أغلب المكاسب بشكل أبسط
T5 — text-to-text
transformer encoder-decoder كامل. كل مهمة بتبقى نص داخل ونص خارج: الترجمة، والـ classification، والإجابة على الأسئلة، والتلخيص — model واحد، loss واحدة، fine-tuning واحد. بيتعمل له pretraining على C4 بالـ span corruption. وFlan-T5 بيزوّد أكتر من 1800 مهمة.
ViT — vision transformer
قسّم الصورة لـ patches 16×16، اعمل embedding لكل واحد، زوّد positional encoding، وشغّل transformer encoder عادي. ده الـ vision transformer (محوّل الرؤية): مفيش convolutions. مفيش bias محلي. في النطاق الصغير الـ CNNs بتكسب؛ وفي النطاق الكبير الـ ViT بيغلبها.
Swin وDeiT وDINO
- DeiT: بيدرّب ViT على ImageNet لوحده بالـ distillation — من غير dataset ضخمة
- Swin: دمج patches هرمي وشبابيك محلية ← features متعددة الأحجام للـ detection والـ segmentation
- DINO/DINOv2: self-supervised learning على ViT → features بتتعمّم للعمق والـ segmentation من غير labels
pretraining وتكييف
- الـ transformers الكبيرة المتدرّبة على بيانات واسعة بتبقى نقط بداية شاملة — ودي الـ foundation models (نماذج الأساس)
- CLIP: contrastive learning للرؤية واللغة ← zero-shot image classification
- GPT-4V وLLaVA: large language models متوسّعة عشان تقبل inputs صور
- استراتيجيات التكييف: الـ fine-tuning، LoRA، الـ prompt engineering، RAG
اتعلّمت إيه
BERT (encoder بس، MLM)، وGPT (decoder بس، autoregressive)، وT5 (encoder-decoder، text-to-text)، وViT (patches + transformer encoder) — كلهم architecture واحدة، متظبطة بشكل مختلف. والـ foundation models والتكييف بدل إعادة التدريب هما الطريقة المعتادة دلوقتي.