الـ neural networks متعددة الـ layers
neuron واحد بيرسم خط. ارصّ layers من الـ neurons وهتقدر ترسم أي حاجة. والـ hidden layers (الطبقات المخفية) بتكسر حاجز الخطية — وبتطلق القدرة الكاملة للـ neural networks (الشبكات العصبية).
الـ hidden layers
بين الـ inputs والـ outputs فيه hidden layer واحدة أو أكتر. كل layer بتحوّل الـ representation. وكل تحويل يقدر يتعلّم decision boundaries منحنية مفيش مستوى واحد يقدر يعبّر عنها.
ليه الـ activation functions مهمة؟
تركيب تحويلات خطية بيدّي تحويل خطي. وعشان تكسب قدرة تعبيرية، كل hidden neuron بيغلّف المجموع الموزون بتاعه بـ activation (تنشيط) مش خطية — من غيرها، العمق مبيزوّدش حاجة.
- من غير activation ← بتتلخّص لـ linear model
- مع الـ activation ← تقريب أي function
- اختيار الـ activation بيشكّل مرور الـ gradient
الـ sigmoid والـ tanh
الكلاسيكيين. الـ sigmoid بيضغط لـ (0،1)، والـ tanh لـ (−1،1). ناعمين وينفع يتفاضلوا. بس بيوصلوا لـ الـ saturation (التشبّع) عند الأطراف: الـ gradients بتصغر لقرب الصفر، وده بيعطّل التعلّم في الشبكات العميقة.
ReLU — البساطة بتكسب
max(0, z). بتعدّي الموجب زي ما هو، وبتصفّر السالب. الـ gradient 1 للـ inputs الموجبة — مفيش saturation في الناحية الشغّالة. والشبكات العميقة بتتدرّب أسرع بكتير. والاختيار الافتراضي النهارده للـ hidden layers.
Leaky وGELU واللي بعدهم
- Leaky ReLU — ميل صغير α للسالب؛ بيمنع الـ dead neurons
- Parametric ReLU — α بتتعلّم أثناء التدريب
- GELU — gate جاوسي؛ ناعم؛ المعيار في الـ transformers والـ large language models
- Swish — z·σ(z)؛ self-gated؛ مستخدم في EfficientNet
layer واحدة تحكمهم كلهم؟
hidden layer واحدة بعرض كفاية تقدر تقرّب أي function مستمرة. سايبنكو أثبت ده سنة 1989. بس “العرض الكفاية” ممكن يبقى أُسّي — والعمق أكفأ بكتير في التطبيق.
الـ forward propagation
layer ورا layer: اضرب الـ weights في الـ activations اللي قبلها، زوّد الـ bias، طبّق اللاخطية. output كل layer بيبقى input اللي بعدها. وoutput آخر layer هو الـ prediction. ده الـ forward propagation (الانتشار الأمامي).
activations على حسب المهمة
- الـ sigmoid — binary classification، output في (0،1)
- الـ softmax — أكتر من فئتين، احتمالات مجموعها 1
- ولا حاجة (خطي) — regression، قيمة متوقعة خام
- الاختيار مش اختياري — لازم يمشي مع الـ loss function
العمق قصاد العرض
- العرض — neurons أكتر في الـ layer، patterns أكتر في كل خطوة
- العمق — layers أكتر، تركيب هرمي للخصائص
- الشبكات الأعمق: قدرة أُسّية، parameters كتير
- الشبكات الأعمق: أصعب في التدريب (vanishing gradients)
- الممارسة الحديثة: عمق معتدل + skip connections
عمق أكتر، مخاطر أكتر
كل layer بتتزوّد بتزوّد الـ capacity. والسعة الزيادة بتخلّي الشبكة تحفظ noise التدريب بدل ما تعمّم. والحل بيانات أكتر أو regularization — مش layers أقل. والأدوات جاية في الوحدة الجاية.
اتعلّمت إيه
hidden layers + activations مش خطية = تقريب شامل للـ functions. الـ ReLU مسيطرة على الـ hidden layers. الـ forward propagation ضرب matrices layer ورا layer. activation الـ output بتمشي مع المهمة. والعمق بيكسب القدرة التركيبية — بتمن تدريب أصعب.