الغابات العشوائية

ML 101

M03 · L02

القوة في الأعداد

شجرة واحدة قد تُفرط في التخصص. لكن أشجارًا كثيرة تعمل معًا — كلٌّ منها تدرّبت على بيانات عشوائية، وكلٌّ منها ترى ميزات عشوائية — تُنتج نتيجة بالغة القوة والمتانة.

01 / 14

ML 101

M03 · L02

المشكلة

الأشجار تُفرط في التخصص

شجرة القرار العميقة تحفظ بيانات التدريب. غيّر نقطة بيانات واحدة وتتغير البنية كلها. هذا هو التباين العالي — رائعة على بيانات التدريب، ضعيفة على بيانات جديدة.

100%

دقة التدريب

60%

دقة الاختبار

02 / 14

ML 101

M03 · L02

الفكرة

حكمة الجماعة

ثور بقرنين في حظيرة بمعرض ليلي، يراقبه حشد يحمل قصاصات ورق، وخلفهم خيام. — تخمين كل شخص خاطئ بطريقة مختلفة. وكما في أشجار كثيرة ترتكب أخطاءً مختلفة، خذ متوسط التخمينات فتتلاشى أخطاؤها إلى حد كبير.

كل شجرة منفردة ترتكب أخطاء — لكن الأشجار المختلفة ترتكب أخطاءً مختلفة. بمتوسطة أشجار كثيرة، تتلاشى الأخطاء. هذا هو التعلم التجميعي.

03 / 14

ML 101

M03 · L02

الخطوة 1

أخذ عينات Bootstrap

كل شجرة تتدرب على عينة عشوائية مختلفة من بيانات التدريب، بالسحب مع الإعادة. يُسمى هذا التجميع التكثيفي (Bootstrap Aggregating — Bagging).

خاصية مهمة

في المتوسط، تحتوي كل عينة Bootstrap على ~63% من أمثلة التدريب الفريدة. الباقي (~37%) هي عينات "خارج الحقيبة" — تُستخدم للتحقق.

04 / 14

ML 101

M03 · L02

الخطوة 2

اختيار ميزات عشوائية

عند كل تقسيم، تنظر كل شجرة إلى مجموعة فرعية عشوائية من الميزات فقط — ليس جميعها. يُجبر هذا الأشجار على أن تكون مختلفة عن بعضها، مما يكسر الترابط.

حجم المجموعة الفرعية النموذجية

m = \begin{cases}\sqrt{p} & \text{classification}\\p/3 & \text{regression}\end{cases}

05 / 14

ML 101

M03 · L02

الخطوة 3

التصويت بالأغلبية

كل شجرة تُنبئ باستقلالية. الغابة تأخذ تصويت الأغلبية (تصنيف) أو المتوسط (انحدار). كلما زادت الأشجار، زادت استقرارية النتائج.

نعم

←

🌲

نعم

🌲

لا

🌲

نعم

🌲

نعم

06 / 14

ML 101

M03 · L02

تحقق مجاني

خطأ خارج الحقيبة

كل عينة "خارج الحقيبة" لنسبة ~37% من الأشجار. استخدم تلك الأشجار للتنبؤ بها: لا حاجة لمجموعة تحقق منفصلة. خطأ OOB تقدير موثوق لخطأ التعميم.

37%

عينات OOB

مجاني

تحقق

07 / 14

ML 101

M03 · L02

رؤية إضافية

أهمية الميزات

الغابات العشوائية تقيس مقدار تقليل كل ميزة للشوائب عبر جميع الأشجار وجميع التقسيمات. متوسط ذلك عبر الغابة — تحصل على ترتيب أهمية قوي لجميع الميزات.

متوسط انخفاض الشوائب

\text{FI}(j) = \frac{1}{N_T}\sum_{t=1}^{N_T}\sum_{\text{splits on }j}\Delta\text{Gini}

08 / 14

ML 101

M03 · L02

المعاملات القابلة للضبط

المعاملات الفائقة الرئيسية

n_estimators — عدد الأشجار (أكثر = أفضل، مع تناقص العوائد)
max_features — الميزات لكل تقسيم (√p للتصنيف، p/3 للانحدار)
max_depth — عمق كل شجرة (None = نمو كامل)
min_samples_split — الحد الأدنى للعينات لتقسيم عقدة
bootstrap — هل نستخدم أخذ عينات Bootstrap (True)

09 / 14

ML 101

M03 · L02

لماذا تنجح

تقليل التباين

الأشجار الفردية لها تحيز منخفض وتباين عالٍ. بمتوسطة N من الأشجار المستقلة: ينكمش التباين بمقدار 1/N (إن كانت غير مترابطة). اختيار الميزات العشوائي يضمن أن الأشجار غير مترابطة بشكل كافٍ.

10 / 14

ML 101

M03 · L02

أين تُستخدم