الـ clustering الهرمي والكثافي
الـ K-Means محتاج K. والـ K-Means محتاج كُوَر. والبيانات الحقيقية مش محتاجة لا ده ولا ده. اتعرّف على بديلين أقويا بيسيبوا البيانات تقرّر شكلها وبنيتها.
شجرة من التجميعات
الـ hierarchical clustering (التجميع الهرمي) بيبني dendrogram (مخطط شجري) — شجرة كاملة من n مجموعة كل واحدة فيها نقطة لحد مجموعة واحدة. اقطع عند أي ارتفاع وخد أي عدد من المجموعات. مش محتاج K من الأول.
ادمج لحد ما يفضل واحد
- البداية: كل نقطة في مجموعة لوحدها (n مجموعة)
- دوّر على أقرب مجموعتين على حسب مسافة الـ linkage
- ادمجهم في مجموعة واحدة
- عيد لحد ما تفضل مجموعة واحدة
- سجّل كل دمج — ده هو الـ dendrogram
أربع طرق تقيس بيها المسافة
- الـ single — أقل مسافة بين أي نقطتين من كل مجموعة
- الـ complete — أكبر مسافة؛ بيكتّل بس بيفتّت المجموعات الكبيرة
- الـ average — متوسط المسافات بين الأزواج؛ توازن كويس
- Ward — بيقلّل زيادة الـ variance؛ الأحسن في أغلب الحالات
معيار Ward
Ward بيدمج الجوز اللي بيقلّل الزيادة في الـ variance الكلي جوه المجموعات. بيطلّع مجموعات متكتّلة ومتوازنة. والاختيار الافتراضي في أغلب التحليلات. ده الـ Ward's method (معيار وارد).
قطع الـ dendrogram
ارتفاع الدمج = قد إيه الاختلاف في الخطوة دي. قفزة كبيرة بين دمجين ورا بعض بتشاور على حد طبيعي — اقطع هناك. وعدد الفروع عند القطع هو K اللي اخترته.
المجموعات مناطق كثيفة
الـ DBSCAN (التجميع الكثافي) بيلاقي المناطق اللي النقط متكوّمة فيها ويفصلها عن الخلفية المتفرّقة. مفيش K. أي شكل. والشذوذات بتتصنّف أوتوماتيك كـ noise.
core وborder وnoise
- core — ≥ MinPts جار جوه ε؛ جوه منطقة كثيفة
- border — جوه ε من core point بس مش كثيفة
- noise — مش core ومش قريبة من core؛ شذوذ
- المجموعات = مكوّنات متصلة من الـ core points + حدودها
تعريف جيرة ε
كل النقط اللي بتبعد عن p مسافة ≤ ε بتعمل جيرتها. ولو الجيرة فيها ≥ MinPts نقطة، يبقى p نقطة core وبتبدأ مجموعة.
أشكال حرة وشذوذات ببلاش
- من غير K — عدد المجموعات بيطلع من كثافة البيانات
- أي شكل — أهلّة، حلزونات، حلقات — مفيش مشكلة
- كشف الشذوذ — نقط الـ noise بتتصنّف أوتوماتيك
- حتمي — نفس الـ inputs دايمًا بتدّي نفس النتايج
اختيار الـ algorithm
- K-Means — بيانات كبيرة، مجموعات كروية، K معروف
- هرمي — شجرة سهل تفسّرها، بيانات صغيرة/متوسطة، استكشاف K
- DBSCAN — أشكال حرة، كشف شذوذ، K مش معروف
- لما الكثافات تختلف جامد ← فكّر في HDBSCAN
اتعلّمت إيه
الـ hierarchical بيبني dendrogram؛ ومعيار Ward هو الأحسن عمليًا. والـ DBSCAN بيلاقي مجموعات بأي شكل وبيصنّف الشذوذات. الجاي: الـ dimensionality reduction — PCA وt-SNE وUMAP.