2. Zhlukovanie na základe hustoty (metódy založené na modeli)

Zhlukovanie založené na hustote, metóda založená na modeli, nájde skupiny na základe hustoty údajových bodov. Na rozdiel od klastrovania založeného na centroidoch, ktoré vyžaduje, aby bol počet klastrov vopred definovaný a je citlivý na inicializáciu, zhlukovanie založené na hustote určuje počet klastrov automaticky a je menej náchylné na počiatočné pozície. Sú skvelé pri manipulácii s klastrami rôznych veľkostí a foriem, vďaka čomu sú ideálne pre množiny údajov s nepravidelne tvarovanými alebo prekrývajúcimi sa klastrami. Tieto metódy spravujú oblasti s hustými aj riedkymi údajmi so zameraním na lokálnu hustotu a dokážu rozlíšiť zhluky s rôznymi morfológiami.

Naproti tomu zoskupenie založené na centroidoch, podobne ako k-means, má problém nájsť zhluky ľubovoľného tvaru. Vďaka prednastavenému počtu požiadaviek na klaster a extrémnej citlivosti na počiatočné umiestnenie ťažísk sa výsledky môžu líšiť. Okrem toho tendencia prístupov založených na centroidoch vytvárať sférické alebo konvexné zhluky obmedzuje ich schopnosť zvládnuť komplikované alebo nepravidelne tvarované zhluky. Na záver, zhlukovanie založené na hustote prekonáva nevýhody techník založených na centroidoch tým, že autonómne vyberá veľkosti klastrov, je odolné voči inicializácii a úspešne zachytáva klastre rôznych veľkostí a foriem. Najpopulárnejší zhlukovací algoritmus založený na hustote je DBSCAN .

3. Klastrovanie založené na konektivite (hierarchické zoskupovanie)

Metóda na zostavovanie súvisiacich dátových bodov do hierarchických zhlukov sa nazýva hierarchické zhlukovanie. Každý údajový bod sa na začiatku berie do úvahy ako samostatný klaster, ktorý sa následne skombinuje s klastrami, ktoré sú si najpodobnejšie, aby sa vytvoril jeden veľký klaster, ktorý obsahuje všetky údajové body.

Zamyslite sa nad tým, ako môžete usporiadať zbierku predmetov podľa toho, nakoľko sú si podobné. Každý objekt začína ako svoj vlastný zhluk na báze stromu pri použití hierarchického zhlukovania, ktoré vytvára dendrogram, štruktúru podobnú stromu. Najbližšie páry zhlukov sa potom skombinujú do väčších zhlukov po tom, čo algoritmus preskúma, nakoľko sú si objekty navzájom podobné. Keď je každý objekt v jednom klastri na vrchole stromu, proces spájania sa skončil. Skúmanie rôznych úrovní podrobnosti je jednou zo zábavných vecí na hierarchickom zoskupovaní. Ak chcete získať daný počet zhlukov, môžete vybrať možnosť rezu dendrogram v určitej výške. Čím sú si dva objekty v zhluku podobnejšie, tým sú bližšie. Je to porovnateľné s klasifikáciou položiek podľa ich rodokmeňov, kde sú najbližší príbuzní zoskupení a širšie vetvy znamenajú všeobecnejšie spojenia. Existujú 2 prístupy pre hierarchické zoskupovanie:

• Divisive Clustering : Nasleduje prístup zhora nadol, tu považujeme všetky dátové body za časť jedného veľkého klastra a potom sa tento klaster rozdelí na menšie skupiny.
• Aglomeratívne klastrovanie : Nasleduje prístup zdola nahor, tu považujeme všetky dátové body za súčasť jednotlivých klastrov a potom sa tieto klastre spoja, aby vytvorili jeden veľký klaster so všetkými dátovými bodmi.

4. Klastrovanie založené na distribúcii

Pomocou klastrovania založeného na distribúcii sú dátové body generované a organizované podľa ich sklonu spadať do rovnakého rozdelenia pravdepodobnosti (ako je gaussovské, binomické alebo iné) v rámci údajov. Prvky údajov sú zoskupené pomocou rozdelenia založeného na pravdepodobnosti, ktoré je založené na štatistických rozdeleniach. Zahrnuté sú dátové objekty, ktoré majú vyššiu pravdepodobnosť, že budú v klastri. Je menej pravdepodobné, že dátový bod bude zahrnutý do klastra, čím ďalej je od centrálneho bodu klastra, ktorý existuje v každom klastri.

Významnou nevýhodou prístupov založených na hustote a hraniciach je potreba a priori špecifikovať klastre pre niektoré algoritmy a predovšetkým definícia klastrovej formy pre väčšinu algoritmov. Musí byť vybraté aspoň jedno ladenie alebo hyperparameter, pričom by to malo byť jednoduché, nesprávne nastavenie môže mať neočakávané následky. Klastrovanie založené na distribúcii má jednoznačnú výhodu oproti prístupom zhlukovania založeným na blízkosti a centroidoch, pokiaľ ide o flexibilitu, presnosť a štruktúru zhlukov. Kľúčovou otázkou je, aby sa zabránilo nadmerná montáž Mnoho metód klastrovania pracuje iba so simulovanými alebo vyrobenými údajmi, alebo keď väčšina údajových bodov určite patrí do prednastavenej distribúcie. Najpopulárnejší klastrovací algoritmus založený na distribúcii je Gaussov model zmesi .

Aplikácie klastrovania v rôznych oblastiach:

1. marketing: Môže sa použiť na charakterizáciu a objavovanie segmentov zákazníkov na marketingové účely.
2. biológia: Môže sa použiť na klasifikáciu medzi rôznymi druhmi rastlín a živočíchov.
3. Knižnice: Používa sa pri zoskupovaní rôznych kníh na základe tém a informácií.
4. poistenie: Používa sa na uznanie zákazníkov, ich politiky a identifikáciu podvodov.
5. Plánovanie mesta: Používa sa na vytváranie skupín domov a na štúdium ich hodnôt na základe ich geografickej polohy a iných prítomných faktorov.
6. Štúdie zemetrasení: Poznaním oblastí postihnutých zemetrasením môžeme určiť nebezpečné zóny.
7. Spracovanie obrazu : Klastrovanie možno použiť na zoskupenie podobných obrázkov, klasifikáciu obrázkov na základe obsahu a identifikáciu vzorov v obrazových údajoch.
8. genetika: Klastrovanie sa používa na zoskupovanie génov, ktoré majú podobné vzorce expresie, a na identifikáciu génových sietí, ktoré spolupracujú v biologických procesoch.
9. Financie: Klastrovanie sa používa na identifikáciu trhových segmentov na základe správania zákazníkov, identifikáciu vzorcov v údajoch o akciovom trhu a analýzu rizika v investičných portfóliách.
10. Zákaznícky servis: Klastrovanie sa používa na zoskupovanie otázok a sťažností zákazníkov do kategórií, identifikáciu bežných problémov a vývoj cielených riešení.
11. Výroba : Klastrovanie sa používa na zoskupovanie podobných produktov, optimalizáciu výrobných procesov a identifikáciu chýb vo výrobných procesoch.
12. Lekárska diagnóza: Klastrovanie sa používa na zoskupovanie pacientov s podobnými symptómami alebo chorobami, čo pomáha pri presnej diagnóze a identifikácii účinnej liečby.
13. Detekcia podvodu: Klastrovanie sa používa na identifikáciu podozrivých vzorcov alebo anomálií vo finančných transakciách, čo môže pomôcť pri odhaľovaní podvodov alebo iných finančných trestných činov.
14. Analýza návštevnosti: Klastrovanie sa používa na zoskupovanie podobných vzorov dopravných údajov, ako sú hodiny v špičke, trasy a rýchlosti, čo môže pomôcť pri zlepšovaní plánovania dopravy a infraštruktúry.
15. Analýza sociálnych sietí: Klastrovanie sa používa na identifikáciu komunít alebo skupín v rámci sociálnych sietí, čo môže pomôcť pochopiť sociálne správanie, vplyv a trendy.
16. Kyber ochrana: Klastrovanie sa používa na zoskupovanie podobných vzorcov sieťovej prevádzky alebo správania systému, čo môže pomôcť pri odhaľovaní a prevencii kybernetických útokov.
17. Klimatická analýza: Klastrovanie sa používa na zoskupovanie podobných vzorcov klimatických údajov, ako sú teplota, zrážky a vietor, čo môže pomôcť pochopiť zmenu klímy a jej vplyv na životné prostredie.
18. Športová analýza: Klastrovanie sa používa na zoskupovanie podobných vzorcov údajov o výkonnosti hráčov alebo tímu, čo môže pomôcť pri analýze silných a slabých stránok hráča alebo tímu a pri prijímaní strategických rozhodnutí.
19. Analýza kriminality: Klastrovanie sa používa na zoskupovanie podobných vzorcov údajov o trestnej činnosti, ako je poloha, čas a typ, čo môže pomôcť pri identifikácii ohniskov kriminality, predpovedaní budúcich trendov kriminality a zlepšovaní stratégií prevencie kriminality.

Záver

V tomto článku sme diskutovali o klastrovaní, jeho typoch a aplikáciách v reálnom svete. V učení bez dozoru je potrebné pokryť oveľa viac a klastrová analýza je len prvým krokom. Tento článok vám môže pomôcť začať s klastrovacími algoritmami a pomôcť vám získať nový projekt, ktorý možno pridať do vášho portfólia.

Často kladené otázky (FAQ) o klastrovaní

Otázka: Aká je najlepšia metóda klastrovania?