Czy są jakieś algorytmy, które mogą pomóc w hierarchicznym grupowaniu? Mapa Google zmniejsza tylko przykład k-klastra. W przypadku hierarchicznego grupowania nie jestem pewien, jak można dzielić pracę między węzłami. Inne zasoby, które znalazłem: http://issues.apache.org/jira/browse/MAHOUT-19 Ale nie jest jasne, które algorytmy są używane.Rozproszone hierarchiczne grupowanie
Po pierwsze, trzeba zdecydować, czy masz zamiar budować hierarchię oddolne lub odgórne.
Z dołu do góry nazywa się hierarchiczne aglomeracyjne skupienie. Oto prosty, dobrze udokumentowany algorytm: http://nlp.stanford.edu/IR-book/html/htmledition/hierarchical-agglomerative-clustering-1.html.
Dystrybucja oddolnego algorytmu jest trudna, ponieważ każdy rozproszony proces potrzebuje całego zestawu danych, aby dokonać wyboru odpowiednich klastrów. Potrzebna jest także lista klastrów na obecnym poziomie, aby nie dodawać punktu danych do więcej niż jednego klastra na tym samym poziomie.
Konstrukcja hierarchii odgórnej nazywa się Divisive clustering. K-means to jedna z opcji decydowania o sposobie dzielenia węzłów hierarchii. W tym artykule przeanalizowano podział na węzły K i podział główny partycjonowania (PDDP) w celu podziału węzłów: http://scgroup.hpclab.ceid.upatras.gr/faculty/stratis/Papers/tm07book.pdf. Na koniec wystarczy podzielić każdy węzeł nadrzędny na stosunkowo dobrze zbalansowane węzły potomne.
Odgórne podejście jest łatwiejsze do dystrybucji. Po pierwszym podzieleniu węzła każdy utworzony węzeł może zostać wysłany do rozproszonego procesu, który ma zostać ponownie podzielony itd. Każdy rozproszony proces musi tylko być świadomy podzbioru zbioru danych, który dzieli. Tylko proces nadrzędny jest świadomy pełnego zbioru danych.
Ponadto każdy podział może być wykonywany równolegle.Dwa przykłady K-pomocy:
Można popatrzeć na niektóre prace wykonywane przy użyciu map samoorganizujących się (metoda sieci neuronowej Kohonena) ... chłopaki z Vienna University of Technology wykonali pracę nad rozproszonym obliczaniem swojego rosnącego algorytmu hierarchicznej mapy.
To jest trochę na krawędzi swojej grupowania pytanie, więc nie może pomóc, ale nie mogę myśleć o niczym bliższym;)
Clark Olson opinie kilku rozproszonych algorytmów grupowania hierarchicznego:
CF Olson. "Równoległe algorytmy dla klastrów hierarchicznych ." Równoległa Obliczanie, 21: 1313-1325, 1995, doi:10.1016/0167-8191(95)00017-I.
Parunak i in. opisać algorytm inspirowany jak mrówki uporządkować swoje gniazda:
H. Van Dyke Parunak Richard Rohwer, Theodore C. Belding i Sven Brueckner "Dynamiczna zdecentralizowana Wszelkie-Time grupowanie hierarchiczne" W Proc. 4. Międzynarodowe Warsztaty Inżynierii samoorganizujących Systems (ESOA), 2006, doi:10.1007/978-3-540-69868-5
Sprawdź to bardzo czytelne, jeśli nieco przestarzałe review by Olson (1995). Większość dokumentów od tego czasu wymaga opłaty za dostęp. :-)
Jeśli używasz R, polecam próbować pvclust, który osiąga równoległość przy użyciu snow, innego modułu R.
Możesz zobaczyć także Finding and evaluating community structure in networks Newmana i Girvan, gdzie proponują one podejście do oceny społeczności w sieciach (i zestaw algorytmów opartych na tym podejściu) oraz miarę podziału sieci na jakość społeczności (modułowość grafów).
Czy znasz jakieś rozproszone hierarchiczne aglomeracyjne tworzenie klastrów? – Nullpoet
Łącze o PDDP nie działa. –
Znajdź [odnowiony link] (http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.101.1882&rep=rep1&type=pdf) dla pracy Pana Manasi N. Joshi na ten temat. – uprego