2012-02-26 11 views
6

swój program R jest taki jak poniżej:Strange błąd grupowanie hierarchiczne w R

hcluster <- function(dmatrix) { 
    imatrix <- NULL 
    hc <- hclust(dist(dmatrix), method="average") 
    for(h in sort(unique(hc$height))) { 
     hc.index <- c(h,as.vector(cutree(hc,h=h))) 
     imatrix <- cbind(imatrix, hc.index) 
    } 
    return(imatrix) 
} 

dmatrix_file = commandArgs(trailingOnly = TRUE)[1] 
print(paste('Reading distance matrix from', dmatrix_file)) 
dmatrix <- as.matrix(read.csv(dmatrix_file,header=FALSE)) 

imatrix <- hcluster(dmatrix) 
imatrix_file = paste("results",dmatrix_file,sep="-") 
print(paste('Wrinting results to', imatrix_file)) 
write.table(imatrix, file=imatrix_file, sep=",", quote=FALSE, row.names=FALSE, col.names=FALSE) 
print('done!') 

My wejście jest macierzą odległości (oczywiście symetryczny). Kiedy wykonać wyżej programu z matrycą na odległość większą niż o tysiącach rekordów (nic nie stało na kilkuset), to dał mi komunikat o błędzie:

Error in cutree(hc, h = h) : 
    the 'height' component of 'tree' is not sorted 
(increasingly); consider applying as.hclust() first 
Calls: hcluster -> as.vector -> cutree 
Execution halted 

Moja maszyna ma około 16GB RAM i 4CPU, więc wygrał” t być problemem zasobów.

Czy ktoś może mi powiedzieć, na czym polega problem? Dzięki!!

+0

Naiwnie realizowane grupowanie hierarchiczne ma 'O (n^3)' złożoność (w rzeczywistości, znane 'O (N^2)' algorytmy są tylko dla niektórych specjalistycznych wersjach patrz 'SLINK'' pobrząkać '). Może rzeczywiście przez problem złożoności, chociaż błąd nie wygląda tak. –

+4

Chciałbym pójść głębiej, coud, możesz opublikować próbkę pliku dmatrix_file i podać wskazówki, jak zwiększyć skalę? –

+0

Zgadzam się z Peterem - nie możesz udostępnić pliku dmatrix, czy fikcyjnego zbioru danych o tych samych wymiarach? – geotheory

Odpowiedz

1

Patrząc na funkcję cutree tutaj http://code.ohloh.net/file?fid=QM4q0tWQlv2VywAoSr2MfgcNjnA&cid=ki3UJjFJ8jA&s=cutree%20component%20of%20is%20not%20sorted&mp=1&ml=1&me=1&md=1&browser=Default#L1

Można spróbować dodawania k skalera do liczby grup, to przesłonić wysokość argument. Jeśli nie, możesz sprawdzić, co to jest hc $ height, ponieważ jeśli nie jest to wektor numeryczny, złożony, znakowy lub logiczny, is.unsorted zwróci true i da ci ten błąd.

if(is.null(k)) { 
    if(is.unsorted(tree$height)) 
     stop("the 'height' component of 'tree' is not sorted (increasingly)") 
    ## h |--> k 
    ## S+6 help(cutree) says k(h) = k(h+), but does k(h-) [continuity] 
    ## h < min() should give k = n; 
    k <- n+1L - apply(outer(c(tree$height,Inf), h, ">"), 2, which.max) 
    if(getOption("verbose")) message("cutree(): k(h) = ", k, domain = NA) 
}