Ocena modelu statystycznego w R

Question

Mam bardzo duży zestaw danych (ds). Jedna z jego kolumn to Popularity, typu factor ("Wysoka"/"Niska").

Rozdzielam dane na 70% i 30%, aby utworzyć zestaw treningowy (ds_tr) i zestaw testowy (ds_te).

Stworzyłem następujący model przy użyciu regresji logistycznej:

mdl <- glm(formula = popularity ~ . -url , family= "binomial", data = ds_tr) 

potem stworzył predict obiektu (zrobi to ponownie ds_te)

y_hat = predict(mdl, data = ds_tr - url , type = 'response') 

Chcę znaleźć wartość precyzji co odpowiada progowi odcięcia 0.5 i znaleźć wartość przywołania, która odpowiada progowi odcięcia 0,5, więc wykonałem:

library(ROCR) 
pred <- prediction(y_hat, ds_tr$popularity) 
perf <- performance(pred, "prec", "rec") 

Rezultatem jest tabela z wielu wartości

str(perf) 

Formal class 'performance' [package "ROCR"] with 6 slots 
    ..@ x.name  : chr "Recall" 
    ..@ y.name  : chr "Precision" 
    ..@ alpha.name : chr "Cutoff" 
    ..@ x.values :List of 1 
    .. ..$ : num [1:27779] 0.00 7.71e-05 7.71e-05 1.54e-04 2.31e-04 ... 
    ..@ y.values :List of 1 
    .. ..$ : num [1:27779] NaN 1 0.5 0.667 0.75 ... 
    ..@ alpha.values:List of 1 
    .. ..$ : num [1:27779] Inf 0.97 0.895 0.89 0.887 ... 

Jak znajdę konkretne wartości dokładności i przypomnieć odpowiadające progu odcięcia 0,5?

Answer 1

Acces szczelinach obiektu wydajności (poprzez połączenie @ + liście)

Tworzymy zbiór danych ze wszystkich możliwych wartości:

probab.cuts <- data.frame(cut=perf@alpha.values[[1]], prec=perf@y.values[[1]], rec=perf@x.values[[1]]) 

można oglądać wszystkie przynależne wartości

probab.cuts 

Jeśli chcesz selec t żądane wartości, jest trywialny zrobić:

tail(probab.cuts[probab.cuts$cut > 0.5,], 1) 

Instrukcja check

tab <- table(ds_tr$popularity, y_hat > 0.5) 
tab[4]/(tab[4]+tab[2]) # recall 
tab[4]/(tab[4]+tab[3]) # precision