10 * 10-krotny sprawdzian krzyżowy w nauce scikit?

Question

Czy

class sklearn.cross_validation.ShuffleSplit(
    n, 
    n_iterations=10, 
    test_fraction=0.10000000000000001, 
    indices=True, 
    random_state=None 
) 

właściwa droga dla 10 * 10fold CV w scikit-learn? (Zmieniając random_state do 10 różnych numerów)

Bo nie znaleźliśmy żadnego parametru random_state w Stratified K-Fold lub K-Fold i oddzielone od K-Fold są zawsze identyczne do tych samych danych.

Jeśli ShuffleSplit jest w porządku, jeden problemem jest to, że jest ona wymieniona

Uwaga: w przeciwieństwie do innych strategii cross-walidacji, przypadkowe podziały nie gwarancji, że wszystkie fałdy będzie inaczej, choć jest to nadal bardzo prawdopodobne w przypadku dużych zestawów danych

Czy ma to zawsze miejsce w przypadku 10 * 10-krotnego CV?

Answer 1

Nie jestem pewien, co masz na myśli, sprawdzając krzyżowo 10 * 10. Udostępniona przez ciebie konfiguracja ShuffleSplit wywoła 10 razy metodę dopasowania estymatora. Jeśli zadzwonisz to 10 razy jawnie przy użyciu zewnętrznej pętli lub bezpośrednio wywołać ją 100 razy z 10% danych zastrzeżone dla testów w pojedynczej pętli, jeśli używasz zamiast:

>>> ss = ShuffleSplit(X.shape[0], n_iterations=100, test_fraction=0.1, 
...  random_state=42) 

Jeśli chcesz zrobić 10 przebiegów z StratifiedKFold k = 10 można tasować zestawu danych między przebiegów (które doprowadziłyby do całkowitej 100 połączeń do dopasowania metodą z 90% pociąg/10% badanej rozłamu na każde wywołanie fit):

>>> from sklearn.utils import shuffle 
>>> from sklearn.cross_validation import StratifiedKFold, cross_val_score 
>>> for i in range(10): 
... X, y = shuffle(X_orig, y_orig, random_state=i) 
... skf = StratifiedKFold(y, 10) 
... print cross_val_score(clf, X, y, cv=skf)