sklearn: Zdefiniowana przez użytkownika walidacja krzyżowa dla danych szeregów czasowych

Question

Próbuję rozwiązać problem uczenie maszynowego. Mam określony zestaw danych z elementem time-series. Do tego problemu używam dobrze znanej biblioteki Pythona - sklearn. W tej bibliotece znajduje się wiele iteratorów walidacji krzyżowej. Istnieje również kilka iteratorów do samodzielnego zdefiniowania walidacji krzyżowej. Problem polega na tym, że tak naprawdę nie wiem, jak zdefiniować prostą walidację krzyżową dla szeregów czasowych. Tutaj jest dobrym przykładem tego, co staram się dostać:

Załóżmy, że mamy kilka okresów (lat) i chcemy podzielić nasze dane określone w kilku kawałkach, co następuje:

data = [1, 2, 3, 4, 5, 6, 7] 

train: [1]    test: [2] (or test: [2, 3, 4, 5, 6, 7]) 
train: [1, 2]    test: [3] (or test: [3, 4, 5, 6, 7]) 
train: [1, 2, 3]   test: [4] (or test: [4, 5, 6, 7]) 
... 
train: [1, 2, 3, 4, 5, 6] test: [7] 

mogę” t naprawdę zrozumieć, jak stworzyć tego rodzaju krzyżową walidację za pomocą narzędzi sklearn. Prawdopodobnie powinienem użyć PredefinedSplit od sklearn.cross_validation tak:

train_fraction = 0.8 
train_size  = int(train_fraction * X_train.shape[0]) 
validation_size = X_train.shape[0] - train_size 

cv_split = cross_validation.PredefinedSplit(test_fold=[-1] * train_size + [1] * validation_size) 

Wynik:

train: [1, 2, 3, 4, 5] test: [6, 7] 

Ale nadal to nie jest tak dobry jak poprzednie dane podzielone

Answer 1

można uzyskać pożądane podziały krzyżowej walidacji bez użycia sklearn. Oto przykład

import numpy as np 

from sklearn.svm import SVR 
from sklearn.feature_selection import RFECV 

# Generate some data. 
N = 10 
X_train = np.random.randn(N, 3) 
y_train = np.random.randn(N) 

# Define the splits. 
idxs = np.arange(N) 
cv_splits = [(idxs[:i], idxs[i:]) for i in range(1, N)] 

# Create the RFE object and compute a cross-validated score. 
svr = SVR(kernel="linear") 
rfecv = RFECV(estimator=svr, step=1, cv=cv_splits) 
rfecv.fit(X_train, y_train) 

Answer 2

Tymczasem ta została dodana do biblioteki: http://scikit-learn.org/stable/modules/cross_validation.html#time-series-split

Przykład z doc:

>>> from sklearn.model_selection import TimeSeriesSplit 

>>> X = np.array([[1, 2], [3, 4], [1, 2], [3, 4], [1, 2], [3, 4]]) 
>>> y = np.array([1, 2, 3, 4, 5, 6]) 
>>> tscv = TimeSeriesSplit(n_splits=3) 
>>> print(tscv) 
TimeSeriesSplit(n_splits=3) 
>>> for train, test in tscv.split(X): 
...  print("%s %s" % (train, test)) 
[0 1 2] [3] 
[0 1 2 3] [4] 
[0 1 2 3 4] [5]