Korzystanie z partial_fit z Scikit Pipeline

Question

Jak nazwać partial_fit() na klasyfikatorze naukowym scikit zawiniętym wewnątrz Pipeline()?

Staram się budować stopniowo nadającego klasyfikator tekstu przy użyciu SGDClassifier odczuwalna:

from sklearn.linear_model import SGDClassifier 
from sklearn.pipeline import Pipeline 
from sklearn.feature_extraction.text import HashingVectorizer 
from sklearn.feature_extraction.text import TfidfTransformer 
from sklearn.multiclass import OneVsRestClassifier 

classifier = Pipeline([ 
    ('vectorizer', HashingVectorizer(ngram_range=(1,4), non_negative=True)), 
    ('tfidf', TfidfTransformer()), 
    ('clf', OneVsRestClassifier(SGDClassifier())), 
]) 

ale pojawia się AttributeError próby wywołania classifier.partial_fit(x,y).

Obsługuje fit(), więc nie widzę powodu, dla którego partial_fit() jest niedostępny. Czy możliwe byłoby dokonanie introspekcji potoku, wywołanie transformatorów danych, a następnie bezpośrednie wywołanie partial_fit() w moim klasyfikatorze?

Answer 1

Rurociąg nie używa partial_fit, dlatego nie jest narażony. Prawdopodobnie potrzebowalibyśmy dedykowanego schematu potokowego dla obliczeń out-of-core, ale zależy to również od możliwości poprzednich modeli.

W tym przypadku prawdopodobnie chcieliby Państwo wykonać kilka przebiegów nad danymi, jeden w celu dopasowania do każdego etapu potoku, a następnie przekształcić zestaw danych w celu dopasowania do następnego, z wyjątkiem pierwszego etapu, który jest bezpaństwowy, dlatego nie pasuje do parametrów z danych.

W tym czasie prawdopodobnie łatwiej jest przetasować własny kod opakowania dostosowany do Twoich potrzeb.

Answer 2

Oto, co robię - gdzie "mapper" i "clf" to dwa kroki w moim Pipeline obj.

def partial_pipe_fit(pipeline_obj, df): 
    X = pipeline_obj.named_steps['mapper'].fit_transform(df) 
    Y = df['class'] 
    pipeline_obj.named_steps['clf'].partial_fit(X,Y) 

Prawdopodobnie chcesz śledzić wydajność, jak zachować regulacji/aktualizowanie klasyfikator - ale to jest punkt wtórny

tak bardziej konkretnie - oryginalny rurociąg (y) zostały skonstruowane w następujący sposób

to_vect = Pipeline([('vect', CountVectorizer(min_df=2, max_df=.9, ngram_range=(1, 1), max_features = 100)), 
          ('tfidf', TfidfTransformer())]) 
full_mapper = DataFrameMapper([ 
      ('norm_text', to_vect), 
      ('norm_fname', to_vect), ]) 

full_pipe = Pipeline([('mapper', full_mapper), ('clf', SGDClassifier(n_iter=15, warm_start=True, 
                   n_jobs=-1, random_state=self.random_state))]) 

google DataFrameMapper aby dowiedzieć się więcej na ten temat - ale tutaj to właśnie umożliwia etap transformacji, która odgrywa ładne z pand