Jak podzielić dane (nieprzetworzony tekst) na zestawy testowe/kolejowe z modułem crosswalacji scikit?

Question

Mam duży korpus opinii (2500) w surowym tekście. Chciałbym skorzystać z biblioteki uczącej się scikit, aby podzielić je na zestawy testowe/kolejowe. Co może być najlepszym podejściem do rozwiązania tego zadania dzięki nauce scikit? Czy ktokolwiek mógłby mi podać przykład podziału surowego tekstu w zestawach testowych/pociągowych (prawdopodobnie użyję reprezentacji tf-idf).

Answer 1

Załóżmy danych jest listą ciągów, tj

data = ["....", "...", ] 

Następnie można podzielić ją na szkolenia (80%) i badania (20%) określa używając np train_test_split wykonując:

from sklearn.cross_validation import train_test_split 
train, test = train_test_split(data, train_size = 0.8) 

Przed Rush to robić, chociaż czytać those docs wskroś. 2500 nie jest "dużym korpusem" i prawdopodobnie chcesz zrobić coś w rodzaju k-krotnego sprawdzania krzyżowego, a nie pojedynczego podziału holdout.