Niestrukturalny tekst do danych strukturalnych

Question

Poszukuję odsyłaczy (samouczki, książki, literatura akademicka) dotyczących struktury niestrukturalnego tekstu w sposób podobny do przycisku szybkiego dodawania kalendarza Google.

Rozumiem to może mieścić się w kategorii NLP, ale jestem zainteresowany tylko w procesie dzieje z czymś takim „Levi dżinsy rozmiar 32 A0b293”

dla: Marka: Levi, Rozmiar: 32, Kategorii: Dżinsy, kod: A0b293

Wyobrażam sobie, że byłaby to kombinacja leksykalnej techniki parsowania i uczenia maszynowego.

Jestem raczej język agnostykiem, ale jeśli pchnął woleliby Python, Matlab lub referencje C++

Dzięki

Answer 1

Musisz podać więcej informacji o źródle tekstu (w internecie? Wejściowe użytkownika?), domena (czy to tylko ubrania?), potencjalne formatowanie i słownictwo ...

Zakładając najgorszy scenariusz, musisz zacząć uczyć się NLP. Bardzo dobrą darmową książką jest dokumentacja NLTK: http://www.nltk.org/book. Jest to również bardzo dobre wprowadzenie do Pythona, a SW jest bezpłatny (dla różnych zastosowań). Ostrzegam: NLP jest trudne. To nie zawsze działa. Czasami nie jest to zabawne. Najnowocześniejszy stan wiedzy nie znajduje się w pobliżu miejsca, w którym można to sobie wyobrazić.

Zakładając lepszy scenariusz (tekst jest częściowo ustrukturyzowany) - dobrym bezpłatnym narzędziem jest pyparsing. Jest książka, mnóstwo przykładów, a wynikowy kod jest niezwykle atrakcyjny.

Mam nadzieję, że to pomaga ...

Answer 2

Być może wyglądać na "zbiorowej inteligencji" Toby Segaran. Wydaje mi się, że pamiętam, że zajmuję się podstawami tego w jednym rozdziale.

Answer 3

Po pewnym badania odkryłem, że problem ten jest powszechnie określany jako ekstrakcja informacji i zgromadzili kilka dokumentów i przechowywać je w Mendeley Collection

http://www.mendeley.com/research-papers/collections/3237331/Information-Extraction/

również zauważyć Tai Weiss NLTK dla Pythona jest dobrym punktem wyjścia i rozdział this książki, wygląda konkretnie na ekstrakcji informacji

Answer 4

Jeśli pracujesz tylko dla przypadków, takich jak przykład, który cytujesz, lepiej jest użyć niektórych m oparte na regułach, które jest w 100% przewidywalne i obejmuje 90% przypadków, w których może napotkać produkcję.

Można wyliczyć listę wszystkich możliwych marek i kategorii oraz wykryć, które jest w łańcuchu wejściowym, ponieważ zwykle jest bardzo mało przecięcie na tych dwóch listach.

Pozostałe dwie można łatwo wykryć i wyodrębnić za pomocą wyrażeń regularnych. (1-3 cyfry są zawsze rozmiarami, itp.)

Twoja domena problemowa nie wydaje się wystarczająco duża, aby uzasadnić bardziej wymagające podejście, takie jak uczenie się statystyk.