Korekta pisowni dla normalizacji danych w Javie

Question

Poszukuję biblioteki Java, aby przeprowadzić wstępne sprawdzanie pisowni/normalizację danych na podstawie zawartości tekstowej wygenerowanej przez użytkownika, wyobrazić sobie zainteresowania wpisane w profilu na Facebooku.

Ten tekst zostanie w pewnym momencie uwięziony (przed lub po korekcie pisowni, cokolwiek działa lepiej), a część z nich zostanie wykorzystana jako klucz do wyszukania (dopasowanie ścisłe). Byłoby miło ograniczyć pisownię i tym podobne, aby stworzyć więcej dopasowań. Byłoby jeszcze lepiej, gdyby poprawka działała dobrze na żetonach dłuższych niż jedno słowo, np. "picie kawy" oznaczałoby "picie kawy", a nie "myślącą kawę".

znalazłem następujące biblioteki Java dla robić korektę pisowni:

1. JAZZY nie wydaje się być pod aktywnego rozwoju. Ponadto podejście oparte na słowie-odległości wydaje się niewystarczające ze względu na używanie niestandardowego języka w profilach sieci społecznościowych i tokenach wielo-słownych.
2. APACHE LUCENE wydaje się mieć statistical spell checker, który powinien być bardziej odpowiedni. Pytanie tutaj, jak stworzyć dobry słownik? (W innym przypadku nie używamy Lucene, więc nie ma istniejącego indeksu.)

Wszelkie sugestie są mile widziane!

Answer 1

To, co chcesz zaimplementować, to nie pisownia korektora, ale wyszukiwanie rozmyte. Esej Petera Norviga jest dobrym punktem wyjścia do budowania nieostrych poszukiwań od kandydatów sprawdzonych na słowniku.

Można również rzucić okiem na drzewa BK.

Indeks n-gramowy (używany przez Lucene) zapewnia lepsze wyniki dla dłuższych słów. Podejście do produkcji kandydatów do określonej odległości edycyjnej prawdopodobnie będzie wystarczająco dobre dla słów znalezionych w normalnym tekście, ale nie będzie wystarczająco dobre dla nazwisk, adresów i tekstów naukowych. Zwiększy to jednak rozmiar indeksu.

Jeśli masz indeksowane teksty, masz korpus tekstowy (słownik). Tylko to, co jest w twoich danych, można znaleźć. Nie musisz używać zewnętrznego słownika.

Dobry zasób to Introduction to Information Retrieval - Dictionaries and tolerant retrieval. Istnieje krótki opis korekty pisowni zależnej od kontekstu.

Answer 2

Wypróbuj Peter Norvig's spell checker.

Answer 3

Możesz uderzać Gutenberg project lub Internet Archive o wiele i wiele korpusów.

Ponadto, myślę, że Wiktionary może ci pomóc. Możesz nawet zrobić direct download.

Answer 4

Jeśli chodzi o wypełnianie indeksu Lucene jako podstawy sprawdzania pisowni, jest to dobry sposób na rozwiązanie problemu. Lucene ma teraz pudełko, którego możesz użyć.

W sieci dostępnych jest wiele word dictionaries, które można pobrać i wykorzystać jako podstawę dla indeksu Lucene. Sugerowałbym uzupełnienie ich o szereg tekstów specyficznych dla domeny, np. jeśli twoi użytkownicy to medycy, to może uzupełnij słownik tekstami źródłowymi z pracy i publikacji medycznych.

Answer 5

http://code.google.com/p/google-api-spelling-java to dobra biblioteka sprawdzania pisowni Java, ale zgadzam się z Thomasem Jungiem, która może nie być odpowiedzią na twój problem.