Włączanie soundex/metaphone dla znaków spoza alfabetu angielskiego

Question

Studiuję soundex, metafonę i inne techniki wyszukiwania ciągów w ciągu ostatnich kilku dni, i według mnie oba algorytmy działają dobrze w obsłudze nie-angielskich słów transliterowanych na angielski.

Jednak moim obowiązkiem jest, aby takie wyszukiwanie zadziałało w oryginalnych, nieprzetłumaczonych językach, z wykorzystaniem alfabetów takich jak niemiecki, norweski, a nawet cyrylicowy.

Czy są jakieś algorytmy wyszukiwania zdolne do obsługi tych alfabetów w całości? Czy lepiej korzystam z bibliotek wyszukiwania pełnotekstowego innych firm, takich jak Lucene? W związku z tym pojawia się pytanie "czy Lucene obsługuje alfabety nieangielskie?"

Answer 1

Nie jestem ekspertem w tej dziedzinie, ale twoje wymagania wydają mi się dość trudne. Soundex został specjalnie zaprojektowany dla angielskich brzmień, a także dla postaci. Nie sądzę, że sprawdzi się dobrze w przypadku języków innych niż angielski. Zobacz na przykład odpowiedzi na this related question.

Double-Metaphone to próba radzenia sobie ze znacznie bardziej złożonymi wariantami niż Soundex lub Metaphone i została zaprojektowana do obsługi nieprawidłowości w różnych językach. Może to być wystarczające dla twoich potrzeb. Na połączonej stronie znajduje się lista implementacji biblioteki.

Obsługa innych języków w Lucene opiera się na koncepcji Analyzers. Lucene jest dostarczany z zestawem analizatorów dla różnych języków (chociaż nie mogłem znaleźć domyślnej listy), ale jakość może być quite variable.

Answer 2

Istnieje kilka dobrych referencji dotyczących Wikipedii, począwszy od artykułu Soundex. Nie wiem, czy istnieją biblioteki zaprojektowane do obsługi tak szerokiej gamy języków.