Jak traktować liczby w ciągach tekstowych podczas wektoryzacji słów?

Question

Jeśli mam ciąg tekstowy do wektoryzacji, jak mam obsługiwać liczby wewnątrz niego? Albo jeśli zasilę sieć neuronową liczbami i słowami, w jaki sposób mogę zachować liczby jako liczby?

Mam zamiar zrobić słownik wszystkich moich słów (as suggested here). W takim przypadku wszystkie łańcuchy staną się tablicami liczb. Jak mam obsługiwać znaki, które są liczbami? jak wyprowadzić wektor, który nie miesza indeksu słów ze znakiem liczby?

Czy konwertowanie liczb na ciągi osłabia informacje, które przekazuję sieci?

Answer 1

Podany link sugeruje, że wszystko, co wynika z .split(' ') jest indeksowane - słowa, ale także liczby, prawdopodobnie emotikony, aso. (Nadal zajmę się znakami interpunkcyjnymi). Jeśli nie masz więcej wcześniejszej wiedzy o swoich danych lub problemie, możesz zacząć od tego.

EDIT

Przykład dosłownie za pomocą znaków i ich kod:

corpus = {'my car number 3'} 
dictionary = {} 
i = 1 
for tweet in corpus: 
    for word in tweet.split(" "): 
    if word not in dictionary: dictionary[word] = i 
    i += 1 
print(dictionary) 
# {'my': 1, '3': 4, 'car': 2, 'number': 3} 

Answer 2

rozszerzając dyskusję @ user1735003 - Pozwala rozważyć obie strony liczb reprezentujących:

1. traktując go jako ciąg znaków i uznając go za inne słowo i przypisać do niego identyfikator podczas tworzenia słownika. Lub
2. Konwersja liczb na rzeczywiste słowa: "1" staje się "jeden", "2" jak "dwa" i tak dalej.

Czy drugi w ogóle zmienia kontekst? Aby to sprawdzić, możemy znaleźć podobieństwo dwóch reprezentacji przy użyciu word2vec. Wyniki będą wysokie, jeśli mają podobny kontekst.

Przykładowo 1 i one ma podobieństwa, 0,17, 2 i two mieć wynik podobieństwa 0.23. Wydaje się sugerować, że kontekst ich użycia jest zupełnie inny.

Traktując numery jak innym słowem, nie zmieniają kontekst ale wykonując żadnej innej transformacji na tych liczb, to nie może zagwarantować ich na lepsze. Lepiej więc pozostawić go nietknięte i potraktować jak inne słowo.

Uwaga: Zarówno word-2-vec i glove szkolono traktując jako ciągi liczb (przypadek 1).

Answer 3

Poniższy papieru może być pomocne: http://people.csail.mit.edu/mcollins/6864/slides/bikel.pdf

szczególności, strona 7.

przed wykorzystaniem <unknown> tag starają się zastąpić alfanumeryczny kombinację symboli z nazw pospolitych wzór tagi, takie jak:

FourDigits (good for years) 

Starałem się go wdrożyć i dała wspaniałe rezultaty.