tokenize

10Ciepło

3Odpowiedz

Szukaj nazwy (tekst) ze spacjami w elasticsearch

wyszukiwania nazwisk (tekst) ze spacjami w nim, powodując problem do mnie, mam mapowanie podobną do "{"user":{"properties":{"name":{"type":"string"}}}}" Idealnie co powinno wrócić i wyniki Rank nast

8Ciepło

1Odpowiedz

Python re.split() vs nltk word_tokenize i sent_tokenize

Przechodziłem przez this question. Zastanawiam się tylko, czy NLTK byłoby szybsze niż wyrażenie regularne w tokenizacji słów/zdań.

5Ciepło

2Odpowiedz

dzielenie ciąg ale utrzymanie pustych żetony C++

Próbuję podzielić ciąg i umieścić go w wektorze jednak, ja też chce mieć pusty znak, gdy istnieje kolejny separator: Na przykład : string mystring = "::aa;;bb;cc;;c" Chciałbym tokenize ten ciąg na:;

7Ciepło

1Odpowiedz

Jak uniknąć tokenizera zdań NLTK dzieląc na skróty?

Obecnie używam NLTK do przetwarzania języka, ale napotkałem problem tokenizacji zdań. Oto problem: Załóżmy, że mam zdanie: "Ryc. 2 pokazuje mapę USA." Gdy używam Punkt tokenizera, mój kod wygląda nast

12Ciepło

4Odpowiedz

Tokenizer ciągów z wieloma ogranicznikami, w tym ogranicznikiem bez zwiększenia

Potrzebuję utworzyć parser string w C++. Próbowałem za pomocą vector<string> Tokenize(const string& strInput, const string& strDelims) { vector<string> vS; string strOne = strInput; string delimi

7Ciepło

2Odpowiedz

Java/clojure: Ogranicznik wielu znaków i zachowaj separator

Pracuję nad projektem w clojure, który może współdziałać z dowolnymi klasami języka Java, więc odpowiedź na moje pytanie może dotyczyć zarówno java, jak i clojure. Zasadniczo potrzebuję być w stanie p

6Ciepło

1Odpowiedz

Stemming niestrukturalny tekst w NLTK

Próbowałem łodygi wyrażeń regularnych, ale otrzymuję setki niepowiązanych tokenów. Po prostu interesuje mnie "gra". Oto kod, nad którym pracuję: import nltk from nltk.book import * f = open('tupac_o

6Ciepło

1Odpowiedz

Postgresql wyszukiwanie pełnego tekstu tokenizer

Po prostu napotkasz problem. Próbuję skonfigurować wyszukiwanie pełnotekstowe w zlokalizowanej zawartości (w szczególności w języku rosyjskim). Problemem jest domyślna konfiguracja (jak również moje n

5Ciepło

1Odpowiedz

Niepoprawna tokenizacja z Marpą

Mam dość dużą gramatykę Marpy (do parsowania XPath) i natknąłem się na problem z tokenizacją. Stworzyłem minimalny zerwaniu przykład poniżej: use strict; use warnings; use Marpa::R2; my $grammar =

70Ciepło

7Odpowiedz

Jak pozbyć się interpunkcji za pomocą tokenizera NLTK?

Właśnie zaczynam używać NLTK i nie bardzo rozumiem, jak uzyskać listę słów z tekstu. Jeśli używam nltk.word_tokenize(), otrzymuję listę słów i znaków interpunkcyjnych. Potrzebuję tylko słów. Jak mogę