tokenize

17Ciepło

5Odpowiedz

tokenize string zachowujący ograniczniki w Pythonie

Czy istnieje jakiś odpowiednik str.split w języku Python, który również zwraca separatory? Potrzebuję zachować układ białych znaków dla mojego wyjścia po przetworzeniu niektórych tokenów. Przykład: >>

16Ciepło

2Odpowiedz

Podział słów w językach bez spacji między wyrazami (np. Azjatycki)?

Chciałbym, aby wyszukiwanie pełnotekstowego MySQL działało z tekstem w języku japońskim i chińskim, jak również w dowolnym innym języku. Problem polega na tym, że te języki i prawdopodobnie inne zwykl

22Ciepło

5Odpowiedz

Czy istnieje lepsze (bardziej nowoczesne) narzędzie niż lex/flex do generowania tokenizera dla C++?

Późniejsze dodawanie pliku źródłowego do istniejącego narzędzia, które wygenerowało pliki wyjściowe ze złożonych argumentów wiersza poleceń. Argumenty linii poleceń stały się tak złożone, że zaczęliśm

5Ciepło

4Odpowiedz

Parsing Klasy, funkcje i argumenty w PHP

Chcę utworzyć funkcję, która przyjmuje jeden argument, który przechowuje ścieżkę do pliku PHP, a następnie analizuje dany plik i zwraca coś takiego: class NameOfTheClass function Method1($arg1, $

6Ciepło

5Odpowiedz

Tokenizacja wpisów na Twitterze w Lucene

Moje pytanie w pigułce: czy ktoś wie o TwitterzeAnalyzer lub TwitterTokenizer dla Lucene? Bardziej szczegółowa wersja: Chcę indeksu szereg tweets w Lucene i zachować warunki jak @user lub #hashtag nie

18Ciepło

4Odpowiedz

Tokenizer, Stop Usunięcie Słowo, wynikające w Javie

szukam klasy lub metody, która bierze długi ciąg wielu 100s słów i tokenizes, usuwa słowa Stop i wynika z zastosowania w systemie IR. Na przykład: "The Big Fat cat, powiedział: 'Twój najzabawniejszy f

5Ciepło

3Odpowiedz

Parsowanie ciągów URL w Ruby

Mam dość prosty ciąg, który chcę przeanalizować w rubinie i spróbować znaleźć najbardziej eleganckie rozwiązanie. Ciąg jest formatu /xyz/mov/exdaf/daeed.mov?arg1=blabla & arg2 = 3bla3bla Co chciałbym

14Ciepło

6Odpowiedz

jak uzyskać dane między ofertami w java?

mam to wiersze tekstu liczba cytatów może zmienić jak: Here just one "comillas" But I also could have more "mas" values in "comillas" and that "is" the "trick" I was thinking in a method that return

11Ciepło

4Odpowiedz

Używanie boost :: tokenizer z ogranicznikami ciągów znaków

Szukałem boost :: tokenizer i stwierdziłem, że dokumentacja jest bardzo cienka. Czy da się tokenizować ciąg znaków, taki jak "delfin - małpa - pawian" i czy każde słowo jest żetonem, a także podwójnym

20Ciepło

5Odpowiedz

Tokenize ciąg znaków i ograniczniki w C++

Mam zaszczyt z następujących, ale nie wiem, jak uwzględnić ograniczniki z nim. void Tokenize(const string str, vector<string>& tokens, const string& delimiters) { int startpos = 0; int pos