Klasyfikacja znaków

Question

Proste pytanie: mieć std::string, określić, które z jego znaków to cyfry, symbole, białe spacje itp. W odniesieniu do języka użytkownika i ustawień regionalnych (locale).

udało mi się podzielić ciąg na zestaw znaków przy użyciu boost locale boundary analysis tool:

std::string text = u8"生きるか死ぬか"; 

boost::locale::boundary::segment_index<std::string::const_iterator> characters(
    boost::locale::boundary::character, 
    text.begin(), text.end(), 
    boost::locale::generator()("ja_JP.UTF-8")); 

for (const auto& ch : characters) { 
    // each 'ch' is a single character in japanese language 
} 

Ja jednak dalej nie widzę żadnego sposobu określenia czy ch jest cyfrą lub symbolem, czy cokolwiek innego. Istnieją boost string classification algorithms, ale te wydają się nie działać z .. niezależnie od *segment_index::iterator jest.

Nie mogę również zastosować std::isalpha(std::locale), ponieważ nie jestem pewien, czy możliwe jest przekonwertowanie segmentu zwiększenia na char lub wchar_t.

Czy istnieje jakiś sposób na klasyfikację symboli?

Answer 1

Istnieje szereg funkcji i obiektów wspierających ten w <locale> ale ... Przykładowy tekst dasz wygląda jak UTF-8, który jest kodowania wielobajtowego, a funkcje w <locale> nie pracować wielobajtowe kodowania.

Proponuję uzyskać bibliotekę ICU i użyć jej. Pośród innych rzeczy, , umożliwia testowanie wszystkich właściwości zdefiniowanych w bazie danych znaków Unicode. Ma również makra lub funkcje do iteracji przez ciąg (lub co najmniej tablicę z char), wyodrębniając jeden punkt kodowy UTF_32 w tym samym czasie (który jest, co chcesz przetestować).