Gdzie mogę rozpocząć korzystanie z programowania przyjaznego dla Unicode w C?

Question

Pracuję więc nad projektem C (ANSI 9899: 1999) i próbuję ustalić, od czego zacząć: Unicode, UTF-8 i cały ten jazz.

W szczególności jest to projekt tłumacza językowego i mam dwa główne miejsca, w których muszę obsługiwać Unicode: czytanie w plikach źródłowych (język ostentacyjnie obsługuje identyfikatory Unicode i inne) oraz w obiektach ciągowych.

Jestem zaznajomiony ze wszystkimi oczywistymi podstawami dotyczącymi Unicode, UTF-7/8/16/32 & UCS-2/4, tak i tak dalej ... W większości poszukuję użytecznej, specyficznej dla C (to znaczy, proszę, nie proszę C++ lub C#, który jest wszystkim, co zostało tu wcześniej udokumentowane na SO), co do moich "kolejnych kroków" w celu implementacji elementów przyjaznych dla Unicode ... w C.

Wszelkie linki, strony podręczników, artykuły z Wikipedii, przykładowy kod, jest bardzo mile widziany. Spróbuję także zachować listę takich zasobów tutaj w pierwotnym pytaniu, dla każdego, kto stanie się później.

---

• musi przeczytać przed rozważeniem cokolwiek innego, jeśli jesteś zaznajomiony z Unicode, a co za kodowanie faktycznie jest: http://www.joelonsoftware.com/articles/Unicode.html
• UTF-8 home-page: http://www.utf-8.com/
• man 3 iconv (jak również iconv_open i iconvctl)
• International Components for Unicode (poprzez Geoff Reedy)
• libbasekit, który wydaje się to światło Unicode obsługi narzędzi
• Glib ma jedne Unicode działa
• Podstawowym UTF-8 detector funkcyjnego przez Christoph

Answer 1

International Components for Unicode dostarcza przenośne biblioteki C do obsługi Unicode. Oto ich skocznia dla ICU4C:

Języki C i C++ oraz wiele środowisk systemu operacyjnego nie zapewnia pełnego wsparcia dla usług obsługi tekstów zgodnych ze standardem Unicode. Mimo że niektóre platformy zapewniają dobre usługi obsługi tekstu Unicode, przenośny kod aplikacji nie może ich użyć. Biblioteki ICU4C wypełniają tę lukę. ICU4C zapewnia otwartą, elastyczną i przenośną podstawę dla aplikacji do wykorzystania w ich globalizacyjnych wymaganiach dotyczących oprogramowania. ICU4C ściśle śledzi standardy branżowe, w tym Unicode i CLDR (Common Locale Data Repository).

Answer 2

Myślę, że jedno z interesujących pytań brzmi - jaki powinien być twój kanoniczny wewnętrzny format ciągów? W 2 oczywistych wyborów (przynajmniej dla mnie) są

a) w utf8 wanilii c-strings b) UTF16 w niepodpisane krótkich tablic

W poprzednich projektach zawsze wybiera utf8. Czemu ; ponieważ jest to ścieżka najmniejszego oporu w świecie C. Wszystko, z czym łączysz się (stdio, string.h itp.), Działa dobrze.

Dalej przychodzi - jaki format pliku.Problem polega na tym, że jest widoczny dla twoich użytkowników (chyba że podasz jedyny edytor dla twojego języka). Tutaj myślę, że musisz wziąć to, co ci dają i próbować zgadywać przez zerkanie (znaki pomocy bajtów)

Answer 3

GLib ma trochę Unicode functions i jest dość lekką biblioteką. Nie ma takiego samego poziomu funkcjonalności, jaki zapewnia ICU, ale może być wystarczająco dobry dla niektórych aplikacji. Inne cechy GLib są również dobre dla przenośnych programów C.

GTK + jest zbudowany na wierzchu GLib. GLib zapewnia podstawowe algorytmiczne konstrukcje językowe powszechnie powielane w aplikacjach. Biblioteka ta posiada funkcje, takie jak (lista ta nie jest wyczerpująca lista):

• Obiekt i układ typu
• Główna pętla
• Dynamiczne ładowanie modułów (tj wtyczki)
• wsparcie Temat
• wsparcie czasowy
• alokatora
• kolejki gwintowane (synchroniczne i asynchroniczne)
• Listy (pojedynczo związany, podwójnie związany dwustronna)
• tabele Hash
• Tablice
• Drzewa (N-ary i binarne zrównoważone)
• narzędzia ciąg i charset obchodzenia
• leksykalna skanera i XML parser
• base64 (kodowanie & dekodowania)