W jaki sposób można sortować według Perla i Uniksa ciągi Unicode w tej samej sekwencji?

Question

Próbuję uzyskać Perl i GNU/Linux sortowania (1) program uzgodnić, jak sortować ciągi Unicode. Używam sortowania z LANG=en_US.UTF-8. W programie Perl Próbowałem następujące metody:

• use Unicode::Collate z $Collator = Unicode::Collate->new();
• use Unicode::Collate::Locale z $Collator = Unicode::Collate->new(locale => $ENV{'LANG'});
• use locale

Każdy z nich nie powiodło się z następujących błędów (od strony Perl):

• Inpu t nie jest posortowana: [----] przyszedł po [($ 1]
• Wejście nie jest posortowana: [...] przyszedł po [&]
• Wejście nie jest posortowana: [($ 1] przyszedł po [1]

Jedyną metodą, która pracowała dla mnie zaangażowanych ustawienie LC_ALL=C dla rodzaju, a przy użyciu 8-bitowych znaków w Perl. Jednak w ten sposób łańcuchy Unicode nie są poprawnie uporządkowane.

Answer 1

Używanie Unicode :: Sort lub Unicode :: Sort :: Locale nie ma sensu. Nie próbujesz sortować według definicji Unicode, próbujesz sortować według lokalizacji. Po to jest use locale;.

Nie wiem, dlaczego nie dostałeś pożądanej kolejności od cmp pod use locale;.

Można przetwarzać zdekompresowane pliki.

for q in file1.uniqc file2.uniqc ; do 
    perl -ne's/^\s*(\d+) //; for $c (1..$1) { print }' "$q" 
done | sort | uniq -c 

Oczywiście będzie to wymagać więcej tymczasowego przechowywania, ale otrzymasz dokładnie taką kolejność, jaką chcesz.

---

znalazłem sprawę use locale; nie powodować Perl sort/cmp dać taki sam wynik jak narzędzia sort. Dziwne.

$ export LC_COLLATE=en_US.UTF-8 

$ perl -Mlocale -e'print for sort { $a cmp $b } <>' data 
(
($1 
1 

$ perl -MPOSIX=strcoll -e'print for sort { strcoll($a, $b) } <>' data 
(
($1 
1 

$ sort data 
(
1 
($1 

Prawdę powiedziawszy, to narzędzie sort jest dziwne.

---

W komentarzach @ninjalj wskazuje, że dziwność jest prawdopodobnie spowodowana przez znaki o niezdefiniowanych wagach. Podczas porównywania takich znaków kolejność jest nieokreślona, ​​więc różne silniki mogą dawać różne wyniki. Najlepszym sposobem odtworzenia dokładnej kolejności byłoby użycie narzędzia sort przez IPC::Run3, ale wygląda na to, że nie zawsze gwarantuje to tę samą kolejność.