Dlaczego łańcuchy Unicode w języku Python wymagają specjalnego traktowania dla pliku specyfikacji UTF-8?

Question

Z jakiegoś powodu wydaje się, że Python ma problemy z BOM podczas odczytywania ciągów Unicode z pliku UTF-8. Rozważ następujące:

with open('test.py') as f: 
    for line in f: 
     print unicode(line, 'utf-8') 

Wydaje się proste, prawda?

To co myślałem, aż wpadłem go z linii poleceń i otrzymał:

UnicodeEncodeError: 'charmap' codec can't encode character u'\ufeff' in position 0: character maps to <undefined>

krótkie nawiedzenie Google ujawniło, że BOM musi być usuwane ręcznie:

import codecs 
with open('test.py') as f: 
    for line in f: 
     print unicode(line.replace(codecs.BOM_UTF8, ''), 'utf-8') 

To jeden działa dobrze. Jednak staram się dostrzec w tym jakąś zasługę.

Czy istnieje uzasadnienie powyżej opisanych zachowań? W przeciwieństwie do UTF-16 działa płynnie.

Answer 1

Kodowanie 'utf-8-sig' pochłonie podpis BOM w Twoim imieniu.

Answer 2

Napisałeś:

UnicodeEncodeError: 'charmap' codec can't encode character u'\ufeff' in position 0: character maps to <undefined> 

Po określić kodowanie w Pythonie "utf-8", zabiera cię za słowo. Pliki UTF-8 nie powinny zawierać zawierających w nich LM. Nie są one wymagane ani zalecane. Endianness nie ma sensu z 8-bitowymi jednostkami kodu.

LM śruba rzeczy, też, bo nie można już po prostu zrobić:

$ cat a b c > abc 

jeśli te UTF-8 pliki mają obce (czytaj: dowolny) LM w nich. Zobacz teraz, dlaczego LM są tak głupie/złe/szkodliwe w UTF-8? W rzeczywistości łamią rzeczy.

Zestawienie komponentów to metadane, a nie dane, a specyfikacja kodowania UTF-8 nie uwzględnia ich w sposób określony w specyfikacjach UTF-16 i UTF-32. Tak więc Python zabrał cię na słowo i podążał za specyfikacją. Trudno to za to winić.

Jeśli próbujesz użyć BOM jako magicznej liczby typów plików, aby określić zawartość pliku, naprawdę nie powinieneś tego robić. Naprawdę powinieneś używać prototocl wyższego poziomu do tych celów metadanych, tak jak w przypadku typu MIME.

To kolejny błędny błąd systemu Windows, którego obejście polega na użyciu alternatywnego kodowania "utf-8-sig" w celu przekazania do Pythona.