Json.dump kończy się niepowodzeniem z "musi być unicode, a nie str" TypeError

Question

Mam plik json, który ma wiele chińskich i japońskich (i innych języków) znaków. Ja ładuje go do mojego skryptu Pythona 2.7 za pomocą io.open następująco:

with io.open('multiIdName.json', encoding="utf-8") as json_data: 
    cards = json.load(json_data) 

dodać nowy obiekt do JSON, wszystko dobrze. Wtedy staram się go napisać z powrotem do innego pliku:

with io.open("testJson.json",'w',encoding="utf-8") as outfile: 
     json.dump(cards, outfile, ensure_ascii=False) 

To wtedy pojawia się błąd TypeError: must be unicode, not str

próbowałem pisać outfile jako binarna (with io.open("testJson.json",'wb') as outfile:), ale w końcu z rzeczy to:

{"multiverseid": 262906, "name": "\u00e6\u00b8\u00b8\u00e9\u009a\u00bc\u00e7\u008b\u00ae\u00e9\u00b9\u00ab", "language": "Chinese Simplified"} 

Myślałem, że otwarcie i pisanie w tym samym kodowaniu będzie wystarczające, jak również flaga sure_ascii, ale oczywiście nie. Chcę tylko zachować znaki, które istniały w pliku przed uruchomieniem mojego skryptu, bez ich przekształcania w \ u.

Answer 1

Czy możesz wypróbować następujące rzeczy?

with io.open("testJson.json",'w',encoding="utf-8") as outfile: 
    outfile.write(unicode(json.dumps(cards, ensure_ascii=False))) 

Answer 2

Przyczyną tego błędu jest całkowicie głupie zachowanie json.dumps w Pythonie 2:

>>> json.dumps({'a': 'a'}, ensure_ascii=False) 
'{"a": "a"}' 
>>> json.dumps({'a': u'a'}, ensure_ascii=False) 
u'{"a": "a"}' 
>>> json.dumps({'a': 'ä'}, ensure_ascii=False) 
'{"a": "\xc3\xa4"}' 
>>> json.dumps({u'a': 'ä'}, ensure_ascii=False) 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "/usr/lib/python2.7/json/__init__.py", line 250, in dumps 
    sort_keys=sort_keys, **kw).encode(obj) 
    File "/usr/lib/python2.7/json/encoder.py", line 210, in encode 
    return ''.join(chunks) 
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 1: ordinal not in range(128) 

To w połączeniu z faktem, że io.open z encoding ustawiony tylko akceptuje unicode obiektów (który sam w sobie jest w porządku), prowadzi do problemów.

Typ zwracany jest całkowicie zależny od typu kluczy lub wartości w słowniku, jeśli ensure_ascii=False, ale str jest zwracana zawsze, jeśli ensure_ascii=True. Jeśli można przypadkowo ustawić 8-bitowe ciągi do słowników, nie można ślepo przekonwertować ten typ zwracany do unicode, bo potrzeba ustawić kodowanie, przypuszczalnie UTF-8

>>> x = json.dumps(obj, ensure_ascii=False) 
>>> if isinstance(x, str): 
...  x = unicode(x, 'UTF-8') 

W ten przypadku I wierzę, że możesz użyć json.dump, aby pisać do otwartego pliku binarnego; jednak, jeśli potrzebujesz czegoś bardziej skomplikowanego z otrzymanym obiektem, prawdopodobnie potrzebujesz powyższego kodu.

---

Jednym z rozwiązań jest, aby zakończyć wszystkie kodowania/dekodowania obłęd poprzez przełączenie do Pythona 3.

Answer 3

Moduł JSON obsługuje kodowanie i dekodowanie dla ciebie, więc można po prostu otworzyć pliki wejściowe i wyjściowe w formacie binarnym tryb. Moduł JSON przyjmuje kodowanie UTF-8, ale można go zmienić za pomocą atrybutu encoding metodami load() i dump().

with open('multiIdName.json', 'rb') as json_data: 
    cards = json.load(json_data) 

następnie:

with open("testJson.json", 'wb') as outfile: 
    json.dump(cards, outfile, ensure_ascii=False) 

Dzięki @Antti Haapala, Python 2.x moduł JSON daje albo Unicode lub str zależności od zawartości obiektu.

Trzeba będzie włożyć czek sens, aby zapewnić wynik jest Unicode przed piśmie za pośrednictwem io:

with io.open("testJson.json", 'w', encoding="utf-8") as outfile: 
    my_json_str = json.dumps(my_obj, ensure_ascii=False) 
    if isinstance(my_json_str, str): 
     my_json_str = my_json_str.decode("utf-8") 

    outfile.write(my_json_str)