Jak mogę zamienić błędy w UTF-8 w Ruby bez konwersji na inne kodowanie?

Question

Aby przekonwertować ciąg na UTF-8 i zastąpić wszystkie błędy kodowania, można zrobić:

str.encode('utf-8', :invalid=>:replace) 

Jedyny problem polega na tym, że nie działa, jeśli jest już str UTF-8, w którym sprawa jakieś błędy pozostają:

irb> x = "foo\x92bar".encode('utf-8', :invalid=>:replace) 
=> "foo\x92bar" 
irb> x.valid_encoding? 
=> false 

zacytować Ruby Docs:

Należy pamiętać, że konwersja z kodowaniem enc do S kodowanie ame enc jest operacją "no-op", tzn. odbiornik jest zwracany bez żadnych zmian i nie są zgłaszane żadne wyjątki, nawet jeśli są niepoprawne bajty.

Oczywistym rozwiązaniem jest najpierw przekonwertować do innego kodowania Unicode, a następnie z powrotem na UTF-8

str.encode('utf-16', :invalid=>:replace).encode('utf-8') 

Na przykład:

irb> x = "foo\x92bar".encode('utf-16', :invalid=>:replace).encode('utf-8') 
=> "foo�bar" 
irb> x.valid_encoding? 
=> true 

Czy istnieje lepszy sposób to zrobić to bez konwersji na fałszywe kodowanie?

Answer 1

Ruby 2.1 wprowadził metodę String#scrub że robi to, co chcesz:

2.1.0dev :001 > x = "foo\x92bar" 
=> "foo\x92bar" 
2.1.0dev :002 > x.valid_encoding? 
=> false 
2.1.0dev :003 > y = x.scrub 
=> "foo�bar" 
2.1.0dev :004 > y.valid_encoding? 
=> true 

Ten sam popełnić także zmienia zachowanie encode tak, aby działało, gdy kodowanie źródłowe i dest są takie same:

2.1.0dev :005 > x = "foo\x92bar".encode('utf-8', :invalid=>:replace) 
=> "foo�bar" 
2.1.0dev :006 > x.valid_encoding? 
=> true 

O ile wiem, nie ma zbudowany w sposób to zrobić przed 2.1 (inaczej scrub nie być potrzebne), więc trzeba użyć trochę techniki obejście aż 2.1 wydany i możesz uaktualnić.

Answer 2

Spróbuj tego:

"foo\x92bar".chars.select(&:valid_encoding?).join 
    # => "foobar" 

lub wymienić

"foo\x92bar".chars.map{|c| c.valid_encoding? ? c : "?"}.join 
# => "foo?bar"