Ruby Mechanize Zlib :: BufError

Question

Nie wiem, dlaczego dostaję teraz ten błąd za pomocą klejnotu Mechanize - używam go już od jakiegoś czasu bez żadnych problemów.

Mój skrypt losowo zatrzymać i rzucić się następujący błąd:

/Users/username/.rvm/gems/ruby-1.9.3-p194/gems/mechanize-2.5.1/lib/mechanize/http/agent.rb:798:in `rescue in response_content_encoding': error handling content-encoding gzip: buffer error (Zlib::BufError) (Mechanize::Error) 

jakieś pomysły?

Answer 1

Możliwe, że trafiasz na adres URL wskazujący na równoważenie obciążenia. Jeden z hostów znajdujących się za równoważeniem obciążenia jest źle skonfigurowany lub może być skonfigurowany jako inaczej niż niż jego rówieśnicy i zwraca zwięźle wersję treści, gdzie inni nie. Widziałem ten problem w przeszłości.

Widziałem również sytuacje, w których serwer powiedział, że zwracał spakowaną zawartość, ale wysłał ją nieskompresowaną. Lub może być wysyłane zip, a nie gzipowane. Kombinacje są liczne.

Rozwiązaniem jest upewnienie się, że twój kod jest w stanie wykryć, czy zwrócona zawartość jest skompresowana. Upewnij się, że wysyłasz również prawidłowe nagłówki HTTP z odpowiednim kodem do swojego serwera. Musisz zaprogramować defensywnie i przyjrzeć się faktycznej zawartości, którą otrzymujesz, a następnie oddziałać, aby wykonać odpowiednią dekompresję, a następnie przekazać ją do analizy.

Answer 2

udało mi się obejść ten problem przez ustawienie nagłówków żądania tak:

mechanize.request_headers = { "Accept-Encoding" => "" }