wget

6Ciepło

3Odpowiedz

Jak włączyć 'wget', aby pobrać całą zawartość HTML z Javascriptem

Mam site, który chcę pobrać przy użyciu Uniksa wget. Jeśli spojrzysz na kod źródłowy i zawartość pliku, zawiera on sekcję o nazwie SUMMARY. Jednak po wydaniu polecenia wget tak: wget -O downdloadedtex

8Ciepło

1Odpowiedz

Tworzyć tylko plik, jeśli http status 200 z wget?

Próbuję wymyślić sposób, aby wget stworzył tylko plik, jeśli aktualna odpowiedź pobierania jest ważna, co oznacza, że nie ma kodu statusu 404 lub 500, tylko 200. Jednak przy użyciu opcji -O (aby okr

156Ciepło

12Odpowiedz

Pobieranie wget z wieloma jednoczesnymi połączeniami

Używam wget do pobierania zawartości strony, ale wget pobiera pliki jeden po drugim. Jak mogę pobrać wget przy użyciu 4 jednoczesnych połączeń?

194Ciepło

8Odpowiedz

Jak przejść przez stronę logowania za pomocą Wget?

Próbuję użyć Wget, aby pobrać stronę, ale nie mogę przejść przez ekran logowania. Jak wysłać nazwę użytkownika/hasło za pomocą danych postów na stronie logowania, a następnie pobrać rzeczywistą stronę

10Ciepło

4Odpowiedz

Jak obliczyć hash dla ciągu (url) w bash dla buforowania wget

Buduję małe narzędzie, które będzie pobierać pliki za pomocą wget, czytając adresy URL z różnych plików. Ten sam URL może występować w różnych plikach; adres URL może występować nawet w jednym pliku k

16Ciepło

5Odpowiedz

używanie wget przeciwko chronionej witrynie przy użyciu NTLM

Próba zwierciadlania lokalnej strony intranetowej i znalezienia poprzednich pytań za pomocą "wget". Działa wspaniale z witrynami, które są anonimowe, ale nie byłem w stanie użyć go w witrynie, która o

46Ciepło

4Odpowiedz

Spider a Website and Return URLs Only

Szukam sposobu na pseudo-spider na stronie internetowej. Kluczowe jest to, że tak naprawdę nie chcę zawartości, ale raczej prostej listy URI. Mogę dostać dość blisko do tego pomysłu z Wget używając op

10Ciepło

2Odpowiedz

wget, samopodpisane certyfikaty i niestandardowy serwer HTTPS

Z różnych powodów stworzyłem prosty serwer HTTP i dodano obsługę SSL przez OpenSSL. Używam certyfikatów z podpisem własnym. IE, Firefox i Chrome ładnie ładują zawartość, o ile dodaję CA do zaufanych g

10Ciepło

3Odpowiedz

Jak zeskrobać grupę _private_ google?

Chciałbym zeskrobać listę dyskusyjną prywatnej grupy google. Jest to wielostronicowa lista i być może będę musiał to później powtórzyć, więc pisanie skryptów brzmi jak droga. Ponieważ jest to grupa pr

19Ciepło

3Odpowiedz

Jak sprawić, by wget był odpowiednio cichy?

wget zawsze odzwierciedla wartości systemowych do konsoli, nawet kiedy podać -q (cicho) w linii poleceń, np .: C:\> wget -q http://www.google.com/ SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc syswget