wget

137Ciepło

9Odpowiedz

Ustawianie proxy w wget

Chcę pobrać coś za pomocą narzędzia wget. ale chcę użyć tych ustawień dla wget: HTTP Proxy: 127.0.0.1 Port: 8080 bez nazwy użytkownika i hasła. Jak mogę to zrobić? Sprawdziłem wiele miejsc i wiele

linux web proxy wget 2012-06-26

---

5Ciepło

2Odpowiedz

Dlaczego wget daje mi dwa różne całkowite czasy pobierania?

Ostatnie 3 linie wget -i urls.txt: FINISHED --2012-05-16 12:58:08-- Total wall clock time: 1h 56m 52s Downloaded: 1069 files, 746M in 1h 52m 49s (113 KB/s) Istnieją dwa różne czasy: 1h 56m 52s 1h

bash time download wget 2012-05-16

---

8Ciepło

1Odpowiedz

Pobieranie wszystkich plików pdf z wyników wyszukiwania Google Scholar za pomocą wget

Chciałbym napisać prosty pająk sieciowy lub po prostu użyć wget, aby pobrać wyniki pdf z google scholar. Byłby to całkiem sprytny sposób na uzyskanie dokumentów do badań. Czytałem następujące strony n

unix wget web-crawler 2012-09-04

---

7Ciepło

1Odpowiedz

Przechwytywanie wyjście bash czasu w zmiennej skryptu

próbuję to: TIMEFORMAT=%R; foo=$(time wget http://www.mysite.com) echo $foo i kiedy wykonać widzę liczbę chcę na wyjściu, ale nie w zmiennej foo (echo $ foo nic druku) . Dlaczego tak jest?

bash shell time wget 2012-08-08

---

30Ciepło

7Odpowiedz

Dlaczego wget pobiera plik index.html tylko dla niektórych witryn?

Próbuję użyć wget polecenie: wget -p http://www.example.com aby pobrać wszystkie pliki znajdujące się na stronie głównej. W przypadku niektórych witryn działa, ale w większości przypadków pobiera ty

wget 2012-06-20

---

21Ciepło

3Odpowiedz

wget-O dla nieistniejącej ścieżki zapisu?

Nie mogę wget, gdy nie ma już ścieżki do zapisania. Mam na myśli, że wget nie działa dla nieistniejących ścieżek zapisywania. Na przykład: wget -O /path/to/image/new_image.jpg http://www.example.com/o

linux wget 2012-06-29

---

7Ciepło

1Odpowiedz

Jak uzyskać listę dostępnych plików za pomocą wget lub curl?

Chciałbym wiedzieć, czy możliwe jest utworzenie adresu URL z ls, dzięki czemu mogę zobaczyć, jakie pliki * .js są dostępne na przykład w witrynie. Coś jak: wget --list-files -A.js stackoverflow.com

bash curl terminal wget 2012-05-13

---

9Ciepło

6Odpowiedz

wget i znaki specjalne

Używam wget lokalnie do wykonania statycznej migawki małej aplikacji internetowej. Kiedy to zrobię, wynikowe pliki html powrócą z dziwnymi znakami zamiast cudzysłowów i apostrofów. Co mogę zrobić, aby

character-encoding wget 2012-07-05

---

52Ciepło

4Odpowiedz

Wget dokument wyjściowy i nagłówki do STDOUT

Próbuję treści dokumentu i jego wyjście na stdout z nagłówkami wget przez wget -S -O - http://google.com ale pokazuje tylko HTML docment. Dzięki UPD: Pracował ten wget --save-headers --output-document

linux http wget 2012-08-25

---

5Ciepło

3Odpowiedz

witryna lustrzana http, z wyłączeniem niektórych plików

Chciałbym odzwierciedlić prosty chroniony hasłem portal internetowy dla niektórych danych, które chciałbym zachować na bieżąco w postaci kopii zapasowej &. Zasadniczo ta strona to tylko lista katalogó

wget 2012-05-23

---