Używanie wget do rekurencyjnego pobierania katalogu z dowolnymi plikami w nim

Question

Mam katalog stron, w którym przechowuję niektóre pliki konfiguracyjne. Chciałbym użyć wget, aby usunąć te pliki i zachować ich aktualną strukturę. Na przykład zdalny katalog wygląda następująco:

http://mysite.com/configs/.vim/ 

.vim posiada wiele plików i katalogów. Chcę replikować to na kliencie za pomocą wget. Nie można znaleźć odpowiedniego zestawu flag wget, aby to zrobić. Jakieś pomysły?

Answer 1

trzeba przejść opcję -np/--no-parent do wget (oprócz -r/--recursive, oczywiście), w przeciwnym razie będzie podążaj za odnośnikiem w indeksie katalogów w mojej witrynie do katalogu nadrzędnego. Tak więc polecenie będzie wyglądać następująco:

wget --recursive --no-parent http://example.com/configs/.vim/ 

Aby uniknąć pobierania automatycznie wygenerowane index.html plików, należy wybrać opcję -R/--reject:

wget -r -np -R "index.html*" http://example.com/configs/.vim/ 

Answer 2

wget -r http://mysite.com/configs/.vim/ 

działa dla mnie.

Być może masz .wgetrc, który to zakłóca?

Answer 3

Powinieneś być w stanie to zrobić po prostu przez dodanie -r

wget -r http://stackoverflow.com/ 

Answer 4

Aby pobrać katalog rekursywnie, który odrzuca index.html * pliki i pliki do pobrania bez nazwy hosta, katalogu nadrzędnego i całej struktury katalogów:

wget -r -nH --cut-dirs=2 --no-parent --reject="index.html*" http://mysite.com/dir1/dir2/data 

Answer 5

Dla każdego e else, że mając podobne problemy. Wget podąża za robots.txt, co może uniemożliwić ci pobranie strony. Nie martw się, możesz go wyłączyć:

wget -e robots=off http://www.example.com/ 

http://www.gnu.org/software/wget/manual/html_node/Robot-Exclusion.html

Answer 6

Oto pełna polecenia wget, który pracował dla mnie, aby pobrać pliki z katalogu serwera (pomijając robots.txt):

wget -e robots=off --cut-dirs=3 --user-agent=Mozilla/5.0 --reject="index.html*" --no-parent --recursive --relative --level=1 --no-directories http://www.example.com/archive/example/5.3.0/ 

Answer 7

Jeśli --no-parent nie pomóż, możesz użyć opcji --include.

katalog struct:

http://<host>/downloads/good 
http://<host>/downloads/bad 

I chcesz pobrać downloads/good ale nie downloads/bad katalogu:

wget --include downloads/good --mirror --execute robots=off --no-host-directories --cut-dirs=1 --reject="index.html*" --continue http://<host>/downloads/good 

Answer 8

Należy użyć flagi -m (lustro), jako że zajmuje się nie bałagan z sygnaturami czasowymi i powtarzającymi się w nieskończoność.

wget -m http://example.com/configs/.vim/ 

Jeśli dodać punkty wymienione przez innych w tym wątku, to byłoby:

wget -m -e robots=off --no-parent http://example.com/configs/.vim/ 

Answer 9

Aby pobrać katalog rekurencyjnie z nazwy użytkownika i hasła, należy użyć następującego polecenia:

wget -r --user=(put username here) --password='(put password here)' --no-parent http://example.com/ 

Answer 10

Wget 1.18 może działać lepiej, np. Zostałem ugryziony przez wersję 1.12 błędu, gdzie ...

wget --recursive (...) 

... pobiera tylko plik index.html zamiast wszystkich plików.

Obejście polegało na zauważeniu niektórych przekierowań 301 i wypróbowaniu nowej lokalizacji - biorąc pod uwagę nowy adres URL, wget dostał wszystkie pliki w katalogu.

Answer 11

Ta wersja pobiera pliki rekurencyjnie i nie tworzy katalogów nadrzędnych.

wgetod() { 
    NSLASH="$(echo "$1" | perl -pe 's|.*://[^/]+(.*?)/?$|\1|' | grep -o/| wc -l)" 
    NCUT=$((NSLASH > 0 ? NSLASH-1 : 0)) 
    wget -r -nH --user-agent=Mozilla/5.0 --cut-dirs=$NCUT --no-parent --reject="index.html*" "$1" 
} 

Zastosowanie:

1. Dodaj do ~/.bashrc lub wkleić do terminala
2. wgetod "http://example.com/x/"

Answer 12

Wszystko czego potrzebujesz to dwie flagi, jedna jest "-r" dla rekursji i "--no-parent" (lub -np) aby nie wchodzić w ustawienia '.' i "..". Tak:

wget -r --no-parent http://example.com/configs/.vim/

To wszystko. Zostanie pobrany do następującego lokalnego drzewa: ./example.com/configs/.vim. Jednak jeśli nie chcesz pierwszych dwóch katalogów, a następnie użyć dodatkowych flagę --cut-dirs=2 jako sugerowane we wcześniejszych odpowiedziach:

wget -r --no-parent --cut-dirs=2 http://example.com/configs/.vim/

I będzie pobierać drzewo plików tylko do ./.vim/

w rzeczywistości, Dostałem pierwszą linię od tej odpowiedzi dokładnie od wget manual, jest to bardzo czysty przykład na końcu sekcji 4.3.