łącza indeksujące polecenia sitemap.xml do polecenia wget:

Question

Próbuję zaindeksować wszystkie linki pliku sitemap.xml, aby ponownie zapisać w pamięci podręcznej witrynę. Ale opcja rekurencyjna wget nie działa, otrzymuję tylko odpowiedź:

Plik zdalny istnieje, ale nie zawiera linku - nieodtwarzany.

Ale na pewno plik sitemap.xml jest pełen linków "http: // ...".

Próbowałem niemal każdą opcję wget, ale nic nie działało dla mnie:

wget -r --mirror http://mysite.com/sitemap.xml 

Czy ktoś wie jak otworzyć wszystkie linki wewnątrz strony sitemap.xml?

Dzięki Dominic

Answer 1

Wydaje się, że wget nie można analizować XML. Musisz więc ręcznie wyodrębnić linki. Możesz zrobić coś takiego:

wget --quiet http://www.mysite.com/sitemap.xml --output-document - | egrep -o "https?://[^<]+" | wget -i - 

Nauczyłem się tej sztuczki here.