Jak włączyć 'wget', aby pobrać całą zawartość HTML z Javascriptem

Question

Mam site, który chcę pobrać przy użyciu Uniksa wget. Jeśli spojrzysz na kod źródłowy i zawartość pliku, zawiera on sekcję o nazwie SUMMARY. Jednak po wydaniu polecenia wget tak:

wget -O downdloadedtext.txt http://www.ncbi.nlm.nih.gov/IEB/Research/Acembly/av.cgi?db=mouse&c=gene&a=fiche&l=2610008E11Rik 

Zawartość downdloadedtext.txt jest niekompletna i inny z kodem źródłowym z tej witryny. Na przykład nie zawiera sekcji PODSUMOWANIE. Czy istnieje poprawny sposób na uzyskanie pełnej treści poprawnie?

Powód, dla którego pytam o to, ponieważ chcę zautomatyzować pobieranie z różnych wartości w tym kodzie HTML.

Answer 1

Musisz umieścić link wewnątrz cytatów:

wget -O downdloadedtext.txt 'http://www.ncbi.nlm.nih.gov/IEB/Research/Acembly/av.cgi?db=mouse&c=gene&a=fiche&l=2610008E11Rik' 

To dlatego, że & ma specjalne znaczenie i będzie podzielony na kilka komendę poleceń.

Answer 2

Znak & ma specjalne znaczenie w powłokach. Zacytuj identyfikator URI, aby faktycznie zażądać identyfikatora URI, o który chcesz poprosić.

Answer 3

Możesz użyć flagi (--page-prerequisites), aby powiedzieć wget, aby pobrać połączone zasoby. Od man wget:

Ta opcja powoduje, że Wget pobiera wszystkie pliki niezbędne do poprawnego wyświetlenia danej strony HTML. Obejmuje to takie elementy, jak wstawione obrazy, dźwięki i odniesienia do arkuszy stylów.

Można również spojrzeć, opcją --follow-tags który pozwala ograniczyć ten proces:

Wget ma wewnętrzną tablicę par: znacznik HTML/atrybut, którą posługuje się przy poszukiwaniu powiązanych dokumentów podczas rekurencyjnej wyszukiwanie. Jeśli użytkownik chce, aby rozważano tylko podzbiór tych tagów, powinien on określić takie znaczniki na liście rozdzielanej przecinkami z tą opcją.