web-scraping

7Ciepło

2Odpowiedz

Python Scrapy nie ponawia połączenia z limitem czasu

Użyłem niektórych serwerów proxy do indeksowania niektórych witryn. Oto zrobiłem w settings.py: # Retry many times since proxies often fail RETRY_TIMES = 10 # Retry on most error codes since proxies

18Ciepło

4Odpowiedz

kliknięcie linku przez selen w pytonie

Próbuję zrobić niektóre przeglądanie stron przez Selenium. Moje pytanie jest bardzo proste: jak znaleźć link, a następnie jak go kliknąć? Na przykład: Poniżej znajduje się HTML, który próbuję internet

16Ciepło

1Odpowiedz

Python BeautifulSoup scrape tables

Próbuję utworzyć scrape tabeli z BeautifulSoup. Napisałem ten kod w języku Python: import urllib2 from bs4 import BeautifulSoup url = "http://dofollow.netsons.org/table1.htm" # change to whatever y

7Ciepło

2Odpowiedz

Czy istnieje Google API do odczytu treści z pamięci podręcznej?

Wiem, że możesz przejść do strony http://webcache.googleusercontent.com/search?q=cache:http://example.com/, aby wyświetlić pamięć podręczną Google dowolnego adresu URL, ale czy udostępnia ona interfej

6Ciepło

4Odpowiedz

Skrobanie danych z Facebooka za pomocą Pythona

Próbowałem od kilku dni (bezskutecznie) zeskanować miasta z około 500 adresów URL Facebooka. Jednak Facebook przetwarza swoje dane w bardzo dziwny sposób i nie mogę zrozumieć, co dzieje się pod maską,

22Ciepło

2Odpowiedz

Jak zeskrobać stronę, która wymaga logowania przy użyciu Pythona i BeautifulSoup?

Jeśli chcę zeskanować stronę internetową, która wymaga najpierw logowania z hasłem, w jaki sposób mogę rozpocząć skrobanie za pomocą Pythona przy użyciu biblioteki beautifulsoup4? Poniżej przedstawiam

5Ciepło

1Odpowiedz

strony skrobanie: Czekam, aż strona jest całkowicie załadowany

muszę pobrać następującą stronę internetową: http://m.10bet.com/#leage_panel#10096 To jest strona zakłady sportowe i muszę cytaty. Przede wszystkim wydaje się to dość proste. Jednak tutaj jest to, co

16Ciepło

1Odpowiedz

Udawaj Firefoksa zamiast Phantom.js

Kiedy próbuję złom this site z Phantomjs domyślnie Phantomjs wysłać następujące nagłówki serwera: "name":"User-Agent", "value":"Mozilla/5.0 (Unknown; Linux i686) AppleWebKit/534.34 (KHTML, like Gecko

5Ciepło

2Odpowiedz

python, znajdowanie i klikanie konkretnego przycisku selenem

Używając pytona i selenu muszę zlokalizować i kliknąć konkretny przycisk na stronie. W normalnych okolicznościach można to zrobić za pomocą poleceń, które nie będą działać w tym przypadku ze względu n

7Ciepło

1Odpowiedz

Scrapy: Jak przekazywać listę argumentów za pomocą wiersza polecenia do pająka?

Tworzenie skrobaka dla zespołu fantasy. Poszukuje sposobu przekazania listy nazw graczy jako argumentów, a następnie dla każdego player_name na liście player_list uruchamia kod parsujący. Obecnie mam