screen-scraping

5Ciepło

1Odpowiedz

Wybór XPath w HTMLAgilityPack nie działa zgodnie z oczekiwaniami

Piszę prosty program skrobania ekranu w języku C#, dla którego muszę wybrać wszystkie dane wejściowe umieszczone w jednym formularzu o nazwie "aspnetForm" (na stronie są 2 formularze i nie chcę danych

7Ciepło

2Odpowiedz

Python Scrapy nie ponawia połączenia z limitem czasu

Użyłem niektórych serwerów proxy do indeksowania niektórych witryn. Oto zrobiłem w settings.py: # Retry many times since proxies often fail RETRY_TIMES = 10 # Retry on most error codes since proxies

5Ciepło

1Odpowiedz

Nie mogę zeskrobać niektórych elementów z witryny zillow

Próbuję zeskrobać zawartość strony zillow. Ex https://www.zillow.com/homedetails/689-Luis-Munoz-Marin-Blvd-APT-508-Jersey-City-NJ-07310/108625724_zpid/ Problemem jest to, że nie można zeskrobać zawart

9Ciepło

2Odpowiedz

Strona WWW skrobania ekranu zawierająca przycisk z AJAX

Próbuję zautomatyzować niektóre z naszych procesów, jeden obejmuje logowanie się do zewnętrznej strony internetowej, kliknięcie łącza w celu rozwinięcia szczegółów, a następnie pobranie wszystkich wyś

8Ciepło

2Odpowiedz

Czy można użyć bota do otwarcia przeglądarki, ręcznie manipulować stroną, a następnie nadal używać bota?

Używam Ruby, Selenium WebDriver i Nokogiri do pobierania danych ze stron internetowych. Po załadowaniu prawidłowego kodu HTML wydrukuję zawartość pewnej klasy. Na przykład require "selenium-webdriver"

6Ciepło

1Odpowiedz

Błędy komendy Scrapy Benchmark/Benchmark

Zainstalowałem Scrapy 0.22.2 i mogłem uruchomić próbkę kodu DirBot bez żadnych problemów. Jednak po uruchomieniu polecenia Bench pojawiają się błędy i wyjątki. Czy są jakieś problemy poniżej portu 899

5Ciepło

2Odpowiedz

Scrapy + Splash + ScrapyJS

Używam Splash 2.0.2 + Scrapy 1.0.5 + Scrapyjs 0.1.1 i nadal nie jestem w stanie renderować javascript za pomocą kliknięcia. Oto przykład url https://olx.pt/anuncio/loja-nova-com-250m2-garagem-em-box-f

20Ciepło

2Odpowiedz

Złomowanie, złomowanie danych w skrypcie Javascript

Używam scrapy do przeglądania danych o skrobaniu ze strony internetowej. Jednak dane, których szukałem, nie znajdowały się w samym html, ale pochodzą z javascriptu. Moje pytanie brzmi: Jak uzyskać war

6Ciepło

2Odpowiedz

Jak sprawdzić, czy moja strona jest skrobana?

Jak sprawdzić, czy moja witryna jest skrobana? mam kilka punktów ... Przepustowość sieci zawód, powodując problemy z przepustowością (pasuje jeśli proxy używany). Podczas sprawdzania wyszukiwanych słó

8Ciepło

2Odpowiedz

Pobierz wszystkie pliki określonego typu ze strony internetowej za pomocą wget

Następujące nie działa. Nie wiem, dlaczego zatrzymuje się tylko w początkowym adresie URL, nie przechodź do odnośników, aby wyszukać dany typ pliku. wget -r -A .pdf HOME_PAGE_URL inny sposób rekursywn