screen-scraping

44Ciepło

4Odpowiedz

Próbuję użyć jsoup do zalogowania się na stronie, a następnie skrobania informacji, napotykam na problem, mogę się zalogować i utworzyć dokument z index.php, ale nie mogę uzyskać innych stron na stron

9Ciepło

2Odpowiedz

Rubinowa alternatywa dla Scrapy?

Co to są niektóre narzędzia bazujące na Ruby, które mogą mi pomóc osiągnąć coś podobnego do tego, co robi Scrapy dla Pythona? http://doc.scrapy.org/intro/overview.html

5Ciepło

2Odpowiedz

Scrapcja Pythona wydaje się nie mieć danych ze wszystkich dostępnych URL-i.

Próbuję zeskrobać thesession.org, aby utworzyć tabelę określającą, ile razy każda melodia została dodana do pamiętników memebera, dzięki czemu mogę znaleźć popularne utwory do nauki. Zacząłem od tutor

8Ciepło

2Odpowiedz

Przepuścić agenta użytkownika przez webdriver w Selenium

Pracuję nad projektem skrobania strony przy użyciu Selenium w Pythonie. Kiedy otwieram stronę główną za pomocą przeglądarki, otwiera się ona prawidłowo. Ale kiedy próbuję otworzyć stronę przez webdriv

13Ciepło

4Odpowiedz

PhantomJS pobrać przy użyciu javascript odnośnik

ja próbując drapać poniższą stronę internetową: http://www.fangraphs.com/leaders.aspx?pos=all&stats=bat&lg=all&qual=0&type=8&season=2011&month=0&season1=2011&ind=0&team=0&rost=0&players=0 Jeśli klikni

5Ciepło

2Odpowiedz

Używanie Ruby z Mechanize do logowania się na stronie internetowej

Muszę zeskanować dane ze strony, ale wymaga to mojego logowania. Używam hpricot, aby skutecznie niszczyć inne witryny, ale jestem nowy w używaniu mechanizmu mechanize i jestem naprawdę zaskoczony, jak

7Ciepło

4Odpowiedz

Interakcja ze stronami internetowymi w języku C#

Istnieje strona internetowa utworzona za pomocą ColdFusion (nie wiem, czy to ma znaczenie, czy nie). Potrzebuję interakcji z tą witryną. Najważniejsze rzeczy, które muszę zrobić, to przejście do różny

10Ciepło

2Odpowiedz

Jakie bezpłatne/płatne interfejsy API wyszukiwania pozwalają na programowe wysyłanie zapytań i buforowanie/przechowywanie wynikowych danych?

Jeśli wykonałeś jakieś poważne badania w zakresie API wyszukiwania, wiesz, że większość z nich ma ogromną liczbę ograniczeń TOS/TOU, które sprawiają, że są prawie niemożliwe do użycia w czymkolwiek, p

8Ciepło

1Odpowiedz

Problemy ze skrobaniem witryny za pomocą zombie.js

Potrzebuję wykonać skrobanie w Internecie. Po zabawie z różnymi frameworkami do testowania stron internetowych, z których większość jest albo zbyt wolna (Selenium), albo zbyt niepoprawna dla moich pot

5Ciepło

3Odpowiedz

jak stworzyć wielostronicowy PDF z HTML

nam potrzeba wydrukować tysiące faktur, które są w tym formacie - http://example.com/orders/n gdzie n = tysiące zleceń przeżywa każdego zlecenia, a następnie kliknąć na "print" zabiera nam to trochę c