Istnieje wiele witryn, które używają tego (imo) irytującego stylu "nieskończonego przewijania". Przykładami są witryny takie jak tumblr, twitter, 9gag, itp.zasymuluj nieskończone przewijanie w języku C#, aby uzyskać pełny HTML strony
Niedawno próbowałam skrobać niektóre zdjęcia z tych stron programowo za pomocą HtmlAgilityPack. tak:
HtmlWeb web = new HtmlWeb();
HtmlDocument doc = web.Load(url);
var primary = doc.DocumentNode.SelectNodes("//img[@class='badge-item-img']");
var picstring = primary.Select(r => r.GetAttributeValue("src", null)).FirstOrDefault();
Działa to dobrze, ale kiedy próbowałem wczytać w HTML z niektórych stron, zauważyłem, że ja tylko wróciłam niewielką ilość treści (powiedzmy 10 pierwszych „posty” lub "zdjęcia", czy cokolwiek ..) To sprawiło, że zastanawiam się, czy byłoby możliwe symulowanie "przewijania w dół" strony w języku C#.
Nie jest tak tylko w przypadku, gdy ładuję html programowo, kiedy po prostu odwiedzam strony takie jak tumblr, sprawdzam firebuga lub po prostu "wyświetl źródło", spodziewałem się, że cała zawartość będzie gdzieś tam, ale dużo z tego wydaje się być ukryty/wstawiony z javascript. Tylko treść widoczna na moim ekranie jest obecna w źródle HTML.
Moje pytania brzmią: czy możliwe jest symulowanie nieskończonego przewijania w dół do strony i ładowanie w tym kodzie HTML za pomocą C# (najlepiej)?
(wiem, że mogę korzystać z API dla tumblr i twitter, ale jestem po prostu staramy się zabawić hacking rzeczy razem z HtmlAgilityPack)