Jak sprawdzić, czy moja witryna jest skrobana?Jak sprawdzić, czy moja strona jest skrobana?
mam kilka punktów ...
- Przepustowość sieci zawód, powodując problemy z przepustowością (pasuje jeśli proxy używany).
- Podczas sprawdzania wyszukiwanych słów kluczowych nowe odsyłacze pojawiają się w innych podobnych zasobach z tą samą zawartością (pasuje, jeśli używany jest serwer proxy).
- Wiele żądań z tego samego adresu IP.
- Wysoki poziom żądań z jednego adresu IP. (przy okazji: jaka jest normalna stawka?)
- Bezgłowy lub dziwny agent użytkownika (pasuje, jeśli używany jest serwer proxy).
- Żądanie z przewidywalnymi (równymi) przedziałami czasu z tego samego adresu IP.
- Niektóre pliki pomocy nigdy nie są wymagane, np. favicon.ico, różne pliki CSS i javascript (pasuje, jeśli używany jest serwer proxy).
- Sekwencja żądań klienta. Dawny. dostęp do klienta nie jest bezpośrednio dostępny (pasuje, jeśli używany jest serwer proxy).
Czy dodać więcej do tej listy?
Jakie punkty można dopasować/dopasować, jeśli skrobak korzysta z proxy?
pokrewne: [? Można wykryć strona skrobanie] (http://stackoverflow.com/q/6936453) i [Sposobem na wykrycie internetowej skrobania] (http: // stackoverflow.com/q/5372115). Zasadniczo jest to dość trudne do określenia, ponieważ używają różnych podejść do mylenia. – fedorqui
Z własnego doświadczenia - szybkość, z jaką pojedynczy adres IP odwiedza Twoją witrynę, będzie bardzo szeroki w zależności od Twojej witryny. Na przykład kiedyś stworzyłem stronę internetową, którą stworzyłem, że byłoby średnio odwiedzać raz dziennie i wyświetlać tylko kilka stron (ponieważ zamieszczaliśmy informacje tylko raz dziennie). Inne witryny (np. Fora lub dynamicznie aktualizujące strony z dużą ilością informacji zamieszczanych często) mogą wymagać znacznie bardziej przypadkowego wyboru wizyt. Lub jeśli twoja strona internetowa jest spójna, byłoby bardzo nieczęste - może 1-2 dziennie, a następnie odpada. – Sh4d0wsPlyr
Czy możesz wyjaśnić, dlaczego chcesz wykryć skrobaki? Większość witryn jest za nim - skrobanie jest dokładnie tym, jak dostać się do wyszukiwarek. Jeśli masz zamiar go zablokować, czy wypróbowałeś protokół wykluczania robotów? – halfer