Bingbot trafi na moją stronę dość ciężko przez kilka godzin każdego dnia i będzie bardzo lekki przez resztę czasu.Jak zapobiec nieautoryzowanemu przepływowi mojej witryny przez Bing?
bym albo jak w celu wygładzenia jej przemierza zmniejszyć granicę szybkości lub blokować je całkowicie. To tak naprawdę nie przesyła żadnych prawdziwych gości.
Czy istnieje sposób, w jaki mogę wygładzić jego indeksowanie lub ograniczyć szybkość?
Możesz zablokować jego IP przy użyciu HTACCESS.
order allow,deny
deny from 192.168.44.201
deny from 224.39.163.12
deny from 172.16.7.92
allow from all
Więcej na ten temat można znaleźć tutaj: Blog about bot blocking
ma to zły efekt uboczny: obniży twój pagerank – knocte
Ich webmaster blog mówi, że wspierają one dodanie parametru crawl opóźnieniu do pliku robots.txt, aby zdławić bingbot.
User-agent: msnbot
Crawl-delay: 1
Jest nieco więcej wyjaśnienie w webmaster FAQ PDF
Te inne linki mogą być pomocne także:
http://www.bing.com/toolbox/webmasters
http://www.bing.com/community/webmaster/f/12252/t/651373.aspx
Można ograniczyć liczbę połączeń z robota do f.i. 5 poprzez ustawienie IPTables tak (wymaga dostępu do głównego zapory):
ustawienie IPTables: iptables -I WEJŚCIE -p tcp -m connlimit --connlimit powyżej 5--j ODRZUCONY
Ogranicza to połączenia z każdego adresu IP do nie więcej niż 5 równoczesnych połączeń. Tego rodzaju połączenia "racje" i uniemożliwiają robotom indeksującym jednoczesne uderzanie w witrynę.
Dodano już plik robots.txt jako tag. Czy to nie dla ciebie? – EboMike