robots.txt

6Ciepło

1Odpowiedz

Django - ładowanie pliku Robots.txt poprzez ogólne widoki

Przesłałem plik robots.txt do mojego katalogu szablonów na moim serwerze produkcyjnym. Używam ogólnych widoków; from django.views.generic import TemplateView (r'^robots\.txt$', TemplateView.as_view(

5Ciepło

1Odpowiedz

HTTP 403 podczas pobierania robots.txt o mechanize

Komenda ta powłoka uda $ curl -A "Mozilla/5.0 (X11; Linux x86_64; rv:18.0) Gecko/20100101 Firefox/18.0 (compatible;)" http://fifa-infinity.com/robots.txt i drukuje robots.txt. Pominięcie opcji user-

51Ciepło

4Odpowiedz

Jak zatrzymać indeksowanie mojego repozytorium Github przez Google

Używam Githuba do przechowywania tekstu jednej z moich stron internetowych, ale problemem jest indeksowanie przez Google tekstu w Githubie. Tak więc ten sam tekst pojawi się zarówno na mojej stronie,

6Ciepło

2Odpowiedz

bloku bingbot indeksowania mi strony

ja, takie jak t całkowicie zablokować Bing indeksowania mi miejsce teraz (jest atakowanie mi miejsce w alarmującym tempie (500 GB danych w miesiącu). I 1000 subdomen dodano do narzędzia dla webmasteró

7Ciepło

1Odpowiedz

Nginx: inna robots.txt dla domeny alternte

Podsumowanie Mam pojedynczą aplikację internetową z wewnętrzną i zewnętrzną skierowaną domeny na nią i chcę robots.txt, aby zablokować wszelki dostęp do domeny wewnętrznej , ale zezwól na dostęp do do

5Ciepło

1Odpowiedz

Czy mogę użyć pliku robots.txt do zablokowania określonych parametrów adresu URL?

Zanim powiesz "co próbujesz" i "przetestujesz to sam", chciałbym zauważyć, że robots.txt aktualizacje strasznie powolne dla dowolnej witryny w wyszukiwarkach, więc jeśli mógłbyś dostarczyć teoretyczne

159Ciepło

1Odpowiedz

Czy względny adres URL mapy witryny może być używany w pliku robots.txt?

W pliku robots.txt mogę wpisać następujący względny adres URL dla pliku mapy witryny? sitemap: /sitemap.ashx Czy muszę używać kompletny (absolutny) URL do pliku mapy witryny, jak: sitemap: http://su

32Ciepło

4Odpowiedz

Jaki jest najmądrzejszy sposób obsługi pliku robots.txt w Expressie?

Obecnie pracuję nad aplikacją zbudowaną za pomocą Express (Node.js) i chcę wiedzieć, jaki jest najmądrzejszy sposób obsługi różnych plików robots.txt w różnych środowiskach (programowanie, produkcja).

5Ciepło

4Odpowiedz

Robotparser nie parsuje się poprawnie

Piszę robota i do tego implementuję parser robots.txt, używam standardowej biblioteki robotparser. Wydaje się, że robotparser jest nie analizowania poprawnie, jestem debugowania robota przy użyciu Goo

6Ciepło

1Odpowiedz

Zezwalaj tylko na Google CSE i nie zezwalaj na wyszukiwanie standardowe Google w ROBOTS.txt

Mam witrynę, na której korzystam z wyszukiwarki niestandardowej Google. Chcę, aby Google CSE indeksowała moją witrynę, ale chcę, aby nie była wynikiem zwykłego wyszukiwania w Google. I umieścić w moim