robots.txt

9Ciepło

5Odpowiedz

Jak zezwolić robotom na dostęp tylko do pliku index.php za pomocą pliku robots.txt?

Jeśli chcę zezwolić robotom indeksującym na dostęp do pliku index.php, czy to zadziała? User-agent: * Disallow:/ Allow: /index.php

7Ciepło

1Odpowiedz

Robots.txt: czy ta reguła jest ważna?

Proste pytanie. Chcę dodać: Disallow */*details-print/ Zasadniczo reguły blokowania w formie /foo/bar/dynamic-details-print --- foo i bar w tym przykładzie może być również całkowicie dynamiczna. my

16Ciepło

3Odpowiedz

Jak zapobiec nieautoryzowanemu przepływowi mojej witryny przez Bing?

Bingbot trafi na moją stronę dość ciężko przez kilka godzin każdego dnia i będzie bardzo lekki przez resztę czasu. bym albo jak w celu wygładzenia jej przemierza zmniejszyć granicę szybkości lub bloko

7Ciepło

2Odpowiedz

jak odrzucać wszystkie dynamiczne linki robots.txt

jak odrzucać wszystkie dynamiczne adresy URL w pliku robots.txt Disallow: /?q=admin/ Disallow: /?q=aggregator/ Disallow: /?q=comment/reply/ Disallow: /?q=contact/ Disallow: /?q=logout/ Disallow:

19Ciepło

9Odpowiedz

Metatag kontra robots.txt

Czy lepiej używać metatagów * lub pliku robots.txt do informowania pająków/robotów o dołączeniu lub wykluczeniu strony? Czy są jakieś problemy z używaniem zarówno metatagów, jak i pliku robots.txt? *

7Ciepło

1Odpowiedz

Parser robots.txt dla języka Java z obsługą symboli wieloznacznych

Poszukuję parsera robots.txt w języku Java, który obsługuje tę samą funkcję pattern matching rules jako Googlebota. Znalazłem kilka librairies do analizowania plików robots.txt, ale żaden z nich nie o

18Ciepło

6Odpowiedz

Jak skonfigurować Nginx do przekierowania do adresu URL pliku robots.txt i sitemap.xml

Używam nginx 0.6.32 jako front-end dla serwera proxy dla couchdb. Mam plik robots.txt w bazie danych, dostępny jako http://www.example.com/prod/_design/mydesign/robots.txt. Mam również plik sitemap.xm

5Ciepło

5Odpowiedz

Pomysły BOT/Pająka Pułapka

Mam klienta, którego domena wydaje się być bardzo mocno uderzona przez to, co wydaje się być DDoS. W dziennikach jest to normalnie wyglądający agent użytkownika z losowymi adresami IP, ale przeglądają

7Ciepło

3Odpowiedz

parser robots.txt java

Chcę wiedzieć, jak przeanalizować plik robots.txt w języku Java. Czy istnieje już jakiś kod?

9Ciepło

3Odpowiedz

Mapa strony witryny z dużą liczbą dynamicznych subdomen

Używam witryny, która umożliwia użytkownikom tworzenie subdomen. Chcę przesłać te subdomeny użytkowników do wyszukiwarek za pomocą map witryn. Jednak zgodnie z protokołem Sitemaps (i Narzędzi Google d