Czy lepiej używać metatagów * lub pliku robots.txt do informowania pająków/robotów o dołączeniu lub wykluczeniu strony?Metatag kontra robots.txt
Czy są jakieś problemy z używaniem zarówno metatagów, jak i pliku robots.txt?
* Np <#META name="robots" content="index, follow">
Roboty.txt IMHO.
Opcja metatagu informuje boty, aby nie indeksowały poszczególnych plików, natomiast plik Robots.txt może służyć do ograniczania dostępu do całych katalogów.
Oczywiście, użyj metatagu, jeśli masz stronę nieparzystą w indeksowanych folderach, które chcesz pominąć, ale generalnie, poleciłbym Ci większość nieindeksowanych treści w jednym lub więcej folderach i użyć pliku robots.txt do opuść los.
Nie, nie jest to problem w użyciu zarówno - jeśli istnieje konflikt, w ujęciu ogólnym, zaprzeczyć będzie nadrzędne pozwalają.
Chociaż mam tendencję do odwiedzania samego pliku Robots.txt, czy nie jest możliwe, że podejrzane roboty mogą po prostu użyć tego pliku, aby uzyskać wygodną listę nowych katalogów, które można spider-ować? Podczas gdy ze znacznikiem META, nie mieliby możliwości znalezienia strony niepołączonej w pierwszej kolejności ... Tylko myśl! – Codecraft
@Codecraft Może to być prawda, ale w ten sposób nie powinieneś wyświetlać poufnych informacji nieautoryzowanym użytkownikom. 'robots.txt' służy do informowania robotów o tym, jakie informacje nie są warte wartości, a nie o tym, co prywatne i nie można uzyskać do nich dostępu. – cpburnz
I prawdopodobnie używać robots.txt nad znacznikiem meta. Robots.txt działa już od dłuższego czasu i może być obsługiwany częściej (ale nie jestem w 100% pewny).
Jeśli chodzi o drugą część, myślę, że większość pająków wybierze najbardziej restrykcyjne ustawienie dla strony - jeśli istnieje różnica między plikiem robots.txt a metatagiem.
Oba są obsługiwane przez wszystkie roboty zgodne z życzeniami webmasterów. Nie wszyscy to robią, ale przeciw nim ani technika nie jest wystarczająca.
Możesz używać reguł pliku robots.txt do ogólnych celów, na przykład do blokowania całych sekcji witryny. Jeśli powiesz Disallow: /family, wszystkie linki zaczynające się od /family nie zostaną zaindeksowane przez przeszukiwacza.
Meta tag może być użyty do zablokowania pojedynczej strony. Strony niedozwolone przez metatagi nie wpływają na podstrony w hierarchii stron. Jeśli masz tag meta disallow na /work, nie uniemożliwia on przeszukiwaczowi dostępu do /work/my-publications, jeśli istnieje link do niego na dozwolonej stronie.
Jest jedna istotna różnica. Według google https://support.google.com/webmasters/answer/6062608?hl=en nadal będą indeksować stronę za plikiem robots.txt DENY, jeśli strona jest połączona z inną witryną.
Jednakże, jeśli nie będą one widzą metatagu:
Chociaż Google nie będzie indeksować zawartość blokowany przez plik robots.txt, możemy jeszcze znaleźć i indeks jest niedozwolone URL z innych miejsc sieć. W rezultacie adres URL i potencjalnie inne publicznie dostępne informacje, takie jak tekst kotwicy w linkach do witryny, mogą nadal pojawiać się w wynikach wyszukiwania Google. Możesz całkowicie wyłączyć wyświetlanie adresu URL w wynikach wyszukiwania Google, używając innych metod blokowania adresów URL, takich jak zabezpieczanie hasłem plików na serwerze lub przy użyciu metatagu noindex lub nagłówka odpowiedzi.
I zgodnie z tymi [1] (http://evolvedigitallabs.com/blog/robots-txt-vs-noindex-differences), [2] (http://etechdiary.com/robots-txt-vs-noindex- deindex-your-site-the-right-way), [3] (http://moz.com/learn/seo/robotstxt), to nie tylko google. Ogólnie rzecz biorąc, metatag służy do blokowania indeksowania, podczas gdy plik robots.txt służy do blokowania indeksowania. – zrisher
+1, a ja mogłem zaktualizować Twój post cytatem z połączonej strony, jeśli jego zawartość zmieni się! – Benjamin
Możesz mieć dowolną, ale jeśli twoja strona ma dużo stron internetowych to roboty.txt jest łatwe i zmniejsza złożoność czasu.
Robots.txt jest dobre dla stron, które zużywają dużo budżetu przeszukiwania, takich jak wewnętrzne wyszukiwanie lub filtry z nieskończoną kombinacją. Jeśli zezwolisz Google na indeksowanie yoursite.com/search=lalalala, spowoduje to marnowanie budżetu na przeszukiwanie.
Nadal możesz zabronić używania tagów meta, prawda? Ale pytanie brzmiało, jaka jest różnica między tym podejściem a plikiem robots.txt. – FazoM
Nie sądzę, że to jest to samo. Jeśli Twoje reguły znajdują się w pliku robots.txt, robot indeksujący będzie musiał okresowo ładować plik robots.txt, aby mieć aktualny podgląd tego, co może indeksować. Jeśli twoje reguły są w metatagach, to będą musiały okresowo ładować każdą otagowaną stronę, aby mieć aktualny widok reguł. – Keith
meta jest lepsza.
Aby wykluczyć pojedyncze strony z indeksów wyszukiwarki, metatag noindex jest lepszy niż plik robots.txt.
Istnieje ogromna różnica między robotem meta a robotem.txt.
W pliku robots.txt pytamy przeszukiwaczy, którą stronę należy zaindeksować, a którą należy wykluczyć, ale nie prosimy robota, aby nie indeksował wykrytych stron.
Ale jeśli używamy znacznika meta robots, możemy poprosić roboty wyszukiwarek nie indeksować tego tagu videosygnału być wykorzystywane do tego jest:
< #meta name = „nazwa robota” content = " noindex "> (usunąć #)
LUB
< #meta name = "nazwa robota" content = "follow, noindex"> (usunąć #)
W drugim tagu meta, mam poprosił robota o podążanie za tym adresem URL, ale nie o indeksowanie w wyszukiwarce silnik.
Chcesz używać "noindex, wykonaj" w robots meta tag, zamiast robots.txt, ponieważ pozwoli to przejść sok link. Lepiej z punktu widzenia SEO.
To jest pytanie związane z programowaniem pod kątem tworzenia stron internetowych. – Tom