Robots.txt
Z Wikipedie, otevřené encyklopedie
Robots.txt je soubor, který umožňuje správci webu zakázat nebo povolit přístup některých Botů (např. Googlebot, Jyxobot aj.). Musí se nahrát do kořenového adresáře webu.
Obsah |
[editovat] Příklady
Když vložíte do souboru robots.txt tento příklad, zakážete indexování všech vyhledávačů:
User-agent: * Disallow: /
Tímto zakážete všem robotům, aby indexovali obsah složek /cgi-bin, /images, /tmp a /private:
User-agent: * Disallow: /cgi-bin/ Disallow: /images/ Disallow: /tmp/ Disallow: /private/
Zakázaní googlbotu indexovat vše v adresáři /en:
User-Agent: Googlebot Disallow: /en/
[editovat] Alternativy
[editovat] HTML tagy
Vložením tohoto kódu mezi tzv. metatagy:
<meta name="robots" content="noindex,nofollow" />

