Robots.txt

Z Wikipedie, otevřené encyklopedie

Robots.txt je soubor, který umožňuje správci webu zakázat nebo povolit přístup některých Botů (např. Googlebot, Jyxobot aj.). Musí se nahrát do kořenového adresáře webu.

Obsah

[editovat] Příklady

Když vložíte do souboru robots.txt tento příklad, zakážete indexování všech vyhledávačů:

User-agent: *
Disallow: /

Tímto zakážete všem robotům, aby indexovali obsah složek /cgi-bin, /images, /tmp a /private:

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

Zakázaní googlbotu indexovat vše v adresáři /en:

User-Agent: Googlebot
Disallow: /en/

[editovat] Alternativy

[editovat] HTML tagy

Vložením tohoto kódu mezi tzv. metatagy:

<meta name="robots" content="noindex,nofollow" />

[editovat] Podívejte se také

[editovat] Externí odkazy