Nezapomeňte na robots.txt

Proč nezapomenout na soubor robots.txt? Tento soubor definuje přístup robotů jednotlivých vyhledávačů, a proto je důležité, co je v něm napsáno. A jak funguje robots.txt?

V okamžiku, kdy robot vyhledavače navštíví Vaši stránku, je jeho prvním krokem nahlédnutí do souboru robots.txt. Tento soubor musí být umístěn v kořenovém adresáři webu (stránek), tedy jeho URL je "/robots.txt". Jestliže soubor existuje, robot si přečte v něm uložené příkazy a řídí se jimi. Pokud jej nenalezne, pokračuje dále v prohlížení Vašich stránek bez omezení.

Pomocí souboru robots.txt definujete, kam má robot zakázaný přístup, které soubory či složky nemá archivovat a tím pádem je nemůže ani indexovat.

Obsah robots.txt

Soubor obvykle obsahuje tyto příkazy:
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~danag/

Příkaz "User-agent" definuje, který robot (např. Googlebot, Yahoobot...) se má následujícími příkazy řídit. Hvězdička "*" v tomto příkazu udává, že to platí pro jakékoliv roboty. Příkaz "Disallow" definuje složku, kterou roboti nemají navštívit. Pro jednotlivé složky musí být zvlášť příkaz Disallow, tedy ne Disallow: /cgi-bin/ /tmp/.

Příklady pro soubor robots.txt

Vyloučení všech robotů z přístupu na Vaše stránky
User-agent: *
Disallow: /

Povolení přístupu robotům kamkoliv na webu
User-agent: *
Disallow:

nebo můžete nechat soubor prázdný.

Vyloučení robotů z přístupu k některým složkám webu
User-agent: *
Disallow: /logs/
Disallow: /pics/

Vyloučení přístupu konkrétního robota
User-agent: GoogleBot
Disallow: /

Povolení přístupu konkrétnímu robotu
User-agent: GoogleBot
Disallow:
User-agent: *
Disallow: /

Komentáře

Robots.txt

Zajimave tipy :)