Robots.txt a meta tag robots

Cesta k úspěchu je dlouhá, toto pravidlo platí i v případě internetových stránek. Cesta k navštěvovaným a výdělečným stránkám je předlouhá a mnohdy i nesnadná. Pokud ovšem věnujeme náš čas alespoň minimálně do optimalizace pro vyhledávače, tak se můžeme těšit na kýžené výsledky, vysokou návštěvnost a především požadované zisky.

Robots.txt
Robots.txt je soubor, který umístíte do kořenového adresáře na webu, a můžete v něm nadefinovat, co mají vyhledávače dělat, když přijdou na Vaše stránky. Robots.txt sice řekne fulltextovým robotům, jak se mají chovat, ale nikdo Vám nezaručí, že se tak skutečně chovat budou. V případě, že máte na stránkách citlivé údaje, které nechcete zobrazit ve vyhledávání, tak nejlepší variantou je stránky mít pod heslem.

Rozhodnutí o tom, zda a které ze stránek webu budou, resp. nebudou indexovány vyhledávači je pouze a jenom na autorovi dané stránky, a právě pro tyto rozhodnutí se využívá Robots.txt. Autor stránky s pomocí Robots.txt nastaví, na které části webu může, nebo nemůže fulltextový robot chodit. Běžný zápis v souboru Robots.txt je:

• User-agent: (robot – jeho název: Googlebot, Jyxobot, či Seznambot)
• Disallow: (vše co je robotovy zakázáno, pokud může robot indexovat vše, tak se místo Disallow použije Allow, nebo se nechá Disallow prázdné)
• Sitemap: (odkaz na mapu Vašich stránek, většinou se jedná o xml soubor, usnadňuje procházení robotů a zároveň určuje, které stránky jsou nejdůležitější)

Hlavička každé stránky by měla obsahovat, co robot smí a co ne. Příkladem je <meta name="robots" content="index, follow">

• noindex – obsah stránky nebude indexován
• index – obsah stránky bude indexován
• nofollow – odkazy nebudou sledovány
• follow – odkazy budou sledovány
• all – vše povoleno, tedy jako index, follow