robots.txt
je to soubor, úplně jednoduchý, tvoří se v Poznámkovém bloku nebo v Notepadu, které najdete u sebe na počítači.
Tento soubor má koncovku .txt, je to tako Word ten má .doc nebo Excel má koncovku třeba .xls
K čemu se používá robots.txt? Je určen hlavně pro roboty poslané vyhledávači (Google, Seznam), kteří mají procházet weby a zahrnovat webové stránky do výsledků vyhledávání. Robots.txt je tvoří proto, aby řekli robotům co mají zahrnovat do výsledků a co ne a kde máte uloženu sitemapu = mapu webu (seznam všech stránek webu, které si přejete zahrnout do indexu = to co mají vyhledávače nabízet/zobrazovat lidem, kteří hledají vaši firmu (např.).
Jak vytvořit robots.txt, když používáte WordPress a plugin Yoast SEO?
např. řekneme robotovi, aby indexoval vše kromě přihlašovací stránky mého webu a soubor se sitemapou máme uložen na webu zde https://vasnazevwebu/sitemap_index.xml (pokud používáte plugin Yoast SEO) a jestli jiný, tak může být sitemapa třeba zde https://vasnazevwebu/sitemap.xml to si zjistěte zadáním adresy vašeho webu do prohlížeče a na konec dejte /sitemap.xml nebo /sitemap_undex.xml a uvidíte jestli se něco zobrazí, pokud nic budete mít sitemapu uloženou jinde nebo ji teprve musíte vytvořit.
Pokud máte sitemapu pod sitemap_index.xml zapíšeme to takto:
User-agent: *
Disallow: /wp-admin/
Sitemap: https://vasnazevwebu/sitemap_index.xml
Soubor pak uložíme na FTP (server) většinou do složky s vaším názvem webu nebo do složky www, záleží od koho máte hosting (jednoduše je to tam, kde je třeba soubor wp-config
