# robots.txt

> robots.txt je textový súbor v koreni webu, ktorý crawlerom hovorí, ktoré časti webu môžu navštíviť a ktoré nie.

- **Číslo kontroly:** S19
- **Oblasť:** [SEO](https://be1st.ai/sk/glossary/seo)
- **Nástroj:** [SEO + Bezpečnosť + Výkon](https://be1st.ai/sk/tools/ssp-audit)
- **Stránka:** https://be1st.ai/sk/glossary/seo/robots-txt

## Prečo na tom záleží

Robots.txt je prvý súbor, ktorý robot vyhľadávača pri návšteve webu prečíta. Správne nastavený robots.txt šetrí crawl budget a drží roboty mimo sekcií, ktoré nemajú prehľadávať (pred indexovaním však stránku neochráni, na to slúži noindex).

## V praxi

Facebook má rozsiahly robots.txt, ktorý blokuje prehľadávanie profilov, ale povoľuje verejné stránky. Nesprávny robots.txt môže zablokovať celý web: v známom prípade 'Disallow: /' omylom zablokoval celý e-shop na niekoľko týždňov.

## Ako to be1st kontroluje

Kontrola existencie súboru robots.txt v koreňovom adresári webu. Tento súbor hovorí robotom vyhľadávačov, ktoré časti webu môžu a nemôžu prehľadávať.

[SEO + Bezpečnosť + Výkon](https://be1st.ai/sk/tools/ssp-audit), záložka SEO.

Každá kontrola skončí ako: V poriadku, Varovanie, Chyba.

## Zdroje

- [Robots.txt Introduction and Guide](https://developers.google.com/search/docs/crawling-indexing/robots/intro) (Google Search Central)
- [How Google Interprets the robots.txt Specification](https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec) (Google Crawling Infrastructure)

## Súvisiace pojmy

- [sitemap.xml](https://be1st.ai/sk/glossary/seo/sitemap-xml): XML sitemapa je súbor so zoznamom dôležitých URL webu, aby ich vyhľadávače našli aj bez toho, aby sa spoliehali len na odkazy.
- [HTTPS (SEO)](https://be1st.ai/sk/glossary/seo/https): HTTPS je šifrovaná verzia protokolu HTTP. Chráni dáta medzi prehliadačom a serverom a weby bez neho prehliadače označia ako nezabezpečené.
- [WWW konzistencia](https://be1st.ai/sk/glossary/seo/www-consistency): WWW konzistencia znamená, že web odpovedá len na jednom názve, buď s www, alebo bez neho, a druhú verziu presmeruje na prvú.
- [Lomka na konci URL (trailing slash)](https://be1st.ai/sk/glossary/seo/trailing-slash-consistency): Lomka na konci URL (trailing slash) sa má používať jednotne: každá adresa má len jeden tvar, /stranka alebo /stranka/, a druhý tvar na ňu presmeruje.
- [Veľkosť HTML (SEO)](https://be1st.ai/sk/glossary/seo/html-size): Veľkosť HTML je váha HTML dokumentu stránky v kilobajtoch bez obrázkov, štýlov a skriptov. Vyhľadávač aj prehliadač ho musia celý stiahnuť a spracovať.
- [Znaky mobilnej optimalizácie (mobile-friendly)](https://be1st.ai/sk/glossary/seo/mobile-friendly-indicators): Znaky mobilnej optimalizácie ukazujú, že sa stránka prispôsobí malej obrazovke: viewport tag, responzívne CSS a obsah, ktorý sa zmestí bez zväčšovania.