Beszéljünk
02 · SEO

Mi az a robots.txt?

↑ Rövid válasz

A robots.txt egy fájl, amely irányt ad a keresőrobotoknak, hogy a weboldal mely részeit térképezhetik fel. Rossz beállítással fontos oldalak is elrejthetők a Google elől.

Részletes magyarázat

A robots.txt nem adatvédelmi eszköz. Inkább feltérképezési szabályokat ad. Meg lehet vele akadályozni, hogy a robotok bizonyos mappákat vagy URL-eket bejárjanak. Fejlesztési környezetből élesítéskor gyakran marad hibás tiltás, ami komoly SEO problémát okozhat. Ezért élesítésnél mindig ellenőrizni kell. Nem ugyanaz, mint a noindex. A robots.txt a bejárást szabályozza, a noindex az indexelést tiltja.

↑ Szakmai megjegyzés

Mi robots.txt-t főleg kockázati pontként nézünk: egy kis rossz sor nagyon nagy láthatósági problémát okozhat.

Tipikus hibák

  • Teljes weboldalt tiltó szabály marad élesben.
  • Nem értik a noindex és robots különbségét.
  • Fontos CSS/JS fájlokat tiltanak.
  • Nem ellenőrzik Search Console-ban.
  • Másolt robots fájlt használnak.

Mit érdemes tenni?

  1. Nyisd meg a /robots.txt fájlt.
  2. Ellenőrizd a tiltásokat.
  3. Teszteld Search Console-ban.
  4. Ne tilts fontos oldalakat.
  5. Oldalváltás után ellenőrizd újra.
Beszéljünk
Kapcsolódó fogalmak robots.txtnoindexcrawlingSearch Consoletechnikai SEO
Hozzá tartozó szolgáltatás technikai SEO audit SEO audit

Más kérdések ebben a témában

Összes SEO kérdés

Releváns írások a blogban

Összes blogcikk