Ellenőrizd weboldalad robots.txt fájlját, vagy hozz létre egyszerű robots.txt szabályokat keresőmotorok számára.
Mi az a robots.txt?
A robots.txt egy egyszerű szöveges fájl, amelyet a weboldal gyökérkönyvtárában kell elhelyezni. A fájlban megadhatók olyan szabályok, amelyek útmutatást adnak a keresőrobotoknak arról, hogy a webhely mely részeit ne térképezzék fel.
A fájl általában ezen a címen érhető el:
https://pelda.hu/robots.txt
A robots.txt nem az oldal látogatóihoz, hanem elsősorban a webhelyet feltérképező robotokhoz szól.
Mire való a robots.txt?
A robots.txt segítségével meghatározhatod, hogy egy adott robot milyen URL-útvonalakat térképezhet fel.
Egy egyszerű példa:
User-agent: *
Disallow: /admin/
Ez azt jelzi, hogy az összes robot számára nem kívánatos az /admin/ útvonal feltérképezése.
A robots.txt használható például:
bizonyos könyvtárak feltérképezésének korlátozására;
paraméterezett vagy kevés értéket képviselő URL-ek kezelésére;
a feltérképezési erőforrások tudatosabb kezelésére;
sitemap URL megadására;
egyes keresőrobotokra vonatkozó szabályok beállítására.
Hogyan működik a robots.txt?
A robots.txt szabályai robotonként vagy robotcsoportonként adhatók meg.
A leggyakrabban használt direktívák közé tartozik a:
User-agent– meghatározza, mely robotra vonatkozik a szabály;Disallow– megadja, mely útvonal feltérképezését nem kéri a webhely;Allow– kivételt adhat egy tiltott útvonalon belül;Sitemap– megadhatja az XML sitemap helyét.
Például:
User-agent: *
Disallow: /kosar/
Disallow: /fiokom/
Sitemap: https://pelda.hu/sitemap.xml
A pontos szabályok kialakítása mindig az adott weboldal felépítésétől függ.
A robots.txt nem tiltja le az oldal indexelését
Ez az egyik legfontosabb különbség a technikai SEO-ban.
A robots.txt elsősorban a feltérképezést szabályozza. Nem arra való, hogy egy URL-t garantáltan eltávolítsunk a Google indexéből.
Ha egy oldalt nem szeretnél a keresési indexben látni, annak kezelésére más megoldás, például a noindex használata lehet megfelelőbb.
A noindex meta robots direktíva alkalmazásához viszont a keresőrobotnak hozzá kell tudnia férni az oldalhoz. Ha a robots.txt eleve megakadályozza a feltérképezést, a robot nem feltétlenül fogja látni a noindex utasítást.
A robots.txt nem biztonsági eszköz
A robots.txt-ben szereplő Disallow szabály nem védi jelszóval vagy hozzáférés-ellenőrzéssel az adott URL-t.
Ha például ezt írod:
Disallow: /titkos-mappa/
attól az /titkos-mappa/ még nem válik titkossá.
A robots.txt tartalma nyilvánosan elérhető, és a szabályokat nem minden robot köteles betartani.
Érzékeny vagy bizalmas tartalmak védelméhez valódi hozzáférés-szabályozás szükséges.
Mire való a robots.txt ellenőrző?
Az ellenőrzővel gyorsan átnézheted a robots.txt fájl tartalmát és alapvető szabályait.
Hasznos lehet például:
weboldal indítása előtt;
technikai SEO-audit során;
weboldal költöztetése után;
új robots.txt létrehozásakor;
akkor, ha egy oldal vagy könyvtár feltérképezésével kapcsolatban probléma merül fel.
Egy egyszerű ellenőrzés során érdemes megnézni, hogy a fájl létezik-e, megfelelő helyen található-e, és a benne szereplő szabályok valóban azt teszik-e, amit szeretnél.
Robots.txt generátor
Ha nincs még robots.txt fájlod, a generátor segítségével egyszerű szabályokat állíthatsz össze.
A leggyakoribb alapbeállítás például:
User-agent: *
Allow: /
Ez azt jelzi, hogy az összes robot számára engedélyezett a feltérképezés.
Egy sitemap megadásával például így egészíthető ki:
User-agent: *
Allow: /
Sitemap: https://pelda.hu/sitemap.xml
Fontos azonban, hogy ne generálj automatikusan tiltásokat olyan URL-ekre, amelyeket valójában szeretnél, hogy a keresőrobotok feltérképezzenek.
Mikor érdemes óvatosnak lenni?
A robots.txt módosítása technikai SEO szempontból fontos változtatás lehet.
Egy túl széles Disallow szabály például akár egy teljes webhelyrész feltérképezését is megakadályozhatja.
Különösen érdemes ellenőrizni a beállításokat:
új weboldal élesítésekor;
fejlesztői környezetből éles oldalra költözéskor;
weboldal-migráció után;
robots.txt módosítása után;
nagyobb technikai átalakításokat követően.
Ellenőrizd vagy generáld le a robots.txt fájlt
Használd az eszközt a robots.txt jelenlegi állapotának ellenőrzésére, vagy hozz létre egy új fájlt az alapvető szabályok alapján.
A robots.txt fontos technikai SEO-eszköz, de nem önállóan működik: az indexelés, a canonical beállítások, a sitemap és az oldal tényleges hozzáférhetősége együtt határozzák meg, hogyan tudják a keresőmotorok feltérképezni és feldolgozni a webhelyet.