A robots.txt egyszerűen: mit tiltasz le és mit nem egy üzleti weboldalon

A robots.txt egy apró szöveges fájl, amely a weboldalad gyökerében helyezkedik el, és megmondja a keresőmotorok robotjainak, hova bolyonghatnak. Technikásan hangzik, de a lényegi döntés egyszerű: mit hagysz láthatóan, és mit tartasz félre. És itt követi el sok cégtulajdonos a drága hibát — pontosan azokat az oldalakat tiltják le, amelyeknek meg kellene jelenniük a Google-ben.

Jó hír: nem kell fejlesztőnek lenned ahhoz, hogy megértsd. Ebben a cikkben közérthető nyelven megmutatom, mire való a robots.txt, mire NEM való (ezt keverik össze a legtöbben), hogyan ellenőrizheted két perc alatt, mi van a saját oldaladon, és mikor érdemes egyáltalán hozzányúlni. Fölösleges szakzsargon nélkül.

Mi is valójában a robots.txt

Képzelj el egy táblát egy épület bejáratánál: „Recepció és bemutatóterem — szívesen látunk; raktár és könyvelési iroda — látogatók kizárva.” Nagyjából ezt teszi a robots.txt a keresőmotorok robotjaival (a Googlebot és a többi).

Ez egy egyszerű szöveges fájl, amely mindig ugyanazon a címen érhető el: a-te-domained.hu/robots.txt. Akár most is megnyithatod a böngésződben, és megnézheted, mi van benne írva — bármely nyilvános oldal megmutatja bárkinek.

A benne lévő szabályok így néznek ki:

• User-agent: * — „ez a szabály minden robotra vonatkozik”
• Disallow: /admin — „ne lépj be az /admin területre”
• Allow: / — „a többi nyitva van”

A komoly keresőmotorok robotjai elolvassák és tiszteletben tartják. Ez az illő viselkedés megállapodása, nem zár — ezt tartsd észben, a következő szakasznál fontos lesz.

A nagy félreértés: a „letiltott” nem jelenti azt, hogy „elrejtett”

Itt téved szinte mindenki. Az emberek azt hiszik, ha egy oldalt Disallow-ba tesznek, az eltűnik a Google-ből. Tévedés — és ez a félreértés kárt is okozhat.

A Disallow azt mondja a robotoknak: „ne olvasd el ennek az oldalnak a tartalmát”. Nem azt mondja, hogy „felejtsd el, hogy létezik”. Ha egy másik oldal hivatkozik erre az oldalra, a Google akkor is megjelenítheti a címet a találatok között, csak leírás nélkül — rendezetlenül néz ki, és nem te irányítod.

Tehát a robots.txt NEM biztonsági módszer. Ne rejts el vele érzékeny adatokat tartalmazó oldalakat, számlákat, ügyfélterületeket vagy bármit, amit nem szeretnél, hogy bárki lásson. Aki ismeri a címet, egyenesen besétál; a fájl senkit sem állít meg.

• Azt szeretnéd, hogy egy oldal valóban ne legyen benne a Google-ben? Akkor egy „noindex” meta címkét használsz az oldalon, nem a robots.txt-t.
• Valami valóban privát legyen? Jelszóval vagy hitelesítéssel véded, a szerver szintjén.

Mit érdemes letiltani és minek kell nyitva maradnia

Egy normál üzleti weboldalnál — bemutatkozás, szolgáltatások, portfólió, kapcsolat — az aranyszabály: hagyj mindent nyitva, csak a technikai zavarosságot tiltsd le.

Jellemzően érdemes távol tartani a robotoktól:

• adminfelületek (pl. /wp-admin WordPress esetén)
• kosár, pénztár és vásárlói fiók oldalak egy webshopban
• belső keresési találatok és szűrők, amelyek több ezer duplikált címet generálnak
• technikai fájlok, amelyekre úgysem keres senki

Amit SOHA nem szabad letiltani, ha ügyfeleket akarsz a Google-ből:

• a főoldal
• a szolgáltatások és árazás oldalak
• a blogcikkek
• a CSS- és JavaScript-fájlok — a Google-nak szüksége van rájuk, hogy „lássa”, hogyan néz ki az oldal; ha letiltod őket, azt hiheti, hogy az oldal töröttként jelenik meg mobilon

A klasszikus hiba egyetlen sor, a „Disallow: /”, amely az építési fázisból maradt ott. Azt mondja: „NE indexelj semmit”, és kirántja az egész oldaladat a keresésből.

Hogyan ellenőrizd a saját oldaladat két perc alatt

Nincs szükséged drága eszközökre. Három lépés:

1. Nyisd meg a a-te-domained.hu/robots.txt címet a böngésződben. Ha egymagában a „Disallow: /” sort látod, állj meg — sürgősen javítandó problémád van.

2. Menj a Google-re, és keress rá: site:a-te-domained.hu. Megmutatja, mely oldalaidról tud a Google. Ha fontos oldalak hiányoznak, valami blokkolja őket.

3. Használd a Google Search Console-t (ingyenes) — van benne egy robots.txt tesztelő eszköz, és pontosan megmondja, melyik oldal van letiltva és miért.

Ha kész platformot használsz (WordPress, Shopify, wpcom), a robots.txt gyakran automatikusan és helyesen generálódik már a kezdetektől. A gondok akkor jelentkeznek, amikor valaki kézzel szerkesztette, vagy bejelölve hagyta a „keresőmotorok visszatartása” beállítást az építési fázisból.

Mikor érdemes szakembert hívni

A legtöbb üzleti oldalnál a helyes robots.txt lényegében azt jelenti: „ne nyúlj hozzá, hagyd, hogy a platform generálja”. Az összetettség nagy webshopoknál, sok szűrővel rendelkező oldalaknál vagy migrációknál jelenik meg, ahol a duplikált címek valóban összezavarják a Google-t.

Az MPO Web Studiónál, amikor oldalt építünk, már az elejétől átgondolt robots.txt-tel és indexeléssel adjuk át — az értékesítési oldalak nyitva, a technikai területek zárva, a mindent elrejtő végzetes sor nélkül. Teljesen távolról dolgozunk, az egész országban, és először egy kész demót is építhetünk az oldaladról, hogy lásd az eredményt, mielőtt bármit is fizetnél.

Ha gyanítod, hogy az oldalad „nem jelenik meg a Google-ben”, és nem tudod, hol kezdd, írj nekünk WhatsApp-on. Együtt megnézzük a robots.txt-t és az indexelést, és őszintén megmondjuk, öt perces javítás-e vagy valami komolyabb — „garantált első hely” ígéretek nélkül, mert azt tisztességes ember nem tudja garantálni.