Mi is valójában a crawl budget – és mikor számít tényleg a webhelyed számára

Ha sok oldalt tartalmazó webhelyet üzemeltetsz – például egy több ezer termékes boltot, egy nagy blogot vagy egy szűrőkkel ellátott katalógust –, valószínűleg hallottad már a „crawl budget” kifejezést, és eltűnődtél azon, vajon a Google tényleg képes-e megnézni a teljes tartalmadat. Jogos aggodalom, de szinte mindig félreértik.

Az őszinte igazság a következő: a legtöbb webhely számára a crawl budget nem probléma, és egyetlen percnyi figyelmet sem érdemel. Egy szűk körű webhelycsoport esetében viszont épp ez lesz a valódi oka annak, hogy egész oldalak soha nem kerülnek be a Google-be. Ebben a cikkben elmagyarázzuk, mi is valójában a crawl budget, hogyan dönti el a Google, mit látogat meg, hogyan ismerheted fel, hogy téged érint-e, és – ami a legfontosabb – mit tegyél konkrétan ahelyett, hogy feleslegesen aggódnál.

Mit jelent valójában a „crawl budget”

A crawl budget nem egy rögzített szám, amit a Google átad neked. Két, együtt működő tényező eredménye.

• Mennyire gyorsan és mennyit tud a Google bejárni (crawl rate): ez nagyrészt attól függ, milyen gyorsan válaszol a szervered. Ha az oldalak gyorsan és hibák nélkül töltődnek be, a Googlebot többet kér. Ha a szerver lassú vagy hibákat dob, visszafogja magát, hogy ne terhelje túl a webhelyedet.
• Mennyit „akar” a Google bejárni (crawl demand): ez attól függ, mennyire népszerűek és mennyire frissek az oldalaid. Egy olyan oldalt, amelynek a tartalma gyakran változik és látogatókat kap, gyakrabban látogat újra, mint egyet, amely évek óta feledésbe merült.

A crawl budget tehát lényegében az, hogy a Googlebot hány oldalt tud meglátogatni egy adott időszakban, figyelembe véve a szervered állapotát és azt, mennyire érdekes a tartalmad. Fontos: a bejárás nem indexelés, és nem is rangsorolás. Ezek külön szakaszok.

Mikor nem kell aggódnod

Íme a jó hír. A Google a saját dokumentációjában világosan kimondja, hogy a néhány ezer URL-ig terjedő webhelyeket általában hatékonyan bejárja, és egyáltalán nem kell a crawl budgettel foglalkozniuk.

Ez lefedi szinte az összes helyi vállalkozás webhelyét: egy bemutatkozó oldalt, egy klinikát, egy éttermet, egy szalont, sőt egy kis vagy közepes méretű online boltot is. Ha néhány tucat vagy néhány száz minőségi oldalad van, a Google erőfeszítés nélkül látja őket.

Ha az egyik oldalad nem jelenik meg a Google-ben, ezekben az esetekben szinte biztosan NEM a crawl budget az ok. Sokkal valószínűbb, hogy:

• az oldalt tévedésből blokkolod (robots.txt vagy noindex címke),
• a tartalom túl vékony vagy duplikált, és a Google úgy dönt, nem indexeli,
• az oldal új, és egyszerűen még nem dolgozták fel.

A „crawl budget optimalizálás” kergetése egy kis webhelyen olyan, mintha egy olyan autón cserélnél olajat, amely valójában egy teljesen más ok miatt nem indul be.

Mikor számít tényleg: a figyelmeztető jelek

A crawl budget akkor válik valós problémává, amikor a webhelyed által generálható URL-ek száma jóval meghaladja a ténylegesen meglévő hasznos oldalak számát. Tipikus jelek:

• Nagy boltok fazettás navigációval: a szín, méret, ár és rendezési sorrend minden kombinációja új URL-t hoz létre. Néhány száz termék tízezernyi, szinte azonos címet generálhat.
• „Végtelen” naptárak vagy archívumok, amelyek vég nélkül állítanak elő oldalakat (következő hónap, aztán a következő...).
• Munkamenet- vagy nyomkövetési paramétereket tartalmazó URL-ek, amelyek ugyanazt az oldalt sokszorozzák meg.
• Nagy léptékű duplikált tartalom, ugyanannak a terméknek több változata.
• Nagyon nagy webhelyek több tízezer vagy százezer valós oldallal.

Ezekben az esetekben a Googlebot az idejét több ezer értéktelen URL-en tölti, és a valóban fontos oldalakat lassabban – vagy egyáltalán nem – éri el. Itt az optimalizálás tényleg számottevő különbséget hoz.

Mi pazarolja a crawl budgetet, és hogyan kerüld el

Ha a fenti kategóriába tartozol, íme, hol szivárog el valójában a keret, és mit tegyél:

• Duplikált és közel duplikált oldalak: vond össze őket, vagy használd a canonical címkét, hogy a fő változatra mutasson.
• Szűrőkből és rendezésből származó felesleges URL-ek: blokkold őket a robots.txt-ben, vagy kezeld a paramétereket úgy, hogy a Googlebot ne kövesse őket tovább.
• Átirányítási láncok és hibák: minden felesleges átirányítás és minden soft 404 feleslegesen éget el látogatásokat. Takarítsd ki őket.
• Lassú szerver: ha az oldalak lassan válaszolnak, a Google kevesebbet jár be. Egy gyors webhely nemcsak a látogatóknak jó – közvetlenül befolyásolja, mennyit lát a Google.
• Elhanyagolt sitemapek: egy tiszta sitemap, amely csak valós, indexelhető URL-eket tartalmaz, segít a Google-nek a prioritások felállításában.

Az elv egyszerű: ne dolgoztasd a Googlebotot olyan oldalakon, amelyeknek amúgy sem kellene megjelenniük a keresésben. Mutasd meg neki világosan, mi számít.

Hogyan ellenőrizd, és mit tegyél a gyakorlatban

Ne találgass – nézd meg az adatokat. A Google Search Console-ban van egy „Crawl Stats” jelentés, amely megmutatja, hány oldalt látogat meg a Google naponta, mennyi a szervered válaszideje, és milyen válaszfajtákat kap. Ha több ezer bejárást látsz irreleváns URL-eken vagy sok hibát, akkor valós problémád van.

Konkrét lépések, sorrendben:

• Ellenőrizd a Search Console-ban, hogy a fontos oldalaid indexelve vannak-e. Ha nem, deríts ki, miért (blokkolt, duplikált, vékony tartalom).
• Takarítsd ki a felesleges URL-eket, mielőtt bármi máson gondolkodnál.
• Győződj meg róla, hogy a webhely gyorsan és hibák nélkül válaszol.

Az MPO Web Studio-nál az első naptól kezdve gyors, tiszta felépítésű webhelyeket építünk – éppen azért, hogy később ne kelljen ilyen problémákkal küzdened. Az egész országban távolról dolgozunk, ingyenes demót építünk neked, mielőtt bármit fizetnél, és az áraink átláthatók. Ha sok oldalt tartalmazó webhelyed van, és nem vagy biztos benne, mit lát belőle valójában a Google, írj nekünk WhatsApp-on, és együtt megnézzük, minden kötelezettség nélkül.