Fișierul robots.txt explicat: ce blochezi și ce nu la un site de afacere

robots.txt e un fișier text minuscul care stă la rădăcina site-ului tău și le spune roboților de căutare pe unde au voie să se plimbe. Sună tehnic, dar decizia care contează e simplă: ce lași la vedere și ce ții deoparte. Iar aici mulți proprietari de afaceri fac o greșeală scumpă — blochează exact paginile care ar trebui să apară în Google.

Vestea bună: nu trebuie să fii programator ca să înțelegi ce face. În articolul ăsta îți arăt, pe românește, la ce folosește robots.txt, la ce NU folosește (partea pe care lumea o confundă cel mai des), cum verifici în două minute ce ai pe site-ul tău și când chiar merită să-l atingi. Fără jargon inutil.

Ce este, de fapt, robots.txt

Imaginează-ți un panou la intrarea unei clădiri: „Recepția și showroom-ul — poftiți; depozitul și biroul de contabilitate — acces interzis vizitatorilor.” Cam asta face robots.txt pentru roboții motoarelor de căutare (Googlebot și ceilalți).

E un simplu fișier text, accesibil mereu la aceeași adresă: numele-domeniului-tau.ro/robots.txt. Poți să-l deschizi chiar acum în browser și să vezi ce scrie acolo — orice site public îl arată oricui.

Regulile din el arată așa:

• User-agent: * — „regula asta e pentru toți roboții”
• Disallow: /admin — „nu intrați în zona /admin”
• Allow: / — „restul e liber”

Roboții motoarelor serioase îl citesc și îl respectă. E o convenție de bună purtare, nu un lacăt — reține asta, e important pentru secțiunea următoare.

Marea confuzie: „blocat” nu înseamnă „ascuns”

Aici greșesc aproape toți. Oamenii cred că, dacă pun o pagină în Disallow, ea dispare din Google. Fals — și e o confuzie care poate face rău.

Disallow le spune roboților „nu citiți conținutul acestei pagini”. Nu le spune „uitați că există”. Dacă alt site are un link către acea pagină, Google poate afișa totuși adresa în rezultate, doar fără descriere — arată neîngrijit și necontrolat.

Deci robots.txt NU e o metodă de securitate. Nu ascunde acolo pagini cu date sensibile, facturi, zone de client sau ceva ce nu vrei să vadă nimeni. Cine știe adresa intră direct, fișierul nu oprește pe nimeni.

• Vrei o pagină chiar în afara Google? Se folosește o meta-etichetă „noindex” pe pagină, nu robots.txt.
• Vrei ceva cu adevărat privat? Se protejează cu parolă sau autentificare, la nivel de server.

Ce merită blocat și ce trebuie lăsat liber

Pentru un site de afacere obișnuit — prezentare, servicii, portofoliu, contact — regula de aur e: lasă totul deschis, blochează doar mizeria tehnică.

Tipic, merită ținute deoparte de roboți:

• zonele de administrare (ex. /wp-admin la WordPress)
• pagini de coș, checkout, cont client dintr-un magazin
• rezultate interne de căutare și filtre care generează mii de adrese duplicate
• fișiere tehnice pe care oricum nu le caută nimeni

Ce NU trebuie blocat NICIODATĂ, dacă vrei clienți din Google:

• pagina de start
• paginile de servicii și de prețuri
• articolele de blog
• fișierele CSS și JavaScript — Google are nevoie de ele ca să „vadă” cum arată site-ul; dacă le blochezi, poate crede că site-ul e stricat pe mobil

Greșeala clasică e o singură linie, „Disallow: /”, rămasă din perioada de construcție. Ea spune „nu indexați NIMIC” și îți scoate tot site-ul din căutări.

Cum verifici în două minute ce ai pe site

Nu-ți trebuie unelte scumpe. Trei pași:

1. Deschide în browser adresa numele-domeniului-tau.ro/robots.txt. Dacă vezi „Disallow: /” singur, oprește-te — ai o problemă și trebuie reparată urgent.

2. Intră în Google și caută: site:numele-domeniului-tau.ro. Îți arată ce pagini ale tale știe Google. Dacă lipsesc pagini importante, ceva le blochează.

3. Folosește Google Search Console (gratuit) — are un instrument de testare a robots.txt și îți spune fix ce pagină e blocată și de ce.

Dacă ești pe o platformă gata făcută (WordPress, Shopify, wpcom), de multe ori robots.txt e generat automat și corect din start. Problemele apar când cineva l-a modificat manual sau a uitat setarea „descurajează motoarele de căutare” bifată din construcție.

Când merită să chemi pe cineva

Pentru cele mai multe site-uri de afacere, robots.txt corect înseamnă practic „nu-l atinge, lasă platforma să-l genereze”. Complexitatea apare la magazine mari, site-uri cu multe filtre sau migrări, unde adresele duplicate chiar încurcă Google.

La MPO Web Studio, când construim un site îl livrăm cu robots.txt și indexarea gândite din start — pagini de vânzare deschise, zone tehnice închise, fără linia fatală care ascunde tot. Lucrăm integral la distanță, în toată țara, și îți putem face întâi un demo gata construit al site-ului tău, ca să vezi rezultatul înainte să plătești ceva.

Dacă ai suspiciunea că site-ul tău „nu apare în Google” și nu știi de unde să începi, scrie-ne pe WhatsApp. Ne uităm împreună la robots.txt și la indexare și îți spunem sincer dacă e o reparație de cinci minute sau ceva mai serios — fără promisiuni de „locul 1 garantat”, pentru că nimeni onest nu poate garanta asta.