Die robots.txt-Datei erklärt: Was Sie bei einer Business-Website blockieren – und was nicht

robots.txt ist eine winzige Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Robotern sagt, wo sie sich bewegen dürfen. Das klingt technisch, doch die Entscheidung, um die es geht, ist einfach: Was zeigen Sie offen, und was halten Sie zurück? Und genau hier machen viele Unternehmer einen teuren Fehler – sie blockieren ausgerechnet die Seiten, die bei Google erscheinen sollten.

Die gute Nachricht: Sie müssen kein Programmierer sein, um zu verstehen, was diese Datei tut. In diesem Artikel zeige ich Ihnen in klaren Worten, wozu robots.txt dient, wozu sie NICHT dient (der Teil, den die meisten verwechseln), wie Sie in zwei Minuten prüfen, was auf Ihrer Website steht, und wann es sich wirklich lohnt, sie anzufassen. Ohne unnötigen Fachjargon.

Was robots.txt eigentlich ist

Stellen Sie sich ein Schild am Eingang eines Gebäudes vor: „Empfang und Showroom – bitte kommen Sie herein; Lager und Buchhaltung – kein Zutritt für Besucher.“ Genau das macht robots.txt für die Roboter der Suchmaschinen (Googlebot und andere).

Es ist eine einfache Textdatei, immer unter derselben Adresse erreichbar: ihredomain.de/robots.txt. Sie können sie jetzt direkt im Browser öffnen und nachlesen – jede öffentliche Website zeigt sie jedem, der danach fragt.

Die Regeln darin sehen so aus:

• User-agent: * — „diese Regel gilt für alle Roboter“
• Disallow: /admin — „betretet den Bereich /admin nicht“
• Allow: / — „der Rest ist frei zugänglich“

Die Roboter seriöser Suchmaschinen lesen diese Datei und halten sich daran. Es ist eine Konvention des guten Benehmens, kein Schloss – merken Sie sich das, es ist für den nächsten Abschnitt wichtig.

Die große Verwechslung: „blockiert“ bedeutet nicht „versteckt“

Hier irren sich fast alle. Viele glauben, wenn sie eine Seite unter Disallow setzen, verschwindet sie aus Google. Das stimmt nicht – und diese Verwechslung kann schaden.

Disallow sagt den Robotern „lest den Inhalt dieser Seite nicht“. Es sagt ihnen nicht „vergesst, dass sie existiert“. Wenn eine andere Website einen Link auf diese Seite setzt, kann Google die Adresse trotzdem in den Ergebnissen anzeigen – nur ohne Beschreibung. Das wirkt ungepflegt und unkontrolliert.

robots.txt ist also KEINE Sicherheitsmaßnahme. Verstecken Sie dort keine Seiten mit sensiblen Daten, Rechnungen, Kundenbereichen oder irgendetwas, das niemand sehen soll. Wer die Adresse kennt, gelangt direkt hinein – die Datei hält niemanden auf.

• Wollen Sie eine Seite wirklich aus Google heraushalten? Dafür wird ein „noindex“-Meta-Tag auf der Seite verwendet, nicht robots.txt.
• Wollen Sie etwas wirklich privat halten? Das schützt man mit Passwort oder Anmeldung auf Serverebene.

Was blockiert werden sollte und was offen bleiben muss

Für eine normale Business-Website – Präsentation, Dienstleistungen, Portfolio, Kontakt – gilt die goldene Regel: alles offen lassen, nur den technischen Müll blockieren.

Typischerweise lohnt es sich, folgendes von Robotern fernzuhalten:

• Administrationsbereiche (z. B. /wp-admin bei WordPress)
• Warenkorb-, Checkout- und Kundenkonto-Seiten in einem Shop
• interne Suchergebnisse und Filter, die Tausende von doppelten Adressen erzeugen
• technische Dateien, nach denen ohnehin niemand sucht

Was Sie NIEMALS blockieren sollten, wenn Sie Kunden über Google gewinnen wollen:

• die Startseite
• die Dienstleistungs- und Preisseiten
• die Blogartikel
• CSS- und JavaScript-Dateien — Google braucht sie, um zu „sehen“, wie die Website aussieht; blockieren Sie sie, könnte Google annehmen, die Website sei auf Mobilgeräten defekt

Der klassische Fehler ist eine einzige Zeile, „Disallow: /“, die aus der Bauphase übrig geblieben ist. Sie bedeutet „indexiert GAR NICHTS“ und wirft Ihre gesamte Website aus der Suche.

Wie Sie in zwei Minuten prüfen, was auf Ihrer Seite steht

Sie brauchen keine teuren Werkzeuge. Drei Schritte:

1. Öffnen Sie im Browser die Adresse ihredomain.de/robots.txt. Steht dort nur „Disallow: /“, stoppen Sie sofort – Sie haben ein Problem, das dringend behoben werden muss.

2. Gehen Sie zu Google und suchen Sie: site:ihredomain.de. So sehen Sie, welche Ihrer Seiten Google kennt. Fehlen wichtige Seiten, blockiert irgendetwas sie.

3. Nutzen Sie die Google Search Console (kostenlos) – sie hat ein Test-Tool für robots.txt und zeigt Ihnen genau, welche Seite blockiert ist und warum.

Auf einer fertigen Plattform (WordPress, Shopify, WordPress.com) wird robots.txt oft automatisch und von Anfang an korrekt erzeugt. Probleme entstehen, wenn jemand sie manuell geändert oder die Einstellung „Suchmaschinen abraten“ noch aus der Bauphase aktiviert gelassen hat.

Wann Sie jemanden hinzuziehen sollten

Bei den meisten Business-Websites bedeutet eine korrekte robots.txt praktisch: „nicht anfassen, die Plattform übernimmt das“. Komplexität entsteht bei großen Shops, Websites mit vielen Filtern oder bei Migrationen, wo doppelte Adressen Google tatsächlich verwirren.

Bei MPO Web Studio liefern wir Websites von Anfang an mit durchdachter robots.txt und Indexierung aus — Verkaufsseiten offen, technische Bereiche geschlossen, ohne die fatale Zeile, die alles versteckt. Wir arbeiten komplett remote, im ganzen Land, und können Ihnen zuerst eine fertige Demo Ihrer Website zeigen, damit Sie das Ergebnis sehen, bevor Sie etwas bezahlen.

Haben Sie den Verdacht, dass Ihre Website „bei Google nicht erscheint“, und wissen nicht, wo Sie anfangen sollen, schreiben Sie uns auf WhatsApp. Wir schauen uns gemeinsam robots.txt und die Indexierung an und sagen Ihnen ehrlich, ob es sich um eine Fünf-Minuten-Reparatur handelt oder um etwas Ernsteres — ohne Versprechen von „garantiertem Platz 1“, denn niemand Seriöses kann das garantieren.