Файл robots.txt простыми словами: что вы закрываете, а что нет на сайте бизнеса

robots.txt — это крошечный текстовый файл, который лежит в корне вашего сайта и сообщает поисковым роботам, куда им можно заходить. Звучит технично, но важное решение простое: что вы оставляете на виду, а что убираете в сторону. И именно здесь многие владельцы бизнеса совершают дорогую ошибку — закрывают как раз те страницы, которые должны появляться в Google.

Хорошая новость: не нужно быть программистом, чтобы это понять. В этой статье я простыми словами покажу, для чего нужен robots.txt, для чего он НЕ нужен (это путают чаще всего), как за две минуты проверить, что у вас на сайте, и когда его действительно стоит трогать. Без лишнего жаргона.

Что такое robots.txt на самом деле

Представьте табличку у входа в здание: «Ресепшн и шоурум — добро пожаловать; склад и бухгалтерия — посторонним вход воспрещён». Примерно это robots.txt и делает для поисковых роботов (Googlebot и остальных).

Это обычный текстовый файл, всегда доступный по одному адресу: ваш-домен.ru/robots.txt. Вы можете открыть его в браузере прямо сейчас и увидеть, что там написано — любой публичный сайт показывает его всем.

Правила внутри выглядят так:

• User-agent: * — «это правило для всех роботов»
• Disallow: /admin — «не заходите в раздел /admin»
• Allow: / — «остальное открыто»

Серьёзные поисковые роботы читают его и соблюдают. Это соглашение о хорошем поведении, а не замок — запомните, это важно для следующего раздела.

Главная путаница: «закрыто» не значит «спрятано»

Здесь ошибаются почти все. Люди думают, что если добавить страницу в Disallow, она исчезнет из Google. Неправда — и эта путаница может навредить.

Disallow говорит роботам «не читайте содержимое этой страницы». Он не говорит «забудьте, что она существует». Если другой сайт ссылается на эту страницу, Google всё равно может показать её адрес в результатах, только без описания — выглядит неопрятно и выходит из-под вашего контроля.

Поэтому robots.txt — это НЕ способ защиты. Не прячьте туда страницы с чувствительными данными, счетами, клиентскими разделами или тем, что никто не должен видеть. Кто знает адрес — зайдёт напрямую, файл никого не остановит.

• Хотите убрать страницу именно из Google? Используется мета-тег «noindex» на странице, а не robots.txt.
• Хотите что-то по-настоящему приватное? Это защищают паролем или авторизацией на уровне сервера.

Что стоит закрывать, а что должно оставаться открытым

Для обычного сайта бизнеса — презентация, услуги, портфолио, контакты — золотое правило: оставляйте всё открытым, закрывайте только технический мусор.

Обычно стоит держать подальше от роботов:

• разделы администрирования (например, /wp-admin в WordPress)
• страницы корзины, оформления заказа, личного кабинета в магазине
• внутренние результаты поиска и фильтры, которые создают тысячи дублей адресов
• технические файлы, которые всё равно никто не ищет

Что НИКОГДА нельзя закрывать, если хотите клиентов из Google:

• главную страницу
• страницы услуг и цен
• статьи блога
• файлы CSS и JavaScript — они нужны Google, чтобы «увидеть», как выглядит сайт; если их закрыть, он может решить, что сайт сломан на мобильных

Классическая ошибка — одна строка «Disallow: /», оставшаяся с этапа разработки. Она говорит «не индексируйте НИЧЕГО» и убирает весь ваш сайт из поиска.

Как проверить свой сайт за две минуты

Дорогие инструменты не нужны. Три шага:

1. Откройте в браузере ваш-домен.ru/robots.txt. Если видите одинокое «Disallow: /», остановитесь — у вас проблема, которую нужно срочно исправить.

2. Зайдите в Google и введите: site:ваш-домен.ru. Он покажет, какие ваши страницы знает Google. Если важных страниц нет — их что-то блокирует.

3. Используйте Google Search Console (бесплатно) — там есть инструмент проверки robots.txt, который точно скажет, какая страница закрыта и почему.

Если вы на готовой платформе (WordPress, Shopify, wpcom), robots.txt часто генерируется автоматически и правильно с самого начала. Проблемы появляются, когда кто-то отредактировал его вручную или оставил включённой галочку «попросить поисковые системы не индексировать сайт» ещё со стадии сборки.

Когда стоит позвать специалиста

Для большинства сайтов бизнеса правильный robots.txt означает по сути «не трогайте его, пусть платформа его создаёт». Сложность возникает у крупных магазинов, сайтов с множеством фильтров или при переездах, где дубли адресов действительно сбивают Google с толку.

В MPO Web Studio, когда мы делаем сайт, мы отдаём его с продуманными с самого начала robots.txt и индексацией — продающие страницы открыты, технические разделы закрыты, без роковой строки, которая прячет всё. Мы работаем полностью удалённо, по всей стране, и можем сначала собрать вам готовое демо вашего сайта, чтобы вы увидели результат ещё до оплаты.

Если вы подозреваете, что ваш сайт «не появляется в Google», и не знаете, с чего начать, напишите нам в WhatsApp. Мы вместе посмотрим robots.txt и индексацию и честно скажем, это починка на пять минут или что-то посерьёзнее — без обещаний «гарантированного первого места», потому что ни один честный человек его гарантировать не может.