Как настроить robots.txt для WordPress

Если сайт на WordPress нужно аккуратно показать поисковым роботам, файл robots.txt — первое, с чего обычно начинают. Он не закрывает страницы от индексации сам по себе, но управляет обходом: какие разделы можно сканировать, а какие лучше не трогать. Для WordPress это особенно полезно, потому что у движка есть служебные URL, которые не нужны в поиске и только расходуют краулинговый бюджет.

Сразу коротко: для большинства сайтов достаточно аккуратного robots.txt с доступом к основным файлам WordPress, запретом на служебные разделы и без лишних экспериментальных директив. Если переусердствовать, можно случайно закрыть от обхода важные страницы или, наоборот, оставить открытыми технические адреса.

Что делает robots.txt в WordPress и чего от него не стоит ждать

robots.txt — это текстовый файл в корне сайта, который читают поисковые роботы перед обходом страниц. В WordPress он нужен не для «магического SEO», а для управления сканированием. Файл подсказывает роботам, какие URL можно запрашивать, а какие лучше пропустить.

Есть важное ограничение: robots.txt не гарантирует, что страница не попадёт в индекс. Если на неё есть внешние ссылки или поисковик уже знает URL, он может сохранить его в базе даже без обхода содержимого. Поэтому не путайте Disallow в robots.txt с полноценным запретом индексации. Для реального запрета нужны другие механизмы, но это уже отдельная задача.

Для WordPress файл обычно используют, чтобы:

• не тратить обход на служебные каталоги;
• не показывать роботам внутренние технические URL;
• разрешить доступ к CSS, JS и изображениям, если сайт от этого зависит;
• указать путь к XML-карте сайта, если она есть.

Где находится robots.txt и как WordPress с ним работает

Файл должен лежать в корне сайта и открываться по адресу https://example.com/robots.txt. Если файла нет, WordPress может отдать виртуальный вариант через правила маршрутизации. Это удобно для быстрого старта, но на практике лучше создать реальный файл на сервере: так проще контролировать содержимое и не зависеть от особенностей окружения.

Если у вас уже есть физический robots.txt в корне, именно он будет использоваться поисковиками. Виртуальная версия WordPress в этом случае не играет роли. Это важно помнить, когда вы меняете настройки и не видите ожидаемого результата: часто редактируют не тот файл или вообще не создают его на сервере.

Базовые директивы, которые чаще всего нужны

В robots.txt используются несколько простых директив. Для WordPress обычно достаточно понимать четыре из них.

• User-agent — для какого робота задаются правила. Звёздочка * означает всех роботов.
• Disallow — что не нужно обходить.
• Allow — что разрешено внутри закрытого раздела.
• Sitemap — адрес XML-карты сайта.

Часто встречается и директива Host, но она не является стандартом для всех поисковиков и в современном WordPress-сценарии обычно не нужна. Если вы работаете с Яндексом, можно встретить старые рекомендации с Host, но для большинства сайтов достаточно корректных правил обхода и карты сайта.

Безопасный вариант robots.txt для WordPress

Ниже — осторожный и рабочий шаблон для типичного сайта на WordPress. Он не пытается «запретить всё подряд», а только убирает из обхода служебные разделы и оставляет доступ к нужным файлам.

Перед заменой файла сделайте копию текущего robots.txt. Если на сайте уже есть нестандартные правила, их лучше не удалять вслепую.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-content/cache/
Disallow: /wp-content/uploads/wpo-plugins-tables-list.json

Sitemap: https://example.com/sitemap.xml

Что здесь важно:

• /wp-admin/ закрывает административный раздел от обхода;
• Allow: /wp-admin/admin-ajax.php оставляет доступ к AJAX-обработчику, который нужен многим темам и плагинам;
• /wp-content/cache/ полезно закрывать, если кэш-плагин создаёт технические файлы;
• Sitemap указывает поисковику карту сайта, если она у вас действительно находится по этому адресу.

Адрес карты сайта нужно подставить свой. У WordPress он зависит от того, чем вы его генерируете: ядром, SEO-плагином или отдельным модулем. Не копируйте путь вслепую.

Как добавить robots.txt на сайт

Самый надёжный способ — создать или отредактировать файл через файловый менеджер хостинга или по FTP/SFTP. Откройте корень сайта, найдите robots.txt или создайте новый файл с таким именем и вставьте нужные правила.

Если вы используете панель хостинга, проверьте, что редактируете именно корневой каталог сайта, а не папку темы или плагина. Ошибка с путём встречается очень часто: файл лежит не там, где его ожидают поисковики, и поэтому никак не влияет на обход.

После сохранения откройте https://ваш-домен/robots.txt в браузере и убедитесь, что видите актуальное содержимое. Если вместо текста открывается ошибка 404 или другой файл, значит, проблема в размещении или правах доступа.

Что обычно ломают в robots.txt

Самая частая ошибка — закрыть слишком много. Например, правило Disallow: / запрещает обход всего сайта. Иногда его ставят временно на тестовом домене и забывают убрать после запуска. Для боевого сайта это почти всегда лишнее.

Ещё одна типичная проблема — блокировка важных ресурсов. Если закрыть от обхода CSS, JS или изображения, поисковик может хуже понимать страницу. Для WordPress это особенно заметно на темах, где внешний вид и поведение сильно зависят от скриптов. Поэтому не стоит без необходимости закрывать весь /wp-content/ или весь /wp-includes/.

Также часто путают служебные URL и реальные страницы. Например, закрывают архивы, категории или записи, хотя это уже не задача robots.txt. Если нужно управлять индексацией конкретных страниц, одного файла недостаточно.

Наконец, не все понимают разницу между физическим и виртуальным файлом. Если на сервере уже есть реальный robots.txt, а вы правите настройки в плагине или в админке WordPress, результат может не измениться. Сначала проверьте, какой файл реально отдаётся по адресу /robots.txt.

Как проверить, что настройка работает

После правки файла проверьте три вещи.

1. Откройте /robots.txt в браузере и убедитесь, что файл доступен без редиректов на ошибку.
2. Проверьте, что в нём нет случайных запретов на весь сайт или на важные каталоги.
3. Убедитесь, что адрес карты сайта указан верно и совпадает с фактическим URL.

Если вы используете инструменты для вебмастеров поисковых систем, там обычно есть проверка robots-файла или диагностика обхода. Это полезно, когда нужно понять, как робот интерпретирует конкретное правило. Но даже без внешних инструментов базовая проверка через браузер уже позволяет отловить большинство ошибок.

Когда robots.txt лучше не усложнять

Для небольшого WordPress-сайта не нужно писать длинный файл с десятками исключений. Чем сложнее robots.txt, тем выше шанс ошибиться. Если у вас обычный корпоративный сайт, блог или лендинг, чаще всего достаточно минимального набора правил: закрыть админку, оставить AJAX, не трогать служебные файлы кэша и указать карту сайта.

Если сайт уже работает и нормально индексируется, не меняйте файл ради абстрактного «улучшения SEO». Сначала должен быть понятный повод: убрать мусорный обход, скрыть технические URL или привести файл к аккуратному виду после старых правок. В WordPress это как раз тот случай, когда простое решение обычно лучше сложного.

Если нужен более широкий технический аудит WordPress-сайта — например, чистка дублей, служебных страниц и SEO-мелочей — иногда удобнее решать это не вручную, а через инструменты уровня Clearfy Pro. Но сам robots.txt всё равно лучше понимать и проверять вручную: это базовый файл, и ошибка в нём слишком дорогая, чтобы полагаться только на плагин.

Если коротко, рабочая схема для WordPress такая: создайте реальный robots.txt в корне сайта, не закрывайте лишнее, оставьте доступ к нужным служебным файлам, укажите правильную карту сайта и обязательно проверьте результат по фактическому адресу. Это занимает немного времени, но избавляет от типичных проблем с обходом сайта поисковыми роботами.