Если сайт ещё в разработке, проходит тестирование или должен временно исчезнуть из поиска, его нужно закрыть от индексации до публикации. В WordPress для этого есть штатная настройка, но одной галочки не всегда достаточно: поисковик может успеть увидеть страницы, если они уже доступны по прямым ссылкам, а на сервере остались кэш, старые файлы или открытый доступ к карте сайта.
Надёжный подход простой: сначала включить запрет на индексацию в WordPress, затем проверить, что сайт не отдаёт лишних сигналов поисковым роботам, и только после этого открывать его обратно. Если сделать всё в правильном порядке, риск случайно загнать тестовый домен в поиск сильно ниже.
Самый простой способ: встроенная настройка WordPress
Для большинства случаев достаточно штатной опции в админке. Она находится в разделе Настройки → Чтение и называется «Попросить поисковые системы не индексировать сайт».
Что делает эта галочка на практике: WordPress добавляет на сайт указание для поисковых роботов не индексировать страницы. Это не физическая блокировка доступа, а именно сигнал для поисковиков. Для обычного тестового или временно закрытого сайта этого обычно хватает.
После включения настройки сохраните изменения и проверьте главную страницу сайта в браузере. Если у вас есть доступ к исходному коду страницы, в разделе <head> должен появиться мета-тег с директивой noindex. На большинстве стандартных установок WordPress это основной механизм, который и нужен.
Но есть важная оговорка: эта настройка не защищает сайт от просмотра людьми и не удаляет уже проиндексированные страницы мгновенно. Если сайт уже успели увидеть поисковики, они могут какое-то время хранить старые адреса в индексе, пока не переобойдут страницы и не обновят данные.
Когда одной галочки недостаточно
Штатная настройка WordPress полезна, но не всегда закрывает все сценарии. Это особенно заметно, если сайт уже был доступен в интернете, если на нём есть отдельные статические файлы, если используется агрессивный кэш или если страницы доступны через внешние сервисы и тестовые поддомены.
Проверять нужно не только саму главную страницу, но и несколько типовых адресов:
- главную страницу сайта;
- записи и страницы;
- архивы рубрик и меток, если они есть;
- карту сайта, если она генерируется;
- файлы, которые могут открываться напрямую, например изображения и PDF.
Если хотя бы часть этих адресов остаётся доступной без ограничений, поисковик может продолжать обход сайта и собирать данные. Для временно закрытого проекта это обычно не критично, но для тестового домена лучше убрать лишние точки доступа.
robots.txt: что он может и чего не может
Файл robots.txt часто вспоминают первым, но его возможности ограничены. Он подсказывает поисковым роботам, какие разделы не стоит обходить, однако сам по себе не гарантирует, что URL не появится в поиске. Если на страницу уже есть внешние ссылки, поисковик может знать о ней даже без обхода содержимого.
Для WordPress обычно достаточно базового файла, который не запрещает всё подряд. Если задача именно в том, чтобы сайт не индексировался, robots.txt можно использовать как дополнительный слой, но не как единственную защиту.
Пример минимального варианта для тестового сайта:
User-agent: * Disallow: /
Такой файл запрещает обход всего сайта. Но здесь есть нюанс: если вы одновременно хотите, чтобы поисковик увидел директиву noindex на страницах, полная блокировка обхода может помешать этому. Поэтому для временного закрытия сайта чаще надёжнее оставить штатную настройку WordPress и не усложнять robots.txt без необходимости.
Если сайт уже в индексе и вы хотите именно убрать его оттуда, одного Disallow обычно мало. Поисковику нужно сначала увидеть запрет на индексацию или получить недоступность страницы, а уже потом исключить URL из выдачи.
Как закрыть сайт от индексации надёжнее: запрет на уровне сервера
Если сайт должен быть закрыт не только от индексации, но и от случайного просмотра, лучше добавить ограничение на уровне веб-сервера или через HTTP-авторизацию. Это уже не про SEO, а про реальную защиту тестового окружения.
Для временного проекта самый практичный вариант — пароль на весь сайт. Тогда поисковый робот не сможет получить содержимое страниц, а случайный посетитель увидит запрос логина и пароля. Такой подход особенно полезен, если на сайте есть рабочие данные, черновики или клиентский контент.
Реализация зависит от хостинга и веб-сервера:
- на Apache часто используют
.htaccessи HTTP Basic Auth; - на Nginx обычно настраивают доступ через конфигурацию сервера;
- на управляемом хостинге пароль на каталог или сайт может включаться из панели управления.
Это уже серверная настройка, и она может отличаться у разных хостеров. Если вы не уверены, лучше использовать штатную защиту панели хостинга или попросить поддержку включить пароль на сайт. Для закрытого тестового домена это безопаснее, чем вручную править конфигурацию и рисковать ошибкой в доступе.
Что проверить после закрытия сайта
После настройки не стоит ограничиваться только админкой WordPress. Проверьте результат с точки зрения поисковика и обычного посетителя.
Минимальная проверка выглядит так:
- Откройте сайт в режиме инкогнито и убедитесь, что он доступен только так, как вы задумали: либо открывается с мета-тегом
noindex, либо запрашивает пароль, либо возвращает ограничение доступа. - Посмотрите исходный код главной страницы и убедитесь, что в
<head>есть директиваnoindex, если вы используете штатную настройку WordPress. - Проверьте, не открыт ли XML-карта сайта, если она у вас есть. Для закрытого проекта её лучше не оставлять доступной без необходимости.
- Убедитесь, что в кэше страницы не осталась старая версия без запрета на индексацию.
Если сайт уже был в поиске, изменения не всегда видны сразу. Поисковым системам нужно время, чтобы переобойти страницы и обновить данные. Это нормально: закрытие сайта от индексации не работает как мгновенная кнопка удаления из выдачи.
Как открыть сайт обратно без лишних проблем
Когда проект готов к запуску, отключайте защиту в обратном порядке. Сначала уберите пароль или серверное ограничение, затем снимите галочку «Попросить поисковые системы не индексировать сайт» в WordPress, после этого проверьте, что сайт снова доступен и карта сайта открывается корректно.
Если вы использовали robots.txt с жёстким запретом, не забудьте вернуть его к нормальному виду. Иначе поисковики могут продолжать обходить сайт не так, как вы ожидаете, даже после запуска.
Перед открытием полезно ещё раз проверить главную страницу и несколько внутренних URL. Ошибка здесь обычно простая: сайт уже виден посетителям, но случайно остался закрытым для индексации. В результате новый проект долго не появляется в поиске, хотя технически уже работает.
Что выбрать в типовой ситуации
Если нужен короткий практический ответ, ориентируйтесь так:
- Сайт в разработке, и его просто нужно скрыть от поиска — включите штатную настройку WordPress в Настройки → Чтение.
- Сайт уже был в индексе — дополнительно проверьте доступность страниц, карту сайта и кэш, потому что одной галочки может быть недостаточно для быстрого исчезновения из выдачи.
- Тестовый проект не должен видеть никто — используйте пароль на сайт или серверное ограничение доступа.
- Нужно только подсказать роботам не обходить разделы — можно добавить
robots.txt, но не рассчитывайте на него как на единственный способ закрыть сайт от индексации.
Для большинства владельцев сайтов на WordPress самый разумный сценарий такой: включить штатный запрет на индексацию, проверить исходный код, а если проект действительно закрытый — добавить пароль на доступ. Тогда сайт не попадёт в поиск по ошибке и не будет открыт случайным посетителям раньше времени.
