SEO
Как закрыть сайт на 1С-Битрикс от индексации на время разработки
При разработке сайта на 1С-Битрикс важно заранее закрыть проект от индексации поисковыми системами. Особенно это актуально при переносе сайта, редизайне, разработке на тестовом домене или запуске dev-версии.
Если этого не сделать, поисковые роботы могут проиндексировать тестовый сайт, что приведет к дублям страниц, попаданию в индекс незавершенного контента и проблемам с SEO основного проекта.
В этой статье разберем как правильно закрыть сайт на Битрикс от индексации на время разработки и какие способы лучше использовать.
Почему важно закрывать dev-сайт на Битрикс
Чаще всего тестовые версии сайтов на Битрикс размещают:
- на поддоменах вида
dev.site.ru; - на временных доменах;
- на IP-адресе сервера;
- в отдельных директориях.
Если поисковые системы найдут такой сайт, могут возникнуть проблемы:
- дубли страниц в поиске;
- индексация технических URL;
- просадка SEO основного сайта;
- появление ошибок в Яндекс Вебмастере;
- индексация тестового контента и шаблонов.
Для Битрикса это особенно критично, так как система генерирует большое количество служебных URL и страниц.
В своих проектах я использую серверную инфраструктуру Timeweb Cloud
VPS и облачные решения для стабильной работы сайтов на PHP и 1С-Битрикс — от корпоративных сайтов до интернет-магазинов и высоконагруженных веб-проектов.
Перейти на Timeweb CloudСпособ 1. Закрытие через robots.txt
Самый простой способ — запретить индексацию через robots.txt.
Создаем или редактируем файл:
/robots.txt
И добавляем:
User-agent: *
Disallow: /
Такой robots.txt полностью запрещает индексацию сайта.
Проверить можно по адресу:
https://site.ru/robots.txt
Важно: robots.txt не является полноценной защитой. Поисковики могут увидеть URL сайта, даже если содержимое страницы закрыто.
Способ 2. Meta noindex для Битрикс
Дополнительно рекомендуется закрыть страницы через meta robots.
В Битриксе это можно сделать в шаблоне сайта перед закрывающим тегом </head>.
Например:
<?php
$APPLICATION->SetPageProperty("robots", "noindex, nofollow");
?>
Либо напрямую:
<meta name="robots" content="noindex, nofollow">
После этого Битрикс будет отдавать поисковым роботам запрет индексации страниц.
Но этот способ работает только если робот уже получил доступ к сайту.
Способ 3. HTTP-авторизация — лучший способ
Наиболее надежный способ закрыть сайт на Битрикс от индексации — установить HTTP-авторизацию через Nginx или Apache.
В этом случае сайт будет полностью недоступен без логина и пароля, а поисковые роботы не смогут попасть на страницы вообще.
Настройка для Nginx
Устанавливаем утилиту:
sudo apt install apache2-utils
Создаем файл с логином и паролем:
sudo htpasswd -c /etc/nginx/.htpasswd developer
Добавляем в конфиг сайта:
location / {
auth_basic "Restricted Access";
auth_basic_user_file /etc/nginx/.htpasswd;
try_files $uri $uri/ /bitrix/urlrewrite.php?$args;
}
Проверяем конфигурацию:
sudo nginx -t
И применяем изменения:
sudo systemctl reload nginx
После этого при открытии сайта появится окно ввода логина и пароля.
Настройка для Apache
Для Apache можно использовать .htaccess:
AuthType Basic
AuthName "Restricted Area"
AuthUserFile /path/to/.htpasswd
Require valid-user
Способ 4. Закрытие через настройки Битрикс
В некоторых редакциях 1С-Битрикс можно включить запрет индексации через настройки сайта.
Для этого:
- Переходим в «Настройки» → «Настройки продукта» → «Сайты» → «Список сайтов»;
- Открываем настройки сайта;
- Добавляем meta robots noindex/nofollow.
Но этот способ лучше использовать только как дополнительный.
Что лучше использовать
| Способ | Надежность | Рекомендация |
|---|---|---|
| robots.txt | Низкая | Только дополнительно |
| Meta noindex | Средняя | Использовать вместе с robots.txt |
| HTTP-авторизация | Высокая | Лучший вариант |
| Ограничение по IP | Высокая | Подходит для внутренней разработки |
Что проверить перед открытием сайта
Перед запуском сайта обязательно:
- удалите HTTP-авторизацию;
- уберите запрет из robots.txt;
- удалите noindex/nofollow;
- проверьте robots.txt;
- проверьте sitemap.xml;
- добавьте сайт в Яндекс Вебмастер и Google Search Console;
- убедитесь что страницы отдают HTTP 200.
Заключение
Для сайтов на 1С-Битрикс лучше всего использовать HTTP-авторизацию — это самый надежный способ закрыть dev-сайт от индексации. Robots.txt и meta noindex стоит использовать как дополнительную защиту.
Если вы переносите сайт на новый домен, разрабатываете проект на поддомене или делаете редизайн, правильное закрытие от индексации поможет избежать серьезных SEO-проблем после запуска.
Комментарии