Как закрыть сайт на 1С-Битрикс от индексации на время разработки

При разработке сайта на 1С-Битрикс важно заранее закрыть проект от индексации поисковыми системами. Особенно это актуально при переносе сайта, редизайне, разработке на тестовом домене или запуске dev-версии.

Если этого не сделать, поисковые роботы могут проиндексировать тестовый сайт, что приведет к дублям страниц, попаданию в индекс незавершенного контента и проблемам с SEO основного проекта.

В этой статье разберем как правильно закрыть сайт на Битрикс от индексации на время разработки и какие способы лучше использовать.

Почему важно закрывать dev-сайт на Битрикс

Чаще всего тестовые версии сайтов на Битрикс размещают:

• на поддоменах вида dev.site.ru;
• на временных доменах;
• на IP-адресе сервера;
• в отдельных директориях.

Если поисковые системы найдут такой сайт, могут возникнуть проблемы:

• дубли страниц в поиске;
• индексация технических URL;
• просадка SEO основного сайта;
• появление ошибок в Яндекс Вебмастере;
• индексация тестового контента и шаблонов.

Для Битрикса это особенно критично, так как система генерирует большое количество служебных URL и страниц.

Способ 1. Закрытие через robots.txt

Самый простой способ — запретить индексацию через robots.txt.

Создаем или редактируем файл:

/robots.txt

И добавляем:

User-agent: *
Disallow: /

Такой robots.txt полностью запрещает индексацию сайта.

Проверить можно по адресу:

https://site.ru/robots.txt

Важно: robots.txt не является полноценной защитой. Поисковики могут увидеть URL сайта, даже если содержимое страницы закрыто.

Способ 2. Meta noindex для Битрикс

Дополнительно рекомендуется закрыть страницы через meta robots.

В Битриксе это можно сделать в шаблоне сайта перед закрывающим тегом </head>.

Например:

<?php
$APPLICATION->SetPageProperty("robots", "noindex, nofollow");
?>

Либо напрямую:

<meta name="robots" content="noindex, nofollow">

После этого Битрикс будет отдавать поисковым роботам запрет индексации страниц.

Но этот способ работает только если робот уже получил доступ к сайту.

Способ 3. HTTP-авторизация — лучший способ

Наиболее надежный способ закрыть сайт на Битрикс от индексации — установить HTTP-авторизацию через Nginx или Apache.

В этом случае сайт будет полностью недоступен без логина и пароля, а поисковые роботы не смогут попасть на страницы вообще.

Настройка для Nginx

Устанавливаем утилиту:

sudo apt install apache2-utils

Создаем файл с логином и паролем:

sudo htpasswd -c /etc/nginx/.htpasswd developer

Добавляем в конфиг сайта:

location / {

    auth_basic "Restricted Access";
    auth_basic_user_file /etc/nginx/.htpasswd;

    try_files $uri $uri/ /bitrix/urlrewrite.php?$args;
}

Проверяем конфигурацию:

sudo nginx -t

И применяем изменения:

sudo systemctl reload nginx

После этого при открытии сайта появится окно ввода логина и пароля.

Настройка для Apache

Для Apache можно использовать .htaccess:

AuthType Basic
AuthName "Restricted Area"
AuthUserFile /path/to/.htpasswd
Require valid-user

Способ 4. Закрытие через настройки Битрикс

В некоторых редакциях 1С-Битрикс можно включить запрет индексации через настройки сайта.

Для этого:

• Переходим в «Настройки» → «Настройки продукта» → «Сайты» → «Список сайтов»;
• Открываем настройки сайта;
• Добавляем meta robots noindex/nofollow.

Но этот способ лучше использовать только как дополнительный.

Что лучше использовать

Что проверить перед открытием сайта

Перед запуском сайта обязательно:

• удалите HTTP-авторизацию;
• уберите запрет из robots.txt;
• удалите noindex/nofollow;
• проверьте robots.txt;
• проверьте sitemap.xml;
• добавьте сайт в Яндекс Вебмастер и Google Search Console;
• убедитесь что страницы отдают HTTP 200.

Заключение

Для сайтов на 1С-Битрикс лучше всего использовать HTTP-авторизацию — это самый надежный способ закрыть dev-сайт от индексации. Robots.txt и meta noindex стоит использовать как дополнительную защиту.

Если вы переносите сайт на новый домен, разрабатываете проект на поддомене или делаете редизайн, правильное закрытие от индексации поможет избежать серьезных SEO-проблем после запуска.