Готовый robots.txt для Bitrix

При настройке сайта на 1С-Битрикс важно правильно подготовить файл robots.txt. Именно через него поисковым системам сообщается, какие разделы сайта можно индексировать, а какие лучше скрыть.

Неправильно настроенный robots.txt для Bitrix может привести к появлению дублей, индексации служебных страниц, мусорных URL и ухудшению SEO.

Ниже приведён готовый пример robots.txt для сайта на Битрикс, который подходит для большинства корпоративных сайтов, блогов и интернет-магазинов.

Готовый robots.txt для Bitrix

User-agent: *

Disallow: /*?PAGEN
Disallow: /*?page=
Disallow: /*?print=
Disallow: /*?utm=
Disallow: /*?bxajaxid=
Disallow: /*?backurl=
Disallow: /*?arrFilter
Disallow: /*?set_filter=
Disallow: /*?sort=
Disallow: /*?order=
Disallow: /*?view=
Disallow: /*?lazy=
Disallow: /*index.php
Disallow: */index.php

Disallow: /bitrix/
Disallow: /upload/
Disallow: /local/
Disallow: /search/
Disallow: /auth/
Disallow: /personal/
Disallow: /ajax/
Disallow: /include/
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /404.php

Allow: /bitrix/js/
Allow: /bitrix/css/
Allow: /bitrix/images/

Host: example.ru
Sitemap: https://example.ru/sitemap.xml

Что делает этот robots.txt

• закрывает служебные разделы Битрикс;
• запрещает индексацию URL с GET-параметрами;
• убирает дубли страниц пагинации и фильтров;
• оставляет доступ к CSS и JS файлам;
• указывает главное зеркало сайта;
• подключает sitemap.xml.

Почему в Bitrix появляются дубли страниц

CMS Битрикс активно использует GET-параметры для фильтрации, сортировки, пагинации и AJAX-запросов. В результате одна и та же страница может иметь десятки URL:

/catalog/
/catalog/?sort=price
/catalog/?PAGEN_1=2
/catalog/?set_filter=y
/catalog/?utm_source=yandex

Для поисковых систем это могут быть отдельные страницы, что приводит к размытию веса, дублям и ухудшению SEO.

Именно поэтому в robots.txt обычно закрывают URL с параметрами:

Disallow: /*?

Но слишком жёсткое правило может случайно закрыть полезные страницы, поэтому чаще используют более точечные ограничения.

Нужно ли закрывать /upload/

В большинстве случаев директорию /upload/ действительно стоит закрывать, особенно если там хранятся служебные файлы, документы или автоматически создаваемые кеши.

Но если изображения сайта лежат в /upload/ и должны индексироваться, закрывать весь раздел полностью не всегда правильно.

Для интернет-магазинов и блогов часто используют более гибкий вариант:

Disallow: /upload/iblock/tmp/
Disallow: /upload/tmp/

А сами изображения оставляют доступными для поисковых систем.

Почему нельзя закрывать CSS и JS

Поисковые системы анализируют внешний вид и адаптивность сайта. Если закрыть CSS и JavaScript файлы, Google и Яндекс могут некорректно определять структуру страницы.

Поэтому в robots.txt обязательно оставляют:

Allow: /bitrix/js/
Allow: /bitrix/css/

Что такое Host в robots.txt

Директива Host используется Яндексом для указания главного зеркала сайта.

Host: example.ru

Если сайт работает одновременно с www и без www, это помогает Яндексу правильно определить основной домен.

Для Google директива Host не используется, но Яндекс её до сих пор учитывает.

Подключение sitemap.xml

В конце robots.txt рекомендуется указывать карту сайта:

Sitemap: https://example.ru/sitemap.xml

Это помогает поисковым системам быстрее находить новые страницы и обновления контента.

Проверка robots.txt

После настройки robots.txt обязательно проверьте:

• доступен ли файл по адресу /robots.txt;
• не закрыты ли важные разделы сайта;
• корректно ли открываются CSS и JS файлы;
• видит ли поисковая система sitemap.xml.

Проверить robots.txt можно через:

• Яндекс Вебмастер;
• Google Search Console;
• инструменты SEO-аудита.

Частые ошибки robots.txt в Bitrix

Полное закрытие сайта

Иногда после переноса тестового сайта забывают удалить:

Disallow: /

В результате весь сайт перестаёт индексироваться.

Закрытие изображений

Если полностью закрыть /upload/, изображения могут исчезнуть из поиска по картинкам.

Закрытие CSS и JS

Это ухудшает оценку мобильной версии и рендеринг сайта поисковыми системами.

Отсутствие sitemap.xml

Без sitemap поисковые системы могут значительно медленнее находить новые страницы.

Итог

Правильно настроенный robots.txt для Bitrix помогает убрать мусорные страницы из индекса, сократить количество дублей и улучшить SEO сайта.

Приведённый выше пример robots.txt можно использовать как основу для большинства сайтов на 1С-Битрикс, дорабатывая его под структуру конкретного проекта.