Почему сайт не индексируется

Если страницы сайта долго не появляются в поиске Яндекса и Google, это не всегда связано с санкциями или техническими ошибками. Часто проблема заключается в неправильной настройке индексации, слабом контенте, ошибках сервера или архитектуре сайта.

В этой статье разберём основные причины, почему сайт не индексируется, как это проверить и какие ошибки чаще всего допускают разработчики и владельцы сайтов.

Как понять, что сайт не индексируется

Для начала важно убедиться, что проблема действительно существует.

Проверить индексацию можно несколькими способами:

• оператором site: в поиске;
• через Яндекс Вебмастер;
• через Google Search Console;
• анализом логов сервера;
• проверкой HTTP-ответов страниц.

site:example.com

Если поиск не показывает страницы сайта — это повод проверить техническую часть.

Сайт закрыт от индексации

Самая распространённая причина — сайт случайно закрыт в robots.txt или через meta robots.

Проблема в robots.txt

User-agent: *
Disallow: /

Такая директива полностью запрещает индексацию сайта.

Часто это забывают убрать после разработки или переноса проекта на продакшен.

Meta robots noindex

<meta name="robots" content="noindex, nofollow">

Иногда CMS автоматически добавляет этот тег на тестовых доменах или после ошибок в шаблоне.

Неправильные HTTP-ответы

Поисковые системы индексируют только страницы с корректным ответом сервера.

Основные проблемы:

• страница отдаёт 404;
• страница уходит в бесконечный редирект;
• сервер отвечает 500;
• страница открывается только после JavaScript;
• soft 404 вместо нормальной ошибки.

Проверка ответа сервера

curl -I https://example.com

Правильный ответ рабочей страницы:

HTTP/2 200

Проблемы с 404 страницами

Очень частая ошибка в Битрикс и других CMS — когда любая несуществующая страница открывает главную с кодом 200.

Например:

https://example.com/asdasdasd/

открывает главную страницу вместо настоящей 404 ошибки.

Для поисковиков это выглядит как soft 404 — страница вроде существует, но фактически бесполезна.

Из-за большого количества таких URL поисковики начинают хуже доверять сайту и могут снижать скорость обхода.

Сайт слишком медленный

Если сервер работает нестабильно, поисковые роботы начинают реже посещать сайт.

Особенно критично:

• долгий TTFB;
• частые ошибки 502/503;
• перегруженный VPS;
• медленная база данных;
• ошибки PHP-FPM или nginx.

Иногда робот просто не может нормально скачать страницы.

Сайт новый и у него нет траста

Новые домены индексируются значительно медленнее, особенно если:

• на сайт нет ссылок;
• нет посещаемости;
• контента мало;
• структура сайта пустая;
• нет Sitemap.xml.

В 2026 году поисковики особенно внимательно относятся к новым сайтам без истории.

Проблемы с Sitemap.xml

Карта сайта помогает поисковым системам быстрее находить новые страницы.

Основные ошибки:

• битые ссылки;
• URL с редиректами;
• неактуальные страницы;
• ошибки генерации;
• отсутствие Sitemap в robots.txt.

Правильное подключение:

Sitemap: https://example.com/sitemap.xml

Дубли страниц

Если у сайта много дублей, поисковик может игнорировать часть страниц.

Типичные примеры:

• страницы с GET-параметрами;
• index.php в URL;
• страницы со слешем и без;
• HTTP и HTTPS одновременно;
• www и без www.

Особенно часто это встречается на старых проектах на Битрикс.

Проблемы JavaScript-сайтов

SPA-приложения на Vue, React или Nuxt без SSR могут индексироваться хуже.

Если контент появляется только после выполнения JavaScript — робот может увидеть практически пустую страницу.

Особенно это касается:

• Vue SPA;
• React SPA;
• приложений без SSR;
• сайтов с отключённым prerender.

Слабый или бесполезный контент

Поисковики всё хуже индексируют страницы без ценности.

Под фильтр могут попадать:

• тонкие страницы услуг;
• пустые категории;
• генерированный SEO-текст;
• дубли описаний;
• страницы без структуры.

Даже технически исправный сайт может плохо индексироваться из-за низкого качества контента.

Сайт попал под ограничения поисковиков

Иногда проблема связана с санкциями:

• вирусы;
• взлом сайта;
• скрытые редиректы;
• дорвеи;
• массовый AI-спам;
• покупные ссылки.

Проверить это можно через панели вебмастеров.

Как ускорить индексацию сайта

• открыть сайт для индексации;
• проверить robots.txt;
• настроить корректные 404;
• создать Sitemap.xml;
• добавить сайт в Яндекс Вебмастер и Search Console;
• ускорить сервер;
• убрать дубли страниц;
• добавить внутренние ссылки;
• публиковать полезный контент.

Заключение

В большинстве случаев проблема индексации связана не с санкциями поисковиков, а с техническими ошибками сайта.

Особенно часто проблемы встречаются после редизайна, переноса сайта, неправильной настройки nginx, миграции на SPA или ошибок в robots.txt.

Чем раньше вы обнаружите проблему — тем быстрее сайт вернётся в индекс и начнёт получать поисковый трафик.