Как поисковики видят сайт: взгляд глазами робота Google и Яндекса

Когда пользователь открывает сайт, он видит дизайн, меню, изображения, анимации, кнопки и привычный интерфейс. Но поисковая система смотрит на сайт иначе. Для Google и Яндекса сайт — это набор URL, HTML-кода, ссылок, текстов, технических сигналов и ответов сервера.

Именно поэтому страница может выглядеть красиво для человека, но при этом плохо индексироваться, не попадать в поиск или считаться малоценной. Чтобы понимать SEO, разработчику важно хотя бы иногда смотреть на сайт глазами поискового робота.

Поисковик начинает не с дизайна, а с URL

Для поисковой системы сайт начинается с адресов страниц. Робот находит URL в ссылках, sitemap.xml, внешних источниках и ранее известных страницах.

Поэтому структура адресов имеет значение. Для робота это разные страницы:

https://site.ru/services/
https://site.ru/services/index.php
https://site.ru/services
https://site.ru/services/?utm_source=test

Если все эти варианты открываются с кодом 200 OK и показывают одинаковый контент, поисковик может увидеть несколько дублей одной страницы.

Пользователь, скорее всего, не заметит проблемы. А поисковая система будет тратить время на обход лишних адресов и пытаться понять, какой URL считать основным.

Первое, что видит робот — ответ сервера

Перед тем как анализировать текст и верстку, поисковый робот получает HTTP-ответ сервера. Это один из самых важных технических сигналов.

Основные коды ответа:

• 200 OK — страница существует и доступна;
• 301 Moved Permanently — страница навсегда переехала;
• 302 Found — временный редирект;
• 404 Not Found — страница не найдена;
• 500 Internal Server Error — ошибка сервера.

Если несуществующая страница возвращает 200 OK и показывает главную страницу, для пользователя это может выглядеть безобидно. Но для поисковика это soft 404 — страница как будто существует, хотя на самом деле полезного контента по этому адресу нет.

Поисковик читает HTML, а не вашу Figma-макет

Дизайн важен для пользователя, но поисковик анализирует в первую очередь HTML-разметку. Он смотрит:

• заголовок страницы title;
• мета-описание description;
• заголовки h1, h2, h3;
• основной текст;
• ссылки;
• изображения и их alt;
• микроразметку;
• канонический адрес;
• служебные мета-теги.

Если текст нарисован картинкой, спрятан в JavaScript или подгружается только после действия пользователя, робот может увидеть страницу иначе, чем обычный посетитель.

Почему важен исходный HTML

Хорошая страница должна иметь содержательный HTML уже на первом ответе сервера. Это особенно важно для:

• страниц услуг;
• карточек товаров;
• статей блога;
• разделов каталога;
• посадочных страниц.

Если основной текст появляется только после выполнения JavaScript, индексация может стать менее предсказуемой.

Для коммерческого сайта лучше, чтобы важный контент был доступен сразу:

<h1>Разработка сайтов на 1С-Битрикс</h1>

<p>
    Создаю и дорабатываю сайты на 1С-Битрикс:
    корпоративные сайты, каталоги, интернет-магазины
    и посадочные страницы.
</p>

Такой контент робот видит сразу в HTML, без ожидания выполнения скриптов.

JavaScript поисковики понимают, но не всегда идеально

Современные поисковики умеют обрабатывать JavaScript, но это не значит, что можно полностью полагаться на клиентский рендеринг.

У JavaScript есть несколько проблем с точки зрения SEO:

• скрипты могут не выполниться из-за ошибки;
• рендеринг может занять больше времени;
• часть контента может появляться слишком поздно;
• ссылки могут быть недоступны без клика;
• робот может не дождаться всех асинхронных запросов.

Особенно опасно, когда весь основной контент страницы создается только на клиенте:

<div id="app"></div>

<script src="/assets/app.js"></script>

Для обычного пользователя после загрузки JavaScript может появиться полноценная страница. Но для поискового робота такой вариант всегда менее надежен, чем серверная отдача готового HTML.

Как поисковик видит ссылки

Ссылки — это маршруты, по которым робот обходит сайт. Если на страницу нет ссылок, поисковику сложнее ее найти и оценить.

Хорошая внутренняя ссылка выглядит просто:

<a href="/services/razrabotka-saitov/">
    Разработка сайтов
</a>

Плохой вариант для SEO:

<button onclick="location.href='/services/razrabotka-saitov/'">
    Разработка сайтов
</button>

Для пользователя оба варианта могут работать одинаково, но для робота обычная HTML-ссылка понятнее и надежнее.

Меню и перелинковка — это карта важности сайта

Поисковик смотрит не только на наличие страниц, но и на то, как они связаны между собой. Если важная страница спрятана глубоко и на нее почти нет внутренних ссылок, поисковик может считать ее менее значимой.

Внутренняя перелинковка помогает:

• передавать вес между страницами;
• быстрее находить новые материалы;
• показывать структуру сайта;
• усиливать важные посадочные страницы;
• связывать статьи блога с услугами.

Для разработчика это означает простую вещь: важные страницы не должны существовать отдельно от структуры сайта. На них должны вести понятные ссылки из меню, разделов, статей и тематических блоков.

Robots.txt — это не защита от индексации всего подряд

Файл robots.txt сообщает поисковым роботам, какие разделы сайта не нужно обходить. Но это не универсальный инструмент для удаления страниц из поиска.

Частая ошибка — закрывать в robots.txt страницы, которые нужно склеить редиректом или закрыть через noindex.

Например, если страница-дубль закрыта в robots.txt, поисковик может не увидеть canonical или редирект. Поэтому для дублей чаще правильнее использовать:

• 301-редирект;
• canonical;
• корректную внутреннюю перелинковку;
• удаление лишних URL из sitemap.xml.

Sitemap.xml — список важных страниц

Файл sitemap.xml помогает поисковым системам находить страницы сайта. Но sitemap не должен превращаться в свалку всех возможных URL.

В sitemap.xml лучше добавлять только те страницы, которые действительно должны индексироваться:

• страницы услуг;
• важные разделы;
• статьи блога;
• карточки товаров;
• полезные посадочные страницы.

Не стоит добавлять туда:

• страницы с параметрами;
• результаты поиска;
• служебные страницы;
• дубли с index.php;
• страницы пагинации без необходимости.

Canonical помогает выбрать основную страницу

Тег canonical подсказывает поисковой системе, какой URL считать основным среди похожих или одинаковых страниц.

<link rel="canonical" href="https://site.ru/services/">

Но canonical — это рекомендация, а не жесткая команда. Если на сайте хаос с URL, внутренними ссылками и редиректами, один canonical не спасет ситуацию.

Хорошая практика:

• чистый URL открывается с 200 OK;
• дубли редиректятся на основной URL;
• внутренние ссылки ведут на основной URL;
• sitemap.xml содержит только основной URL;
• canonical указывает на основной URL.

Поисковик оценивает не только текст, но и качество страницы

Раньше SEO часто сводилось к тексту и ключевым словам. Сейчас поисковые системы смотрят шире.

Для страницы важны:

• полезность контента;
• соответствие запросу пользователя;
• скорость загрузки;
• удобство на мобильных устройствах;
• отсутствие технических ошибок;
• структура заголовков;
• понятная навигация;
• доверие к сайту и автору.

Поэтому страница услуги, состоящая из пары абзацев и формы заявки, может выглядеть для поисковика малоценной. Даже если услуга для бизнеса действительно важная.

Как поисковик видит страницу услуги

Для пользователя страница услуги может быть понятной: заголовок, красивый блок, кнопка «Оставить заявку». Но робот анализирует глубже.

Он пытается понять:

• какую именно услугу предлагает страница;
• кому она подходит;
• какие задачи решает;
• есть ли конкретика;
• есть ли отличие от похожих страниц;
• есть ли экспертность;
• есть ли внутренние ссылки;
• не является ли страница шаблонной.

Если на сайте 20 страниц услуг отличаются только заголовком и парой слов, поисковик может считать их недостаточно ценными.

Почему шаблонные страницы плохо работают

Разработчику удобно сделать один шаблон и размножить его на все услуги. Но для SEO это риск.

Например, плохая структура:

• заголовок услуги;
• универсальный текст «мы оказываем качественные услуги»;
• список преимуществ;
• форма заявки.

Если такая схема повторяется десятки раз, поисковик видит не экспертные посадочные страницы, а набор похожих шаблонов.

Лучше добавлять уникальные смысловые блоки:

• когда нужна конкретная услуга;
• что входит в работу;
• типичные проблемы клиента;
• этапы выполнения;
• примеры задач;
• связанные услуги;
• ответы на частые вопросы.

Изображения поисковик тоже анализирует

Поисковая система не смотрит на изображения так же, как человек. Ей важны контекст и атрибуты.

Для изображений желательно указывать:

• понятное имя файла;
• атрибут alt;
• размеры width и height;
• современный формат изображения;
• окружение текстом по смыслу.

Пример:

<img 
    src="/upload/bitrix-audit.webp"
    width="900"
    height="500"
    alt="Аудит сайта на 1С-Битрикс"
    title="Аудит сайта на 1С-Битрикс">

Такой вариант лучше, чем:

<img src="/upload/img12345.jpg">

Мобильная версия важнее, чем кажется

Поисковые системы давно учитывают мобильный пользовательский опыт. Если сайт красиво выглядит на десктопе, но неудобен на телефоне, это проблема.

На мобильных устройствах особенно важны:

• скорость загрузки;
• читаемый размер текста;
• удобные кнопки;
• отсутствие горизонтального скролла;
• понятное меню;
• стабильная верстка;
• аккуратные формы.

Разработчик должен проверять не только «адаптив вроде есть», а реальное поведение страницы на телефоне.

Core Web Vitals — технический взгляд на UX

Для поисковика важно не только наличие контента, но и то, как пользователь взаимодействует со страницей.

Поэтому учитываются метрики качества:

• LCP — как быстро появляется основной контент;
• INP — насколько быстро сайт реагирует на действия;
• CLS — насколько сильно прыгает верстка при загрузке.

Плохие показатели Core Web Vitals не всегда уничтожают позиции, но они показывают технические проблемы сайта. А технически слабая страница обычно хуже и для пользователя, и для SEO.

Что поисковик не любит

С точки зрения технического SEO особенно опасны:

• дубли страниц;
• soft 404;
• битые ссылки;
• цепочки редиректов;
• пустые страницы;
• тонкий контент;
• закрытый важный контент;
• неправильные canonical;
• хаотичная структура URL;
• медленный сервер;
• перегруженный JavaScript.

Как посмотреть на сайт глазами поисковика

Разработчику полезно периодически проверять сайт не только в браузере, но и техническими инструментами.

Минимальный набор проверок:

• открыть исходный HTML страницы;
• проверить код ответа сервера;
• посмотреть страницу без JavaScript;
• проверить sitemap.xml;
• проверить robots.txt;
• прогнать страницу через Lighthouse;
• проверить страницу в Яндекс.Вебмастере;
• проверить страницу в Google Search Console.

Для проверки ответа сервера можно использовать:

curl -I https://site.ru/services/

Для просмотра HTML:

curl -L https://site.ru/services/

Иногда такая простая проверка быстро показывает, что в HTML нет важного текста, canonical указывает не туда, а страница отдает неправильный код ответа.

Чек-лист для разработчика

• Страница доступна по одному основному URL.
• Дубли редиректятся через 301.
• Несуществующие страницы отдают 404.
• В HTML есть нормальный title и description.
• На странице только один основной h1.
• Важный контент есть в исходном HTML.
• Ссылки сделаны через обычный тег a.
• Картинки имеют понятные alt.
• Sitemap.xml содержит только нужные страницы.
• Robots.txt не закрывает важные разделы.
• Canonical указывает на правильный URL.
• Страница нормально работает без критических JS-ошибок.
• Мобильная версия удобна для пользователя.
• Скорость загрузки не мешает просмотру страницы.

Вывод

Поисковик видит сайт не так, как обычный пользователь. Он анализирует URL, ответы сервера, HTML, ссылки, структуру, скорость, дубли и технические сигналы.

Поэтому хороший сайт для SEO — это не только красивый дизайн и тексты. Это еще и чистая техническая реализация: правильные коды ответа, понятная структура URL, доступный HTML, нормальная перелинковка и отсутствие мусорных страниц.

Если разработчик понимает, как поисковые системы видят сайт, он начинает проектировать страницы иначе: не просто «чтобы красиво выглядело», а чтобы сайт был понятен и пользователю, и поисковому роботу.