Как анализировать логи Nginx: поиск SEO-проблем, ботов и ошибок сайта

Логи Nginx — один из самых недооцененных инструментов для анализа сайта.

Большинство разработчиков и владельцев сайтов смотрят только:

• Яндекс.Метрику;
• Google Analytics;
• Вебмастер;
• PageSpeed.

Но именно логи Nginx показывают:

• что реально происходит на сервере;
• как сайт обходят поисковые роботы;
• какие URL вызывают ошибки;
• кто нагружает сервер;
• какие страницы сканируют боты;
• есть ли атаки или мусорный трафик.

Для SEO и технической поддержки сайта анализ логов — крайне полезный инструмент.

Где находятся логи Nginx

Обычно access и error логи лежат здесь:

/var/log/nginx/access.log
/var/log/nginx/error.log

Иногда для каждого сайта используются отдельные файлы:

/var/log/nginx/site-access.log
/var/log/nginx/site-error.log

Посмотреть лог в реальном времени:

tail -f /var/log/nginx/access.log

Что хранится в access.log

Пример строки:

192.168.1.1 - - [21/May/2026:12:10:15 +0000] 
"GET /catalog/ HTTP/1.1" 200 15234 
"https://google.com/" 
"Mozilla/5.0"

Здесь содержится:

• IP адрес;
• дата запроса;
• URL;
• HTTP метод;
• код ответа;
• размер ответа;
• referer;
• User-Agent.

Самое важное для SEO — коды ответа

Первое, что стоит анализировать — HTTP коды.

200

Страница работает нормально.

301 / 302

Редиректы.

Особенно важно искать:

• циклические редиректы;
• лишние цепочки redirect;
• 302 вместо 301.

404

Не найдено.

Анализ 404 помогает:

• найти битые ссылки;
• обнаружить мусорных ботов;
• увидеть старые URL после миграции;
• понять что ищут пользователи.

500

Ошибки сервера.

Особенно опасны для SEO.

Как найти все 404 ошибки

grep ' 404 ' /var/log/nginx/access.log

Или топ самых частых:

grep ' 404 ' access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

Это позволяет быстро найти:

• несуществующие страницы;
• сломанные изображения;
• битые ссылки;
• старые URL после переноса сайта.

Как анализировать поисковых ботов

Очень полезно смотреть:

• как часто сайт обходит Googlebot;
• какие страницы сканирует Яндекс;
• не тратится ли crawl budget на мусор.

Например:

grep 'Googlebot' access.log

Или:

grep 'YandexBot' access.log

Можно увидеть:

• что реально индексируется;
• какие URL чаще обходят боты;
• какие страницы получают ошибки;
• есть ли проблемы с robots.txt.

Поиск мусорных ботов

В логах часто можно увидеть огромное количество странных запросов:

/wp-admin/
/xmlrpc.php
/.env
/phpmyadmin/
/vendor/phpunit/

Даже если сайт не на WordPress.

Это автоматические сканеры уязвимостей.

Иногда они создают серьезную нагрузку на сервер.

Как посмотреть самые частые IP

awk '{print $1}' access.log | sort | uniq -c | sort -rn | head

Топ User-Agent

awk -F\" '{print $6}' access.log | sort | uniq -c | sort -rn | head

Как понять что сайт атакуют

Признаки:

• резкий рост запросов;
• тысячи 404;
• много запросов к PHP;
• сканирование служебных файлов;
• нагрузка на CPU.

Часто в логах можно найти:

/.git/
/.env
/admin/
/backup.zip

Это попытки найти уязвимости.

Анализ скорости ответа сервера

Очень полезно добавлять в лог время генерации страницы.

Например:

log_format main '$remote_addr - $request '
                '$status $body_bytes_sent '
                '$request_time';

После этого можно искать медленные страницы.

Пример

awk '$NF > 3' access.log

Покажет запросы дольше 3 секунд.

Это помогает находить:

• медленные SQL запросы;
• тяжелые страницы;
• проблемные компоненты;
• ошибки кеширования.

GoAccess — лучший способ визуализации логов

Если не хочется анализировать логи вручную — используйте GoAccess.

Это очень удобный анализатор логов с веб-интерфейсом.

Установка

apt install goaccess

Пример запуска

goaccess /var/log/nginx/access.log \
-o /var/www/report.html \
--log-format=COMBINED

В отчете будут:

• топ URL;
• 404 ошибки;
• боты;
• IP адреса;
• рефереры;
• нагрузка;
• статистика по времени.

Почему анализ логов полезен для SEO

Через логи можно увидеть то, чего нет в аналитике:

• реальный обход поисковиков;
• неиндексируемые страницы;
• ошибки после миграции;
• soft 404;
• мусорные URL;
• проблемы robots.txt;
• потерянные страницы.

Особенно полезен анализ логов:

• после редизайна;
• после смены URL;
• при падении SEO-трафика;
• для крупных каталогов;
• для интернет-магазинов.

Вывод

Логи Nginx — это один из лучших источников информации о реальной работе сайта.

Они позволяют:

• находить SEO-проблемы;
• ловить ошибки;
• анализировать поисковых ботов;
• видеть атаки;
• искать медленные страницы;
• контролировать индексацию.

Даже простой анализ access.log уже может дать огромное количество полезной информации для оптимизации сайта.