Содержание:
Если страницы нет в поиске, это ещё не означает, что робот её не видел. URL может быть неизвестен поисковой системе, найден, но не обойдён, обойдён и исключён, либо заменён другой канонической версией. У каждого состояния разные причины, поэтому массовая отправка на переобход редко решает проблему сама по себе.
Диагностику нужно начинать с конкретного URL и только потом искать системный шаблон. Если одинаковый статус получили сотни категорий, фильтров или статей, исправлять следует генерацию, а не отправлять каждую страницу вручную.
Сначала определите состояние страницы
| Состояние | Что это означает | Первое действие |
|---|---|---|
| URL неизвестен | поисковик ещё не обнаружил адрес | проверить внутренние ссылки и sitemap |
| Обнаружен, но не обойдён | адрес известен, содержимое ещё не загружено | проверить сервер, приоритет и связность |
| Обойдён, но не индексируется | робот видел страницу, но не выбрал её для поиска | проверить качество, дубли и сигналы |
| Выбрана другая canonical | основной признана другая версия | сверить canonical, редиректы и ссылки |
| Запрещён | robots, noindex или доступ блокируют обработку | найти и убрать непреднамеренный запрет |
| Ошибка ответа | 4xx, 5xx, soft 404 или цикл | исправить технический ответ |
Причина 1. Страница закрыта от робота
Проверьте robots.txt, метатег robots, HTTP-заголовок X-Robots-Tag, авторизацию и защитные сервисы. Важно различать запрет обхода и запрет индексирования: robots.txt может не дать загрузить содержимое, а noindex сообщает не включать страницу в результаты.
Причина 2. Неверный HTTP-статус
| Ответ | Нормальное применение | Проблема |
|---|---|---|
| 200 | рабочая содержательная страница | пустой шаблон или сообщение «не найдено» при коде 200 |
| 301/308 | постоянный перенос на релевантный адрес | цепочка, цикл или редирект на главную |
| 302/307 | временное перенаправление | используется для постоянной миграции без основания |
| 404/410 | удалённая страница без замены | так отвечает важный действующий URL |
| 5xx | серверная ошибка | робот регулярно не может загрузить страницу |
Причина 3. Canonical указывает на другой URL
Страница может быть доступна с кодом 200, но сообщать, что основной версией является другой адрес. Это нормально для технических дублей и опасно для уникальной категории или услуги. Особенно часто ошибки появляются после смены домена, копирования шаблона и работы фильтров.
Canonical — один из сигналов выбора основной версии. Редиректы, sitemap и внутренние ссылки также должны поддерживать тот же адрес. Подробности приведены в официальном руководстве Google по канонизации.
Причина 4. Страница дублирует другую
- одинаковый товар доступен по нескольким категориям;
- URL отличаются параметрами, сортировкой или слешем;
- HTTP, HTTPS, www и адрес без www открываются без единого редиректа;
- фильтры создают множество почти одинаковых списков;
- тексты услуг скопированы с заменой города;
- пагинация или поиск генерируют тонкие страницы.
Поисковая система может объединить такие URL и выбрать одну версию. Решение зависит от назначения: 301, canonical, noindex, изменение внутренних ссылок или переработка содержания. Универсально закрывать все параметры нельзя — среди них могут быть ценные посадочные.
Причина 5. Страница мало связана с сайтом
URL может находиться в sitemap, но не иметь внутренних ссылок. Для робота и пользователя это слабый сигнал значимости. Важные страницы должны быть доступны из категорий, меню, связанных материалов или других логичных узлов, а не существовать только в выгрузке.
Причина 6. Sitemap сформирован неправильно
| Ошибка | Последствие | Исправление |
|---|---|---|
| В файле старый домен | робот получает устаревшие адреса | пересобрать sitemap после миграции |
| Есть 301 и 404 | карта содержит не конечные рабочие URL | оставить основные страницы со статусом 200 |
| Попали noindex-страницы | сигналы противоречат друг другу | синхронизировать правила |
| Нет новых разделов | обнаружение может замедлиться | исправить генератор карты |
| Файл недоступен | робот не может обработать список | проверить статус 200 и robots.txt |
Sitemap помогает сообщить поисковой системе об актуальных URL, но не гарантирует их включение в индекс. Яндекс рекомендует добавить файл в Вебмастер или указать его в robots.txt и контролировать статус обработки. См. документацию Яндекса и руководство Google.
Причина 7. Значимый контент зависит от JavaScript
Робот может получить пустой контейнер, а текст, товары и ссылки появятся только после выполнения скрипта или действия пользователя. Google обрабатывает JavaScript, но отрисовка добавляет отдельный этап и может завершиться ошибкой. Для других систем возможности и сроки могут отличаться.
| Что проверить | Нормальный результат |
|---|---|
| Исходный HTML | есть базовое содержание или понятная загрузка |
| Отрисованный HTML | присутствуют текст, ссылки, canonical и метаданные |
| Ссылки | используют доступные href, а не только обработчик клика |
| API и ресурсы | не закрыты robots.txt и не требуют сессии |
| Ошибки скриптов | страница сохраняет основной смысл при сбое |
Google рекомендует проверять отрисованный HTML и использовать обычные ссылки с href. Технические детали опубликованы в руководстве по JavaScript SEO.
Обезличенный пример: sitemap и смена ЧПУ
После массового переименования адресов в одном проекте sitemap продолжал содержать старые URL, часть внутренних ссылок шла через редиректы, а несколько новых страниц канонизировались на прежние версии. Отдельно каждый элемент казался небольшим, но вместе они давали поисковой системе противоречивую картину. После синхронизации сигналов начался повторный обход; возвращение страниц происходило постепенно.
Порядок диагностики одной страницы
- Открыть URL без авторизации и проверить HTTP-статус.
- Проверить robots.txt, robots meta и X-Robots-Tag.
- Посмотреть заявленный и выбранный canonical в поисковом кабинете.
- Сравнить страницу с возможными дублями.
- Проверить наличие в актуальном sitemap.
- Найти обычные внутренние ссылки на URL.
- Сравнить исходный и отрисованный HTML.
- Отправить страницу на проверку или переобход после устранения причины.
Когда проблема требует технического аудита
Если не индексируется одна новая статья, достаточно точечной проверки. Если выпадает раздел, число исключённых URL растёт после релиза или поисковые системы выбирают неверные canonical массово, нужен анализ шаблонов, правил CMS и истории изменений. Иначе команда будет лечить отдельные адреса, пока система продолжает создавать новые ошибки.
Обсудить задачу с German Web
Если страницы исчезают группами или причина не подтверждается поисковыми кабинетами, German Web может провести техническую SEO-диагностику и подготовить задачи для разработчиков. Оставьте заявку на первичную диагностику: изучим сайт или проект новой версии, определим основные риски и предложим последовательный план работ.
Частые вопросы
Сколько времени занимает индексация новой страницы?
Фиксированного срока нет. Он зависит от сайта, внутренних ссылок, скорости обхода и качества страницы; отправка на переобход не гарантирует немедленное включение.
Гарантирует ли sitemap попадание в поиск?
Нет. Sitemap помогает обнаружению и контролю URL, но поисковая система самостоятельно решает, индексировать ли страницу.
Нужно ли закрывать все фильтры интернет-магазина?
Нет. Часть сочетаний может соответствовать полезному спросу. Сначала классифицируют фильтры, затем задают разные правила.
Почему в Google и Яндексе разное число страниц?
У систем различаются обход, данные и критерии выбора. Сравнивать нужно причины исключения и важные группы, а не добиваться одинакового счётчика.
Поможет ли многократная отправка на переобход?
Если причина не устранена, повторные запросы не решат запрет, ошибочный canonical, дубль или пустой контент.
Что делать, если страница видна пользователю, но робот её не видит?
Проверить отрисованный HTML, доступность JavaScript и API, обычные ссылки, статусы и ограничения для роботов.
