Прежде чем что-то чинить, определите состояние страницы: робот её не загружал, загрузил и исключил, держит в индексе без показов или показывает без кликов. Это четыре разные проблемы, и заявка на переобход помогает только в первой.
Разница тут не косметическая. На «робот не загружал» уходит вечер работы со ссылками, на «загрузил и исключил» — две недели переделки текста, а на «показов нет» переобход не влияет вовсе, сколько его ни заказывай. Поэтому первые пять минут тратятся не на действия, а на определение состояния: это единственное место в работе с индексацией, где спешка обходится дороже промедления.
Состояние 1. Робот страницу не загружал#
Признак: адреса нет ни в «Страницах в поиске», ни в списке исключённых.
Для поисковика такой страницы просто не существует.
Чаще всего это молодые сайты первых трёх месяцев жизни.
Механика тут простая: робот обходит сайт по ссылкам и по карте сайта, и страница, которая не встречается ни там, ни там, может ждать своей очереди месяцами. Копится это на глубине — до материала в четырёх кликах от главной очередь доходит позже, чем до материала в двух. Отдельная разновидность той же беды — публикация, на которую не поставили ни одной внутренней ссылки: формально она есть, фактически ведёт на неё только адресная строка того, кто её писал. Ни объём текста, ни его качество на этом состоянии не влияют ни на что, потому что читать текст пока некому. Поэтому лечение и начинается со ссылок, а заявка на переобход здесь единственный раз из четырёх работает так, как о ней думают.
Что делать по порядку:
- Поставить внутренние ссылки. Это первое и самое дешёвое действие. Страница должна быть достижима из ленты свежего, из витрины своего раздела и хотя бы из одного тематически близкого материала.
- Проверить карту сайта. Адрес обязан быть в sitemap.xml, а дата в
lastmod— совпадать с реальной датой правки. Карта с датами «сегодня» на всех страницах обесценивается роботом за пару обходов. - Отправить на переобход. Квота на переобход выдаётся на сутки и зависит от показателей сайта, поэтому у молодого домена она мала, а точное число видно в самом инструменте. Тратить её на страницы, которые робот уже видел, бессмысленно. {{ПРОВЕРИТЬ: действующая суточная квота переобхода и от чего она зависит, источник — справка Яндекс.Вебмастера}}.
- Включить обход по счётчику. Робот узнаёт о новых адресах из хитов Метрики — вне карты сайта и вне квоты переобхода. Условие одно: счётчик и Вебмастер на одном аккаунте.
Состояние 2. Загружена и исключена#
Признак: адрес есть в списке исключённых, рядом указана причина. Дальше лечение зависит целиком от причины — универсального ответа нет.
Названия причин в таблице приведены так, как они формулировались на момент подготовки материала. Сверяйте со своим отчётом по смыслу: совпадения слов может и не быть. {{ПРОВЕРИТЬ: действующие формулировки статусов исключения и их значения, источник — справка Яндекс.Вебмастера}}.
| Причина в Вебмастере | Что произошло | Что делать |
|---|---|---|
| Недостаточно качественная | Страницу загрузили и отбросили | Довести объём и глубину до уровня топ-5 по запросу, добавить собственные данные |
| Дубль | Есть другая страница с тем же содержимым | Объединить, оставить один адрес, настроить канонический |
| Неканоническая | Ваш же canonical указывает в другое место | Проверить, что страница канонизирует сама себя |
| Запрещена в robots.txt | Ошибка конфигурации | Снять запрет, отправить на переобход |
| Ошибка HTTP | В момент обхода сервер отдал 4xx или 5xx | Разобрать логи, проверить доступность и скорость ответа |
| Малоценная или маловостребованная | Спроса на тему нет | Перепроверить частоту ключа, объединить со смежным материалом |
Две причины из этого списка стоят отдельного разговора.
«Недостаточно качественная» — самая частая и самая обидная. Это не приговор конкретной странице: часто так помечаются материалы на сайте, где качество проседает в среднем. Лечится не переобходом, а работой с содержимым: пересобрать структуру под запрос, добавить то, чего нет у конкурентов из топа, убрать воду.
«Малоценная или маловостребованная» означает одно: тему выбрали без проверки спроса, и никакая доработка текста этого задним числом не исправит. Отсюда правило, которое дешевле соблюдать заранее: частота проверяется до написания. Проверка после исключения уже ничего не спасает. Наш редакционный ориентир — точная частота от 150 показов в месяц либо кластер от 500. Порог выбран нами и универсальной нормой не является: у сайта с сотней страниц он был бы другим.
Состояние 3. В индексе, но показов нет#
Признак: страница в «Страницах в поиске», а в отчёте по запросам за последние 30 дней у неё ноль показов.
Это уже не задача индексации, и переобход тут не поможет вообще, сколько заявок ни отправляй. Первым проверяется спрос: запрос, под который писали, может просто никто не задавать, и на выяснение уходит минута в сервисе подбора слов. Вторая причина — каннибализация, когда по тому же запросу у сайта есть другая страница и поисковик выбирает её; лечится это либо объединением двух материалов в один, либо разведением тем так, чтобы они перестали спорить между собой. Третья и самая трудоёмкая — недостаточная релевантность: страница в индексе, но по запросу проигрывает всей выдаче, и тогда работать приходится со структурой, полнотой ответа и внутренними ссылками с осмысленными анкорами. Первые две закрываются за час, третья требует переписывания, поэтому и проверять их дешевле именно в таком порядке.
Состояние 4. Показы есть, кликов нет#
Признак: показов много, позиция средняя, кликабельность заметно ниже типичной для этой позиции.
Причины делятся на управляемые и нет. Управляемые — заголовок и описание в выдаче: их можно переписать под запрос и измерить эффект через месяц. Неуправляемая — ответ прямо в выдаче: если по запросу поисковик показывает готовый ответ, часть переходов не случится никогда, и сниппетом это не лечится. Отсюда практический вывод для контента: чем больше в материале собственных данных, расчётов и опыта, тем меньше он подвержен этой потере.
Что смотреть еженедельно#
Пятнадцать минут в неделю в Вебмастере закрывают почти все проблемы индексации на раннем этапе, и смотреть в них нужно четыре экрана. Статистика обхода отвечает на один вопрос: сколько страниц робот загрузил и не упало ли это число против прошлой недели. Страницы в поиске показывают приход и уход с причинами, и причина здесь важнее самого числа. Диагностика сайта копит сообщения о нарушениях, которые в почту приходят не всегда. Скорость ответа сервера выглядит технической мелочью ровно до того дня, когда устойчиво медленный ответ срезает частоту обхода, — и тогда падение видно уже во всех трёх предыдущих отчётах разом.
Отдельно стоит завести мониторинг важных страниц: по добавленным в него адресам приходят уведомления о смене статуса в индексе, кода ответа и заголовка. Список ограничен по числу адресов, но сайту на полсотни страниц лимита хватает с запасом. {{ПРОВЕРИТЬ: действующий лимит списка важных страниц и состав уведомлений, источник — справка Яндекс.Вебмастера}}.
Точные формулировки причин исключения и их значения приведены в справке Яндекса для вебмастеров — сверяйтесь с ней, потому что формулировки там периодически меняются, а пересказы за ними не поспевают.
Связанные материалы#
Как считать деньги в платных каналах, пока поисковый трафик только набирается, разобрано в материале про расчёт стоимости заявки. Остальные разборы по индексации и техническому SEO — в разделе «SEO и поисковый трафик».