Скорость попадания страницы в индекс складывается из 3 вещей: робот должен узнать адрес, дойти до него и не встретить запрета. Ускорение — это работа с каждой из них: подача адреса через карту сайта и автоматические уведомления о публикации, ручной переобход в панели вебмастера и внутренние ссылки, по которым робот придёт сам.
Порядок здесь важнее набора инструментов. Если на странице стоит запрет или сервер отвечает медленно, отправка на переобход ничего не изменит: адрес вернётся в очередь. Сначала снимают преграды, затем сообщают адрес всеми доступными каналами и только потом смотрят на сроки. Отдельно стоит различать первый обход и появление в выдаче — между ними проходит ещё какое-то время.
Уберите преграды, из-за которых робот не доходит#
Первое — ответ сервера. Страница должна открываться по постоянному адресу и отдавать код 200, без цепочки переадресаций. Откройте её в режиме инкогнито и посмотрите исходный код: если текст подгружается скриптом уже после загрузки, робот увидит пустой шаблон и вернётся нескоро.
Второе — запреты. У них 3 обычных места: robots.txt, метатег в коде страницы и заголовок ответа сервера. Отдельно проверьте канонический адрес: если он указывает на другую страницу, в индекс возьмут её, а не вашу. Такие настройки часто остаются с этапа разработки, и о них никто не помнит.
Третье — конкуренция за обход внутри сайта. Робот тратит ресурс на все адреса, которые находит: страницы фильтров, сортировок, внутреннего поиска, служебные копии. Чем больше таких адресов, тем позже очередь дойдёт до новой статьи. В каталоге с фильтрами служебных копий нередко больше, чем реальных карточек товара.
Закрытие мусорных адресов освобождает ресурс для нужных страниц — самое недооценённое действие из всех. А если страница не появляется месяцами, вопрос уже не в скорости: причины разобраны в материале про статью, которая не индексируется.
Ручная отправка на переобход: как и когда#
В панели вебмастера есть инструмент ручной отправки страницы на переобход: вы вставляете адрес, и он попадает в приоритетную очередь робота. Это не команда «проиндексируй», а просьба зайти раньше обычного: робот всё равно проверит ответ сервера, запреты и канонический адрес. Число адресов, которые можно отправить, почти всегда ограничено лимитом — иначе инструментом давили бы на очередь без остановки. Конкретный размер лимита, порядок его обновления и место, где он показан, поисковики меняют без объявлений, поэтому сверяйтесь со справкой сервиса и с тем, что видите в своём аккаунте.
Практика простая. В день публикации отправьте адрес новой страницы и адрес раздела, из которого на неё ведёт ссылка. Второе помогает роботу увидеть обновлённый список материалов. Отправлять один и тот же адрес несколько раз подряд бессмысленно: приоритет от повтора не растёт, а лимит расходуется.
Берегите лимит для страниц, которые приносят деньги или трафик: новых услуг, важных статей, изменённых цен и условий доставки. Отправлять весь сайт подряд — способ потратить лимит впустую. После отправки смотрите статистику обхода: там видно, когда робот приходил и какой ответ получил.
Признак того, что дело не в переобходе: в статистике адрес отмечен как обойдённый, а страницы в поиске нет. Робот дошёл, но материал не взяли, и это уже вопрос содержания. Повторные отправки в такой ситуации только жгут лимит: вместо них правят текст и смотрят, чем страница отличается от уже проиндексированных.
Карта сайта и автоматическая подача новых адресов#
Карта сайта — базовый канал. В неё попадают только страницы с кодом 200, открытые к индексации, а дата в lastmod должна меняться при реальном изменении содержания. Если движок проставляет всем страницам сегодняшнее число, значение перестаёт что-либо значить для робота.
Второй канал — уведомление в момент публикации. Часть движков умеет сама сообщать поисковику адрес сразу, как страница появилась или изменилась, не дожидаясь, когда робот в очередной раз скачает карту сайта. Разница между этими двумя каналами и есть выигранное время: карту робот приходит читать сам и когда захочет, а уведомление отправляете вы и ровно тогда, когда нужно. Поддерживает ли поисковик такой способ подачи и как он называется сейчас, смотрят в его справке, а способ подключения — в документации своего движка: у распространённых систем управления сайтом это готовый модуль, у самописных — небольшая доработка разработчика.
Оба канала нужно проверять, а не считать работающими по умолчанию. В панели вебмастера есть отчёт об ошибках разбора карты сайта и статистика обхода: если новые адреса там не появляются, канал не работает. Проверка уведомлений ещё проще — в логах сервера видно обращение робота вскоре после отправки.
Отдельная привычка, которая экономит время: держать в карте сайта только живые адреса. Удалённые страницы, черновики и технические копии тянут на себя обход и портят картину в отчётах. Пересматривать карту достаточно раз в месяц, а после крупной правки каталога или переезда блога — сразу.
Ссылки: почему страница-сирота ждёт дольше всех#
Робот приходит по ссылкам, поэтому новая страница должна быть связана с сайтом в момент публикации, а не через неделю. Минимум — ссылка из своего раздела и из свежего материала по смежной теме. Хорошо, когда до страницы можно дойти с главной за 2–3 клика: чем глубже она спрятана, тем реже до неё добираются.
Работает не количество ссылок, а их осмысленность: ссылка стоит там, где у читателя возникает вопрос, и подписана человеческим текстом, а не словами «читайте также». Как выстроить такие связи по разделу целиком, разобрано в материале про внутреннюю перелинковку.
Внешние сигналы тоже ускоряют первый визит. Анонс в канале, рассылке или профиле компании даёт роботу ещё один путь к адресу и заодно первых читателей. Специально закупать ссылки ради индексации смысла нет, а вот использовать площадки, которые у вас и так есть, стоит.
И главный длинный рычаг — регулярность. Сайт, где материалы выходят по расписанию, обходят чаще, чем сайт с публикациями раз в полгода. Частота обхода накапливается месяцами и потом работает на все новые страницы сразу — это единственный способ получать быструю индексацию без ручных действий.
Вывод: что делать в день публикации#
Соберите короткий чек-лист и проходите его каждый раз. Проверьте, что страница отдаёт код 200 и не закрыта запретом. Убедитесь, что она попала в карту сайта и что уведомление о публикации ушло. Поставьте на неё минимум 2 ссылки с уже проиндексированных страниц. Отправьте адрес и адрес раздела на переобход в панели вебмастера.
Дальше — только наблюдение. Смотрите статистику обхода: пришёл ли робот, какой код получил, попала ли страница в отчёт по страницам в поиске. Для молодого сайта ожидание в 2–3 недели остаётся нормой, и дёргать переобход каждый день не нужно. Поставьте себе дату следующей проверки, чтобы не возвращаться к вопросу раньше срока.
Если через месяц страницы нет, набор действий менять поздно — менять нужно материал. Ускорители сокращают путь робота к странице, но не заставляют брать в индекс текст, который ничего не добавляет к уже проиндексированным. Скорость и качество решают разные задачи, и подменять одно другим не выйдет.