Технические ошибки ищут в фиксированном порядке: сначала доступность сайта роботу, потом дубли и коды ответа, и только затем заголовки, мобильная версия и скорость. Порядок обязателен: ошибка на верхнем уровне обесценивает всё, что найдено ниже.
Порядок здесь не бюрократия, а экономия вечера. Правка мобильной вёрстки на сайте, целиком закрытом в robots.txt, не даёт ровно ничего, и таких переставленных приоритетов в чужих аудитах попадается больше, чем настоящих ошибок. Каждый следующий шаг имеет смысл только после того, как закрыт предыдущий.
Что нужно перед началом#
Платных подписок не нужно, но два пункта требуют подтверждённых прав на сайт — это самое долгое место в подготовке.
| Что нужно | Где взять | Сколько ждать |
|---|---|---|
| Права на сайт в Яндекс Вебмастере | подтверждение файлом, метатегом или записью DNS | от нескольких минут до суток |
| Счётчик Метрики с доступом к отчётам | Яндекс Метрика | сразу, если счётчик уже стоит |
| Браузер с панелью разработчика | любой современный браузер | сразу |
| Таблица для записи находок | любой табличный редактор | — |
| Телефон с мобильным интернетом | — | — |
Телефон обязателен: часть ошибок видна только на реальном устройстве и реальном канале. Режим эмуляции мобильного экрана в браузере их не показывает.
Если прав в Вебмастере нет — начните с них: без отчёта об индексировании половина шагов превращается в гадание. Как его читать — в материале про состояния индексации.
Как проверить сайт: пошагово#
Шаг 1. Проверить, по какому адресу живёт сайт#
Сайт должен открываться по одному адресу, а остальные варианты — вести на него переадресацией. Вариантов четыре: с www и без, по http и по https; отдельно проверяется адрес со слешем на конце и без него.
Откройте каждый вариант вручную. Если сайт открывается как есть и никуда не переадресует, у вас несколько копий, и основную поисковик выберет сам. Здесь же смотрится срок действия сертификата: истёкший даёт предупреждение в браузере, и посетитель уходит, не увидев страницу.
Адрес выбран, когда три из четырёх вариантов отвечают переадресацией на четвёртый, а сертификат действителен.
Шаг 2. Прочитать robots.txt и карту сайта#
Файл robots.txt открывается по адресу вашего сайта с добавлением /robots.txt. Читать его нужно целиком и глазами: самая дорогая ошибка — забытый со времён разработки запрет на индексацию всего сайта. На что смотреть: не закрыты ли разделы, которые должны быть в поиске; указан ли адрес карты сайта; не закрыты ли файлы стилей и скриптов, без которых робот не увидит страницу так, как её видит человек.
В карте сайта должны быть только те адреса, которые вы хотите видеть в поиске: без переадресаций, без закрытых страниц, без несуществующих. Даты изменения должны быть настоящими — карта, где у всех страниц стоит сегодняшняя дата, для робота ничего не значит.
Файлы разобраны, когда прочитана каждая строка robots.txt и понятно, зачем она там, а в карте не осталось ни одного лишнего адреса.
Шаг 3. Сверить три числа#
Пятнадцать минут, три числа, и половина диагноза готова.
Первое — сколько у сайта рабочих страниц по вашему представлению.
Второе — сколько адресов в карте сайта.
Третье — сколько страниц в поиске по отчёту Вебмастера.
Сравниваются они попарно, и направление расхождения само называет причину. Если в карте больше, чем рабочих страниц, туда попал мусор: фильтры, сортировки, служебные адреса, которые генератор карты собрал заодно со всем остальным. Если в индексе меньше, чем в карте, робот страницы загружает и отбрасывает, а причина каждого отброса написана в списке исключённых — её надо прочитать. Если в индексе больше, чем в карте, значит, в поиск попали адреса, которых вы туда не отправляли: дубли с параметрами, версии для печати, копии с разным окончанием адреса. Совпадения всех трёх чисел не бывает почти никогда, добиваться его бессмысленно; уметь надо другое — объяснять каждое расхождение одной конкретной причиной.
Сверка засчитана, когда три числа записаны и каждое расхождение объяснено конкретной причиной. Формулировка «наверное, робот ещё не дошёл» причиной не считается.
Шаг 4. Проверить коды ответа и переадресации#
Код ответа сервера — это то, что видит робот вместо страницы, и смотрится он в панели разработчика браузера: вкладка с сетевыми запросами, первая строка списка и есть сам документ. Проверяются подряд четыре вещи. Главная и основные страницы обязаны отвечать кодом 200. Несуществующий адрес обязан отвечать кодом 404, и страница с надписью «ничего не найдено», отдающая при этом код 200, — худший из возможных вариантов: для робота это бесконечное поле пустых страниц, которые он будет исправно обходить. Переадресация должна вести за один шаг, потому что цепочка из трёх переходов тратит время робота впустую, и ни одна внутренняя ссылка не должна указывать на адрес, отвечающий переадресацией или ошибкой.
Отдельно посмотрите список ошибок обхода в Вебмастере: часть адресов окажется удалёнными страницами, часть — живыми, недоступными в момент обхода.
Коды разобраны, когда для каждой ошибки из отчёта об обходе известно, удалённая это страница или сломанная.
Шаг 5. Найти дубли#
Дубли — самая частая причина, по которой страница исчезает из поиска, оставаясь на сайте. Типовые источники: один товар или услуга по нескольким адресам; адреса с параметрами (метки кампаний, сортировки, фильтры); версия для печати; адрес со слешем на конце и без него; страницы списка, повторяющие первую.
Проверка без сервисов: возьмите точное предложение со страницы, поставьте в кавычки и найдите в поиске с ограничением по своему сайту. Нашлось несколько адресов — у вас дубль.
Следующим смотрится канонический адрес: поиском по исходному коду по слову canonical. У основной страницы он указывает на неё саму, у дублей — на основную версию. Частая ошибка: канонический адрес везде ведёт на главную, и тогда из поиска пропадает весь сайт, кроме одной страницы.
Дубли закрыты, когда у каждой страницы указан канонический адрес, а у основных он указывает сам на себя.
Шаг 6. Проверить заголовки страниц#
Заголовок и описание — то, что видит человек в выдаче, и то, по чему поисковик понимает тему. Проверяются наличие, уникальность и осмысленность.
Список собирается вручную, но быстро: пройдите по страницам из карты сайта и выпишите в таблицу адрес, заголовок, описание и заголовок первого уровня. Для нескольких десятков страниц это 30–40 минут.
Что ищем в таблице:
- пустые ячейки — страница без заголовка или без описания;
- одинаковые значения у разных адресов — частая ошибка там, где заголовок задан шаблоном;
- заголовок первого уровня, которого нет или которых несколько;
- заголовки вида «Главная», «Услуги», «Страница 2».
Заголовки в порядке, когда в таблице нет пустых ячеек и нет двух страниц с одинаковым заголовком.
Шаг 7. Проверить мобильную версию и скорость#
Проверка делается с телефона и на мобильном интернете. Домашний Wi-Fi здесь врёт: именно на слабом канале сайт видит большая часть посетителей.
На что смотреть: помещается ли содержимое в ширину экрана; читается ли текст без увеличения; нажимаются ли кнопки и поля форм пальцем; работает ли номер как ссылка на вызов; не перекрывает ли всплывающее окно содержимое сразу после загрузки.
Скорость измеряется грубо, но честно: засеките, за сколько секунд появляется читаемый первый экран. {{ПРОВЕРИТЬ: актуальные пороговые значения показателей скорости загрузки и названия метрик в отчётах, источник — справка сервисов измерения}}
Телефон проверен, когда вы прошли по трём основным страницам с него и записали, что мешает. Список из трёх пунктов полезнее любого балла из сервиса.
Сколько времени это занимает#
| Этап | Время | Стоимость |
|---|---|---|
| Адрес сайта, зеркала, сертификат | 15–20 минут | 0 ₽ |
| robots.txt и карта сайта | 20–30 минут | 0 ₽ |
| Сверка трёх чисел | 15 минут | 0 ₽ |
| Коды ответа и переадресации | 30–60 минут | 0 ₽ |
| Дубли и канонические адреса | 40–60 минут | 0 ₽ |
| Заголовки страниц | 30–60 минут | 0 ₽ |
| Мобильная версия и скорость | 30 минут | 0 ₽ |
| Итого для сайта до 100 страниц | 3–5 часов | 0 ₽ |
Оценка по состоянию на момент подготовки материала. На сайте в тысячи адресов ручная проверка перестаёт работать: там нужен обходчик, и это единственное место, где платный инструмент экономит время.
Если не получилось#
| Что видите | Почему | Что делать |
|---|---|---|
| robots.txt не открывается | файла нет или сервер отдаёт ошибку | Создать файл в корне сайта; до этого остальные проверки бессмысленны |
| В карте адресов в разы больше, чем страниц | карта генерируется автоматически и включает служебные адреса | Ограничить генерацию рабочими разделами, мусорные адреса закрыть |
| Несуществующий адрес отвечает кодом 200 | система показывает заглушку вместо ошибки | Настроить корректный код ответа: иначе поисковик получает бесконечное число пустых страниц |
| На всех страницах одинаковый заголовок | заголовок задан шаблоном без данных страницы | Настроить шаблон так, чтобы в заголовок попадали услуга и город |
| Канонический адрес везде указывает на главную | ошибка в настройке или в плагине | Исправить первым делом: из-за этого из поиска пропадает весь сайт |
| Страница пустая при отключённых скриптах | содержимое подгружается на стороне браузера | Обсудить с разработчиком вывод основного содержимого в исходном коде |
Что делать дальше#
Если нашлись проблемы с индексацией — разберите их по причинам: четыре состояния страницы.
Если технически всё в порядке, а страниц под запросы нет — следующий шаг структура: сбор семантики.
Если сайт только открывается, пройдите её вместе с чек-листом перед запуском: там закрыты ещё коммерческие и юридические пункты.
Вопросы и ответы#
Как часто повторять проверку?
Полный проход — раз в квартал и обязательно после смены шаблона, переезда на другой хостинг или добавления раздела. Еженедельно достаточно смотреть диагностику и статистику обхода в Вебмастере.
Что делать, если ошибок нашлось три десятка?
Сортировать по уровню: сначала то, что мешает роботу загрузить страницы, потом дубли и коды ответа, потом заголовки, и только затем скорость. Правка мобильной вёрстки на сайте, закрытом в robots.txt, не даст ничего.
Нужны ли знания программирования?
Для проверки нет, для части исправлений да. Таблица находок — как раз то, с чем приходят к разработчику.