Страница опубликована, а в поиске её нет. Причин у этого немного, и они разбираются по порядку: от простых, которые проверяются за минуту, к содержательным, где нужна переработка материала.
Первое, что стоит сделать до всякой диагностики, — подождать. Индексация не мгновенная, и для нового сайта нормально ждать недели. Если статье 2 дня, проблемы может не быть вовсе, а все ваши действия сведутся к нервной проверке одного и того же.
Полезно сразу разделить две разные ситуации. Страницы нет в поиске совсем — это про индексацию. Страница находится по точной цитате из текста, но не находится по запросам — это уже про позиции, и лечится она другими средствами.
Сначала проверьте, что страница доступна#
Откройте адрес в браузере без сохранения истории. Страница должна открываться и отдавать нормальный ответ сервера, а не ошибку и не переадресацию на другую страницу.
Дальше посмотрите, что видит поисковый робот. Он читает исходный код, и если содержание подгружается скриптами уже после загрузки, робот может увидеть пустую страницу. Проверяется это просмотром исходного кода: если текста статьи там нет, проблема найдена.
Третье — скорость и доступность сервера. Если сайт отвечает медленно или периодически недоступен, обход откладывается. Разово это не страшно, систематически — приводит к тому, что новые страницы находят с большой задержкой.
И проверьте адрес: он должен быть постоянным. Страница, которая при каждом обновлении сайта меняет адрес, каждый раз начинает индексацию заново, а старые версии остаются висеть ошибками.
Отдельно стоит убедиться, что страница отдаётся одинаково всем. Иногда содержание закрыто авторизацией, региональной проверкой или всплывающим окном согласия, которое робот не может закрыть, — и вместо статьи он получает пустую заглушку.
Технические запреты индексации#
Вторая группа причин — сайт сам запрещает индексацию, и обычно об этом никто не знает.
Проверить нужно три места. Файл robots.txt: там мог остаться запрет с этапа разработки, закрывающий раздел или весь сайт. Служебный тег в коде страницы, запрещающий её показ в поиске. И указание канонического адреса: если оно ведёт на другую страницу, поисковая система считает вашу копией и в индекс не берёт.
Отдельно стоит проверить, не закрыт ли раздел целиком. Сценарий распространённый: блог сделали на поддомене или в подпапке, закрытой ещё во время разработки, а после запуска запрет не сняли.
Четвёртое место — заголовки ответа сервера. Запрет на индексацию иногда стоит там, а в коде страницы его не видно, поэтому при беглой проверке его пропускают. Разбор этих настроек — в материале про файл robots.txt.
Качество, дубли и полнота#
Третья группа — страница доступна и не запрещена, но поисковая система решила её не брать. Так бывает, и это самая неприятная категория, потому что сообщений об этом никто не присылает.
Основных поводов три. Слишком мало содержания: короткая заметка без самостоятельной ценности часто остаётся вне индекса. Дублирование: текст повторяет другую страницу вашего же сайта или широко растиражированный материал. И бессодержательность: текст формально большой, но не отвечает ни на один запрос целиком.
Отдельно стоит внутреннее дублирование. Две статьи на близкие темы конкурируют, и поисковая система оставляет одну. Лечится это объединением: вместо двух средних материалов делается один полный, а второй адрес переадресуется на него. Как не создавать такие пары, разбираем в материале про дубли страниц.
И последнее в этой группе — страница-сирота. Материал, на который не ведёт ни одна ссылка с сайта, для поисковой системы почти не существует: его неоткуда найти и нечем подтвердить важность.
Порядок действий при проблеме#
Сначала убедитесь, что прошло достаточно времени. Для молодого сайта 2–3 недели ожидания — норма, и суетиться раньше смысла нет.
Дальше по списку. Проверьте доступность страницы и наличие текста в исходном коде. Снимите технические запреты, если нашли. Поставьте на статью хотя бы 2 внутренние ссылки с уже проиндексированных страниц. Отправьте адрес на переобход в панели вебмастера и добавьте его в карту сайта.
Если после этого страница не появляется в течение месяца, причина в содержании. Здесь помогает честный вопрос: что есть в этом материале такого, чего нет в десяти уже проиндексированных страницах по той же теме. Если ответа нет, дорабатывать нужно текст, а не настройки.
И различайте две ситуации. Страницы нет в индексе — это одна проблема. Страница в индексе, но не в топе — совсем другая, и решается она содержанием и ссылками, а не переобходом. Ускорить сам процесс попадания помогают приёмы из материала про ускорение индексации.
Вывод: порядок диагностики#
Разбирайте причины в порядке возрастания сложности: время, доступность, запреты, содержание. Обратный порядок приводит к переписыванию хорошего текста при закрытом robots.txt.
Минимальный набор действий для новой статьи, который снимает большинство проблем заранее: постоянный адрес, отсутствие запретов, 2 внутренние ссылки с работающих страниц, попадание в карту сайта и отправка на переобход в день публикации.
Если всё сделано, а страницы нет больше месяца, вопрос перешёл в область качества материала. Настройками он не решается, и честнее признать это сразу, чем ещё месяц отправлять адрес на переобход.