Содержание
Коротко. Проверяйте по порядку, от дешевого к дорогому. Сначала выясните, есть ли страница в индексе, то есть в базе поисковика: смотрите отчеты Google Search Console и Яндекс Вебмастера, а не оператор site:. Затем исключите собственные запреты: robots.txt, noindex, код ответа сервера и canonical. Если запретов нет, прочитайте статус: «обнаружена» значит, что Google знает адрес, но еще не заходил на него, «просканирована» значит, что заходил и страницу пока не взял. Sitemap и IndexNow только сообщают об адресах и ничего не гарантируют. Новому сайту поисковики оставляют дни и недели, а ручные запросы ограничены квотой и ускоряют лишь отдельные адреса.
Страница в индексе или нет: что показывают кабинеты, а что оператор site:
Индексирование - сохранение страницы в базе поисковика после обхода ее роботом. В результатах могут появиться только страницы из этой базы. Не проверяйте это запросом site:вашдомен: Google пишет, что оператор site: возвращает не все проиндексированные адреса, а для адреса, которого в нем нет, советует Проверку URL.
Нужны два бесплатных кабинета, где вы подтверждаете права на сайт: Google Search Console и Яндекс Вебмастер. В них смотрите не «есть ли сайт», а статус каждого важного адреса.
- Google, отчет об индексировании страниц (Page indexing report): сколько адресов в индексе и почему остальные нет. Справка предупреждает: цель в том, чтобы в индексе были канонические версии важных страниц, а не все адреса подряд.
- Google, Проверка URL: адрес в индексе может появиться в результатах, но показ не гарантирован; адреса нет в индексе, и в результатах его не будет; адрес Google еще не видел.
- Яндекс, Индексирование - Страницы в поиске: какие страницы участвуют в поиске, какие исключены и почему. Проверка страницы, вкладка «Версия страницы в базе», дает статус одного адреса. Страница может обходиться роботом и все равно отсутствовать в поиске.
Не закрыли ли вы сайт сами: пять причин, которые проверяются без подрядчика
Google называет три условия: робот не заблокирован, страница отвечает кодом 200 (успех) и на ней есть содержимое, которое можно индексировать. Их выполнение индексирование не гарантирует, но без них ждать бессмысленно.
Таблицу можно прокрутить вправо
| Причина | Как проверить | Что сказано в справках |
|---|---|---|
| Запрет в robots.txt (файл правил для роботов) | Откройте вашдомен/robots.txt, найдите Disallow для нужных разделов | Файл управляет обходом, а не выдачей: закрытый адрес может попасть в результаты без описания, если на него ссылаются. Яндекс тоже допускает такие страницы в поиск. Если сам файл отвечает 5xx, Google первые 12 часов не обходит сайт |
| Директива noindex (не показывать страницу) | Найдите meta name="robots" в коде и X-Robots-Tag в заголовках ответа | Google и Яндекс исключают такую страницу из результатов. Если она закрыта в robots.txt, робот директиву не прочитает |
| Код ответа сервера | Проверка URL в Google, Проверка ответа сервера в Яндекс Вебмастере | Нужен 200. Google считает все 4xx, кроме 429, отсутствием страницы, а 5xx замедляют обход. Яндекс исключает страницы с ответом 3XX, 4XX и 5XX |
| Каноническая страница (главный адрес среди похожих) | Найдите link rel="canonical"; в Проверке URL сравните указанный вами и выбранный Google адреса | Если Google выбрал каноническим другой адрес, эту страницу он не покажет; у Яндекса есть статус «Страница не является канонической» |
| Доступность и содержимое | Откройте страницу в режиме инкогнито; найдите текст в исходном коде | Google называет причинами страницу входа, блокировку Googlebot и страницы из картинок или видео без текста |
Что значат статусы «обнаружена» и «просканирована, но не проиндексирована»
Это вывод редакции: что именно задерживает робота, по статусу не установить
«Обнаружена, не проиндексирована» (Discovered - currently not indexed): Google нашел адрес, но еще не обходил его, поэтому в отчете нет даты последнего сканирования. Типичная причина по справке: робот хотел зайти, но обход перенесли, чтобы не перегрузить сайт. Действий для этого статуса справка не называет.
Руководство Google по бюджету обхода, то есть по объему внимания робота к сайту, адресовано сайтам от 10 000 страниц с ежедневными изменениями и от миллиона с еженедельными (ориентиры). Для сайта в десятки страниц объяснение про нагрузку подходит слабо. Это вывод редакции: что именно задерживает робота, по статусу не установить.
«Страница просканирована, но пока не проиндексирована» (Crawled - currently not indexed): Google зашел и страницу не добавил. Она может появиться позже, повторно отправлять ее на обход не нужно. Причину справка не называет.
Таблицу можно прокрутить вправо
| Статус | Что значит | Что делать |
|---|---|---|
| Google: обнаружена, не проиндексирована | Адрес известен, но не обходился | Проверьте, что на него ведет ссылка с другой страницы (элемент a с атрибутом href) и что он есть в sitemap. Добивайтесь внешних ссылок: Google называет их отсутствие возможной причиной, почему сайт не виден |
| Google: просканирована, но пока не проиндексирована | Страница прочитана, в индекс не добавлена | Не отправляйте повторно. Сравните страницу с уже найденными по ее запросу: что нового она дает покупателю (предложение редакции) |
| Яндекс: страница признана малоценной или маловостребованной | Алгоритм решил не включать страницу в поиск; решение автоматическое, может измениться и нарушением не считается | Решите, нужна ли страница; если да, добавьте то, чего нет у похожих, и отправьте на переобход: она может появиться в поиске в течение двух недель после того, как робот узнает об изменении |
Пример: у нового сайта журнала 5 страниц из 60 в индексе Google на 3 ноября
Это участок проверки, а не установленная причина
Наблюдение журнала на 3 ноября 2026 года. Сайт customersprofit.com, который вы читаете, новый, в его sitemap 60 адресов. По Проверке URL в Search Console в индексе Google 5 из 60, у 48 статус «обнаружена, не проиндексирована», еще 7 адресов Google пока не знает. Googlebot, робот Google, обошел 5 страниц.
Что исключено: индексация поисковым ботам разрешена, в robots.txt для Googlebot и YandexBot стоит Allow: /. Все 60 адресов 3 ноября отвечали кодом 200 без noindex и без заголовка X-Robots-Tag, и до каждого можно дойти за два клика от главной.
Из 60 адресов Google знает 53, а заходил на 5. Это участок проверки, а не установленная причина: почему робот еще не пришел к 48 адресам, статус не объясняет. Цифры - срез на 3 ноября, не прогноз.
Нужны ли sitemap и IndexNow и что они делают на самом деле
Sitemap, карта сайта, - файл со списком адресов, которые вы считаете важными. Google называет его подсказкой без гарантии обхода. Особенно он полезен новому сайту с малым числом внешних ссылок; сайту примерно до 500 страниц с хорошей внутренней перелинковкой карта нужна меньше. Статус «Успешно» в Search Console значит, что карта загружена и обработана, а не что страницы в индексе.
IndexNow - открытый протокол, по которому вы сами сообщаете о новых, измененных и удаленных адресах: на сайте лежит файл с ключом, список адресов уходит запросом. Участвуют Bing, Яндекс, Seznam, Naver, Yep, Internet Archive и Amazonbot, принятые адреса они передают друг другу. Google среди участников нет. Ответ 200 значит лишь, что адрес получен.
Таблицу можно прокрутить вправо
| Способ | Кому сообщает | Лимит |
|---|---|---|
| Sitemap | Google, Яндекс | Файл до 50 МБ или 50 000 адресов (Google); обход не гарантирован |
| IndexNow | Bing, Яндекс и другие участники; Google не входит | До 10 000 адресов в запросе; суточные лимиты не раскрыты; при превышении ответ 429 |
| Запросить индексирование (Google) | Суточный лимит есть, значение не раскрыто | |
| Переобход страниц (Яндекс) | Яндекс | Суточная квота есть по описанию API, значение не раскрыто |
Сколько ждать новому сайту и как отправлять ручные запросы
Срока не обещает ни Google, ни Яндекс. Ориентиры Google: около недели для нового сайта или страницы, от нескольких дней до нескольких недель на обход, неделя-две на индексирование после запроса; мгновенным оно не бывает даже при запросе. Яндекс: сайты, как правило, могут появиться в поиске в течение двух недель после добавления в Вебмастер, а индексирование страницы после переобхода может занять от 3 до 7 дней.
Если срок вышел, вернитесь к запретам: справка Яндекса среди причин называет запрет в robots.txt или метатегах и ошибку сервера. Ручной запрос нужен для нескольких адресов. В Google это Запросить индексирование в Проверке URL (нужны права владельца или полного пользователя), в Яндексе Переобход страниц: робот посетит адреса в приоритетном порядке при следующем обращении к сайту.
Повтор запроса по тому же адресу Google ускорением не считает, а большие списки советует отдавать через sitemap.
- Исправьте причину: запрет, код ответа или canonical. Запрос по закрытой странице бесполезен.
- Выберите 3-5 адресов, которые должны приводить клиентов: главную, ключевую услугу, пару статей.
- Проверьте каждый в Проверке URL Google и Проверке страницы Яндекса, запишите статус и дату.
- Отправьте каждый адрес один раз: Запросить индексирование в Google, Переобход страниц в Яндексе.
- Вернитесь через 7-14 дней. Остальные адреса оставьте карте сайта и внутренним ссылкам.
Чего не делать: накрутка, массовые запросы и переиндексация ради переиндексации
Запрос сообщает о важной странице, но не устраняет причину. Пока причина не устранена, любое число запросов вернет тот же статус.
- Не повторяйте запрос по одному адресу. Google пишет, что повторы не ускоряют обход, а для статуса «просканирована, но не проиндексирована» повторная отправка не нужна. IndexNow просит не повторять неизмененные адреса и считает превышение лимита (ответ 429) возможным спамом.
- Не используйте Indexing API Google для обычных страниц: он создан для страниц с вакансиями и прямых трансляций, а за злоупотребление, включая несколько аккаунтов, доступ могут отозвать.
- Не покупайте накрутку и ссылки ради быстрой индексации. Яндекс считает любые накрутки поисковым спамом и предупреждает о риске существенных ограничений в ранжировании (пост блога для вебмастеров 2018 года, архивный). Google пишет, что нарушающие политики сайты могут ранжироваться ниже или не показываться вовсе.
- Не верьте обещанию гарантированной индексации: Google не гарантирует обход, индексирование и показ даже страницам, которые выполняют все требования.
Задание команде на час: таблица адресов со статусом, причиной и действием
Результат часа - таблица из 5-10 важных адресов, по каждому из которых вы знаете статус в обоих поисковиках и следующий шаг. Если страницы уже в индексе, а клиентов нет, следующий шаг разобран в материале «Сайт проиндексирован, а клиентов из поиска нет: что проверить».
Раскрытие интереса: издатель журнала связан с компанией WEBNOSTRA, которая оказывает услуги по SEO и GEO. Все проверки выше делаются в бесплатных кабинетах без подрядчика. Если поручаете работу, просите в отчете статусы адресов и даты, а не число отправок.
- Подтвердите сайт в Search Console и Яндекс Вебмастере и добавьте sitemap в оба кабинета.
- Составьте таблицу: адрес, статус в Google, статус в Яндексе, дата проверки.
- Проверьте запреты: robots.txt, noindex, код ответа, canonical, доступность без входа.
- Для каждого адреса со статусом «обнаружена» проверьте, ведет ли на него ссылка с другой страницы сайта.
- Для каждого адреса со статусом «просканирована» запишите, чем страница отличается от уже найденных по ее запросу.
- Отправьте по одному ручному запросу на 3-5 самых важных адресов.
- Назначьте повторную проверку через 7-14 дней и заранее решите, что будете менять, если статус не сдвинулся.
Главные решения
- проверяйте индекс по отчетам кабинетов, а не оператором site:, и сначала исключайте собственные запреты
- статус «обнаружена, не проиндексирована» читайте как «робот еще не пришел», а «просканирована, но не проиндексирована» как «пришел и пока не взял»: действия разные
- тратьте ручные запросы только на несколько важных адресов и не повторяйте их: квоты есть, а ускорения от повторов нет
Что обсудить с командой
- Статус главной и ключевых страниц проверен в Search Console и Вебмастере, а не оператором site:
- Для каждого важного адреса проверены robots.txt, noindex, ответ 200 и canonical
- Sitemap добавлен в оба кабинета, а IndexNow отправляет только измененные адреса
- Ручные запросы отправлены по одному разу на 3-5 адресов, даты записаны
- Повторная проверка назначена через 7-14 дней, решение на случай «без изменений» записано
Термины простыми словами
- Индексирование
- Сохранение страницы в базе поисковика после обхода; только страницы из базы могут попасть в результаты
- Обход (сканирование)
- Заход робота поисковика на адрес и загрузка страницы; Googlebot - робот Google
- Каноническая страница
- Адрес, который поисковик считает главным среди похожих и показывает в результатах
- noindex
- Директива в коде страницы или в заголовке ответа: не показывать страницу в результатах
- IndexNow
- Открытый протокол, по которому владелец сообщает участвующим поисковикам об изменениях адресов
Источники
- Google Search Central: технические требования к страницам (на английском)developers.google.com · проверено 03.11.2026
- Google Search Central: как работает Google Поиск (на английском)developers.google.com · проверено 03.11.2026
- Справка Search Console: отчет об индексировании страницsupport.google.com · проверено 03.11.2026
- Справка Search Console: инструмент проверки URLsupport.google.com · проверено 03.11.2026
- Справка Search Console: отчет о файлах Sitemapsupport.google.com · проверено 03.11.2026
- Google Search Central: как запросить повторное сканирование (на английском)developers.google.com · проверено 03.11.2026
- Google Search Central: как заблокировать индексирование директивой noindex (на английском)developers.google.com · проверено 03.11.2026
- Google Search Central: спецификация мета-тегов robots и X-Robots-Tag (на английском)developers.google.com · проверено 03.11.2026
- Google Search Central: введение в robots.txt (на английском)developers.google.com · проверено 03.11.2026
- Google Search Central: как Google читает спецификацию robots.txt (на английском)developers.google.com · проверено 03.11.2026
- Google Search Central: как коды ответа сервера влияют на обход (на английском)developers.google.com · проверено 03.11.2026
- Google Search Central: как указать каноническую страницу (на английском)developers.google.com · проверено 03.11.2026
- Google Search Central: что такое sitemap (на английском)developers.google.com · проверено 03.11.2026
- Google Search Central: создание и отправка sitemap (на английском)developers.google.com · проверено 03.11.2026
- Google Search Central: управление бюджетом обхода (на английском)developers.google.com · проверено 03.11.2026
- Google Search Central: рекомендации по ссылкам (на английском)developers.google.com · проверено 03.11.2026
- Google Search Central: как попасть в Google (на английском)developers.google.com · проверено 03.11.2026
- Google Search Central: оператор site: (на английском)developers.google.com · проверено 03.11.2026
- Google Search Central: Indexing API, быстрый старт (на английском)developers.google.com · проверено 03.11.2026
- Google Search Central: политики в отношении спама (на английском)developers.google.com · проверено 03.11.2026
- Справка Яндекс Вебмастера: как работает поиск Яндексаyandex.ru · проверено 03.11.2026
- Справка Яндекс Вебмастера: как сообщить о новых и измененных страницахyandex.ru · проверено 03.11.2026
- Справка Яндекс Вебмастера: как проверить, что важные страницы участвуют в поискеyandex.ru · проверено 03.11.2026
- Справка Яндекс Вебмастера: почему страницы исключены из поискаyandex.ru · проверено 03.11.2026
- Справка Яндекс Вебмастера: использование файла robots.txtyandex.ru · проверено 03.11.2026
- Справка Яндекс Вебмастера: метатегиyandex.ru · проверено 03.11.2026
- Справка Яндекс Вебмастера: файлы Sitemapyandex.ru · проверено 03.11.2026
- Справка Яндекс Вебмастера: поддержка протокола IndexNowyandex.ru · проверено 03.11.2026
- API Яндекс Вебмастера: отправление страницы на переобходyandex.ru · проверено 03.11.2026
- API Яндекс Вебмастера: проверка квоты на переобходyandex.ru · проверено 03.11.2026
- Блог Яндекса для вебмастеров: сомнительные услуги по продвижению и риски их использования (2018, архив)webmaster.yandex.ru · проверено 03.11.2026
- IndexNow: документация протокола (на английском)indexnow.org · проверено 03.11.2026
- IndexNow: частые вопросы (на английском)indexnow.org · проверено 03.11.2026
- IndexNow: список участвующих поисковых систем (на английском)indexnow.org · проверено 03.11.2026
- Документация WordPress: экран настроек чтения (на английском)wordpress.org · проверено 03.11.2026
- Карта сайта журнала: 60 адресов (проверена 3 ноября 2026)customersprofit.com · проверено 03.11.2026
- Файл robots.txt журнала (проверен 3 ноября 2026)customersprofit.com · проверено 03.11.2026