как проверить индексацию сайта в яндексе
Как проверить индексацию сайта в яндексе
В поисковую базу попадают не все страницы сайтов.
Причины могут быть разные. Например, поисковая система посчитала страницу дубликатом или поисковый робот просто не успел до нее добраться. Насколько полно проиндексирован ваш сайт, можно узнать на сервисе Яндекс.Вебмастер. Он покажет, сколько страниц проиндексировано и сколько из них попало в поиск. Вы сможете узнать также тематический индекс цитирования ресурса (тИЦ).
На сервисе Яндекс.Вебмастер можно увидеть основные показатели индексирования сайта.
Так, «Страницы в поиске», как и следует из названия, показывает, сколько страниц сейчас присутствует в поиске.
Показатель «Загруженные страницы» говорит о том, сколько страниц обошел поисковый робот. Таких страниц обычно гораздо больше, чем доступных в поиске. Дело в том, что часть страниц по разным причинам не попадают в поиск — например, если поисковая система считает их недостаточно качественными.
Какие страницы робот не стал добавлять в базу, можно узнать, перейдя по ссылке «Исключённые страницы». Чаще всего в этот список попадают страницы, которые отвечают ошибкой, удалены или запрещены к индексированию в robot.txt. Вы можете посмотреть, не оказалось ли среди них полезных и важных страниц.
Здесь же можно увидеть количество ссылок на ваш ресурс и тИЦ — тематический индекс цитирования. Они косвенно показывают авторитетность вашего ресурса.
Показатели индексирования сайта постоянно меняются.
Следить за изменениями можно в разделе «Индексирование» — «Статистика обхода».
Это помогает увидеть тенденции и вовремя на них отреагировать. Так, в большинстве случаев незначительное уменьшение количества страниц в поиске не должно вызывать беспокойства. Однако если при этом снижается количество переходов на сайт, лучше убедиться, что из поиска не выпали действительно важные и нужные людям страницы.
Графики позволяют понять также, успевает ли поиск за изменениями на сайте. Например, если вы добавили на свой ресурс несколько новых разделов, на графиках должен быть виден рост числа проиндексированных страниц. Если это не так, значит, новые разделы пока не доступны пользователям поиска.
Оцените динамику индексирования вашего сайта с помощью «Статистики» на Яндекс.Вебмастере. В чем причина такой динамики?
Что такое индексация сайта и как её проверить
Чем бы вы ни занимались, интернет-магазином, корпоративным порталом или лендингом, сделать сайт — лишь полдела. Дальше начинается самое интересное — продвижение. Индексация в этом деле — первый шаг на пути к топу поисковой выдачи. Рассказываем о том, как она происходит, как её проверить и ускорить.
Продвижение начинается с попадания страниц сайта в индекс поисковых систем (ПС). В эти базы данных Яндекс, Google и другие сервисы заносят информацию о содержимом страниц: использованных на них ключевых словах, размещённом на них контенте и другую информацию. Затем, когда пользователь обращается к ПС с запросом, сервис анализирует собранные данные и подбирает наиболее подходящие варианты ответа из списка проиндексированных страниц.
Чтобы ваш сайт проиндексировали, о нём нужно сообщить поисковикам. Это можно сделать несколькими способами.
1. С помощью инструментов поисковых систем. Почти у всех поисковиков есть собственные сервисы для веб-мастеров. У самых популярных из них на территории СНГ — Google и Яндекс — это Search Console и Яндекс.Вебмастер. В последнем даже есть специальный инструмент, позволяющий отправлять от 20 ссылок в день на страницы, которые нужно проиндексировать в приоритетном порядке.
Однако когда речь заходит не о нескольких десятках страниц, а об индексации сайта в целом, более эффективным решением будет добавить его в Яндекс и Google, а затем указать ссылку на карту сайта (файл Sitemap) в Search Console и Яндекс.Вебмастер. Тогда поисковики начнут самостоятельно и регулярно посещать ваш сайт и его новые страницы, чтобы затем добавить их в индекс. О том, как составить карту сайта вы можете узнать в руководстве Google. Что касается скорости попадания в выдачу, она зависит от многих факторов, но в среднем занимает одну—две недели.
2. С помощью ссылок с других сайтов. Быстро обратить внимание поисковых систем на вашу новую страницу можно, разместив ссылки на неё на других порталах. Если один из них будет новостным, скорее всего, страница быстро попадёт в выдачу, так как поисковики часто проверяют такие сайты и ссылки на них считают полезными. В некоторых случаях индексирование может занять меньше суток.
Попадёт ли страница в поисковую выдачу, зависит от её содержимого. Если с ней всё в порядке, робот проиндексирует её и в скором времени она появится в поисковой выдаче.
Есть несколько способов узнать были ли проиндексированы нужные вам страницы.
1. С помощью Яндекс.Вебмастера и Search Console. В первом для этого есть специальный инструмент — «Проверить статус URL». Достаточно добавить в него ссылку на нужную страницу, и в течение двух минут (иногда — нескольких часов) вы узнаете о статусе страницы в ПС.
Чтобы проверить статус страницы в Search Console, нужно ввести ссылку на неё в поисковой строке, которая отображается в верхней части экрана. На открывшейся форме вы узнаете, была ли страница проиндексирована поисковиком.
2. С помощью команды «site». Если вы не хотите добавлять сайт в сервисы для веб-мастеров, вы можете проверить сразу все попавшие в индекс поисковиков страницы с помощью специальной команды. Для этого введите в поиск Яндекс или Google запрос вида «site:mysite.ru» (без кавычек), и вы увидите все страницы, попавшие в выдачу.
3. С помощью сервисов. Самый простой способ проверить индексацию определённых страниц — воспользоваться для этого сторонними сервисами. Например, Серпхант позволяет проверить индексацию сразу 50 страниц в Яндекс и Google. Введите ссылки на них в специальную форму (не забудьте про http:// или https://) и нажмите «Начать проверку». Иногда инструмент долго выдаёт результаты проверки по одной—двум позициям, но существенно на функциональность это не влияет.
Ещё один сервис — плагин RDS Bar для Chrome, Firefox и Opera — позволяет получить подробную информацию о любой открытой в браузере странице, в том числе и о том, проиндексирована ли она.
Чем быстрее поисковые системы внесут страницу в индекс, тем быстрее на неё попадут посетители. Чтобы сократить время ожидания, следуйте следующим рекомендациям:
Не все страницы нравятся поисковым системам. Некоторым из них — например, служебным страницам и тем, которые пока что находятся в разработке, — не только нечего делать в выдаче, но и лучше вообще не попадаться на глаза поисковым роботам. Чтобы предотвратить попадание таких страниц в выдачу, лучше сразу запретить их индексацию. Сделать это также можно несколькими способами:
1. Использовать команду Disallow в файле robots.txt. В этом файле указываются правила для поисковых роботов: какие-то страницы в нём можно разрешить индексировать определённым ПС, а какие-то — запретить. Чтобы страница не попала в выдачу, используйте команду Disallow. Подробнее о работе с файлом robots.txt читайте в руководстве Яндекса.
Проверка индексации сайта онлайн
Если вы хотите узнать, как можно онлайн проверить индексацию сайта в поисковых системах, то следующий материал вам очень пригодится. Способов существует много, но мы раскроем те, что используются вебмастерами чаще всего.
Проверка индексации страниц сайта через поиск
Термином «индексация сайта» обозначают добавление ресурса или его материалов в базу данных поисковой системы. То есть, если страницы сайта проиндексированы, то при введении поискового запроса они окажутся в общей выдаче. Это именно то, чего добиваются вебмастера – чтобы материалы Интернет-ресурсов как можно быстрее оказались проиндексированы.
Чтобы быть уверенными в том, добавлен ли сайт в поисковую базу, выполняется проверка индексации сайта в Яндексе, Гугле и других поисковых системах. Эту проверку можно выполнять как ручным способом, так и автоматически.
Рассмотрим, как проверить проиндексирован ли сайт, используя при этом поисковый запрос. Здесь возможно несколько вариантов:
Помимо использования поискового запроса, есть и другие способы проверки индексации сайта – более простые, быстрые и результативные.
Проверка индексации с помощью операторов URL и SITE
Пожалуй, этот способ является самым лучшим. Можно в адресную строку браузера или поиск ввести запрос и при необходимости нажимать F5, чтобы следить, как обновляется информация. В одном окне также можно ввести несколько запросов подряд, обновлять страницу или нажимать Назад/Вперед и отслеживать изменения.
Как узнать проиндексирован ли сайт в Яндекс? Для этого необходимо воспользоваться оператором URL. Данный сервис также используется для Bing и Рамблера.
Для проверки индексации в Google используется оператор SITE. Используется код site:site.ru, где site.ru – это адрес сайта, на котором расположена необходимая страница.
Также в адресную строку Яндекса можно ввести http://yandex.ru/yandsearch?serverurl= и далее адрес той страницы, которая вас интересует.
UPD: На данный момент рекомендуется использовать запрос типа https://yandex.ru/search/?text=url%3Awww.host.ru%2F*
Отметим, что этот способ подобен использованию расширенного поиска с тем лишь отличием, что в данном случае метод более автоматизирован и нет необходимости еще куда-то заходить. Следует знать о том, что иногда могут возникать некоторые неточности в поисковых системах, если в поиск вводится зеркало сайта. Но это, в принципе, теоретически.
Теперь нужно уточнить кое-какие вопросы относительно быстробота. В Яндексе он есть. Его задача заключается в том, чтобы как можно быстрее проиндексировать страницы. Он посещает сайты, отмечает новый контент и уходит. Через какое-то время за ним приходит основной поисковый бот, который и выполняет анализ, классифицирует и расставляет по своим местам материалы. Бывает, что быстробот проиндексирует, а Яндекс потом выбрасывает контент из индекса.
В поисковой выдаче возле каждой ссылки указывается время проведения индексации. Редко возможны случаи, когда какие бы способы проверки индексации сайта не применялись, а найти его не удается, но через какое-то время статья появляется в индексе и указано время ее индексации, скажем 18 часов назад.
Быстробота еще нужно привлечь. Он поначалу просто так не появится на сайте. Если он еще не посещает страницы ресурса, то индексация может затягиваться и недели на три.
Проверка индексации страниц сайта в Яндексе через AddURL
Еще один способ, позволяющий узнать, попал ли в индекс определенная страница сайта, можно воспользоваться инструментом AddURL. Например, проверим, проиндексировался ли сайт в Яндекс. Для этого в аддурилке данной системы поиска вводим интересующий нас адрес страницы. После этого все станет ясно. Если страница уже находится в индексе, то будет выведена надпись «Указанный URL уже проиндексирован». Ну, а если ссылка еще не появилась в индексе, то напишет приблизительно следующее: «Адрес такой-то успешно добавлен. Его индексация и добавление в поиск будут осуществлены по мере обхода робота». Все это правдиво лишь в том случае, если вы не установили запрет для индексации вашего сайта.
С помощью этого метода также можно понять, если вдруг есть запрет на индексацию robots.txt. В аддурилке обязательно будет написано, если ссылка является зеркалом или она запрещена. Но это работает только в поисковике Яндекс.
Данный метод – достаточно неплох, однако, придется тратить время на неоднократное введение капчи.
Используем панель Вебмастера
Каждая поисковая система имеет свою панель инструментов, специально предназначенную для вебмастеров. С помощью этой панели можно увидеть общее количество проиндексированных страниц. Рассмотрим на примере самых популярных ПС (Яндекс и Google), как выполнять такую проверку.
Чтобы использовать панель инструментов Яндекс в данном контексте, нужно завести аккаунт (если его еще нет), зайти в панель и добавить в нее свой сайт. Там будет показано общее количество страниц, которые уже проиндексированы.
Для использования панели инструментов Google также нужно обзавестись аккаунтом, чтобы иметь возможность зайти в панель. В нее нужно добавить свой сайт и зайти на вкладку «Состояние / Статус индексирования». Здесь также будет показано количество проиндексированных страниц.
Нередко можно заметить, что панель Вебмастера Google может показать значительно большее количество проиндексированных страниц, чем панель инструментов Яндекс. Представим, что на сайте 70 уникальных страниц, которые проиндексировались. И, скажем, Яндекс насчитал приблизительно такое количество ссылок, а Гугл, например, 210. Получается, что Яндекс показал правильное число, а Гугл в 3 раза больше. Так в чем же дело? А дело в дублях страниц, генерируемых движком WordPress. Такие дубли поисковикам не по душе. Использование robots.txt позволяет игнорировать индексацию дублей страниц поисковыми системами. И если на Яндекс это действует, то с Гуглом в этом плане могут возникать проблемы, так как он может действовать по своему усмотрению.
Есть также специальный сервис Pr-cy.ru, позволяющий получить вебмастерам различные данные по сайтам – в том числе, число страниц, проиндексированных в Гугле и Яндексе. Чтобы узнать эту информацию, нужно посмотреть на две нижние колонки соответствующих поисковых систем.
Что помогает ускорить индексацию сайта
Чтобы страницы быстрее индексировались, нужно придерживаться главных правил:
В материале мы рассмотрели основные способы, позволяющие проверить, попали ли страницы сайта в индекс различных поисковых систем. Некоторые из них более эффективные, а какие-то – менее, но каждый из них имеет право на существование и использование.
Seo – проверка индексации текста и веса ссылок тест
Методы ускорения индексации сайта в яндексе
Быстрая индексация сайта в Гугле
Проверить картинки на уникальность
Популярные бесплатные CMS системы
Как скрыть персональные данные в поисковых системах?
Как проверить индексацию сайта и отдельных страниц в Яндекс и Google
Технические доработки под требования SEO и оптимизация структуры сайта – это первостепенные моменты в продвижении ресурса, но если поисковые системы не знают о нем, то есть он не проиндексирован, то продвижение невозможно.
Что же такое индексация? Это добавление поисковыми роботами собранных сведений о ресурсе в базы данных. Дальнейшее ранжирование происходит уже по проиндексированным страницам. Предлагаем несколько простых и понятных способов проверки страниц, которые «видят» поисковые системы.
Рассмотрим каждый вариант подробнее.
1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console
Бесплатный и достоверный способ с использованием сервисов для вебмастеров.
Яндекс.Вебмастер
В первую очередь выполняем авторизацию в аккаунте Яндекса и входим в сервис Вебмастер. Далее вводим url ресурса и нажимаем кнопку «Добавить».
Добавление сайта в вебмастер Яндекса
После прохождения верификации переходим в панель и нажимаем вкладку «Индексирование» – «Страницы в поиске». Тут представлены страницы веб-сайта, участвующие в поиске Яндекса.
Просмотр страниц в поиске Яндекса через панель для вебмастеров
Также количество загруженных и проиндексированных страниц можно посмотреть в сервисе на странице «Мои сайты».
Просмотр количества страниц в поиске на вкладке «Мои сайты»
Google Search Console
Аналогично вебмастеру Яндекса проходим авторизацию в аккаунте Google, входим в сервис search.google, вводим url сайта и нажимаем кнопку «Добавить ресурс».
Пример верификации в панели вебмастеров в Гугл
После подтверждения прав на сайт для проверки индексации ресурса в панели Вебмастера Гугл переходим во вкладку «Индекс» – «Покрытие».
Просмотр страниц в ПС Гугл через панель для вебмастеров
Нужно учитывать, что информация в Google Search Console примерная, так как в отчете показывается статистика после последнего обхода, то есть количество страниц может быть другим на текущий момент проверки.
Примеры проверки индексации сайта
На скриншоте – сайт, у которого нет проблем с индексацией в Яндексе
На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Яндекса
На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Гугл
2. Проверка количества проиндексированных страниц в ПС при помощи операторов
Применяя документный оператор «site» возможно увидеть примерное количество страниц в индексе. Для использования этого параметра введите в строке поиска «site:адрес_интересующего_сайта», например «site:https://www.bordur32.ru».
Пример использования оператора «site» в Яндексе
Пример использования команды «site» в Гугле
3. Анализ индексации сайта при помощи плагинов и расширений
Чтобы не вводить операторы в строке браузера перед url используется данный автоматизированный способ. Скачиваем бесплатный букмарклет для браузера (небольшой по размеру скрипт, сохраняемый в закладках) и кликаем на специальную иконку находясь на сайте.
Пример использования плагина SEO-tools
Установить расширение вы можете по ссылке
Пример использования расширения RDS bar
Установить расширение вы можете по ссылке
4. Отслеживание проиндексированных страниц с помощью online сервисов
Еще один способ проверки индексации это использование сторонних ресурсов. Например, переходим на сайт a.pr-cy.ru вводим url и нажимаем «Анализировать».
Скриншот проверки индексации сайта в a.pr-cy.ru
Индексацию сайта можно проверить и в других сервисах, например: seogadget.ru, xseo.in и других.
5. Программы для контроля индексации сайта
Существуют бесплатные (Site-Auditor) и платные программы (Semonitor) для анализа сайта и проверки страниц в индексе. Выбранное программное обеспечение скачиваем и устанавливаем на ПК. В строку ввода добавляем url проверяемого сайта.
Скриншот фрагмента анализа сайта в программе Site-Auditor
Проверка индексации страницы
Иногда требуется не только узнать сколько страниц проиндексировано в Яндексе и Google, но и нужно определить индексируется ли какая-то конкретная страница. Это можно сделать следующими способами:
1. В панели для вебмастеров:
Яндекс – следовать по пути «Индексирование» – «Проверить статус URL». В поле для ввода данных ввести либо полный урл интересующей страницы, либо путь от корня сайта начинающийся с «/». Далее нажать кнопку «Проверить».
Проверяемая страница в поиске Яндекса
Google – перейти во вкладку «Проверка URL» и ввести урл интересующей страницы.
Проверяемая страница проиндексирована в Google
2. Оператор «url»
В строке поиска вводим специальный оператор. Запрос будет выглядеть так: «url:адрес_интересующей_страницы».
Пример использования оператора «url» в ПС Яндекс
3. Оператор «info»
В поисковой системе Google можно воспользоваться оператором «info». Запрос в строке поиска будет выглядеть следующим образом: «info:адрес_интересующей_страницы»
Пример использования оператора «info» в ПС Гугл
Почему сайт может не индексироваться
В идеале страницы ресурса должны быть проиндексированы и их количество в поисковых системах должно быть примерно одинаковым. Но так бывает далеко не всегда. Рассмотрим причины мешающие индексации сайта.
Ошибки в файле robots.txt
Отсутствие файла sitemap.xml
Карта сайта (файл sitemap.xml) – это специальный документ расположенный в корневом каталоге, содержащий ссылки на все страницы ресурса. Этот файл помогает поисковым роботам оперативно и качественно индексировать ресурс. Поэтому в него нужно добавлять только те страницы, которые должны попасть в индекс.
Новый сайт
Процесс индексации нового ресурса занимает некоторое время. Поэтому в данном случае нужно просто подождать, не забывая контролировать процесс индексации.
Приватные настройки
В некоторых CMS, таких, как WordPress и Megagroup, существует возможность скрыть от индексации страницы через админку сайта, данные настройки могут стоять по умолчанию.
Тег «noindex»
Страницы могут быть закрыты от индекса в коде с помощью мета тега name=»robots» content=»noindex, nofollow» />. Нужно проверить его наличие и либо убрать из кода, либо заменить на «index» и «follow».
Мусорные страницы
Еще одной из причин может стать большое количество мусорных страниц, не предоставляющих полезного и уникального контента в рамках сайта. Такие страницы нужно закрывать от индексации, чтобы не возникали проблемы с индексированием ресурса и робот не тратил время на посещения этих страниц.
Выводы SEO-специалиста Веб-центра
Главная цель как владельца сайта так и SEO-специалиста добиться индексирования нужных страниц ресурса. Для этого нужно регулярно контролировать страницы в поиске Яндекса и Google, проверять сервисы для вебмастеров на наличие ошибок на сайте, наполнять его уникальным и полезным контентом, следить и оптимизировать скорость загрузки ресурса.
Для ускорения процесса индексации нужно подтвердить права на сайт в Яндекс.Вебмастер и Google Search Console и разместить в них ссылку на файл sitemap.xml, также можно отправлять на переобход важные страницы ресурса.