как сделать индексацию сделать в google

В этой статье мы расскажем как проиндексировать сайт в гугл за минимально возможное время.

Что такое индексирование Google и как оно работает?

Индексирование – добавление сайта и его страниц в базу данных Google. Благодаря чему ваш сайт отображается в результатах поиска.

Поисковик обнаруживает новый контент на сайте, переходя по различным гиперссылкам. Найдя новые веб-страницы, Google добавляет их в свою базу данных.

Как проверить, проиндексировал ли Google ваш сайт?

Есть два простых способа узнать, проиндексировал ли сайт в Google:

Далее мы рассмотрим несколько простых способов быстрой индексации сайта в Google:

Создайте и отправьте в поисковые системы файл Sitemap

Карта сайта – это список важных страниц сайта, представленный в формате XML.

С помощью Sitemap.xml вы помогаете поисковым роботам перемещаться по сайту, находить новый контент и индексировать веб-страницы. Это повышает видимость сайта в поиске и новых веб-страниц, которые еще не имеют обратных ссылок.

Удалите теги Nofollow для внутренних ссылок

В результате этого веб-страница не будет отображаться в результатах поиска. Чтобы преодолеть эту проблему, необходимо проверить внутренние ссылки и удалить теги nofollow.

Удалите ненужные теги Noindex

Теги Noindex сообщают Google об исключении веб-страницы из процесса индексации. В результате поисковая система не сохранит веб-страницу в своей базе данных и не отобразит ее в результатах поиска. Тег noindex расположен в разделе веб-страницы.

Для запрета индексации боту Google атрибут name будет включать googlebot.

Удалите этот тег, чтобы Google мог проиндексировать веб-страницу.

Еще один способ поиска тегов noindex – использование инструмента проверки URL-адреса в Search Console.

Если на веб-странице присутствует тег noindex, в http-заголовке «X-Robots-Tag» появится сообщение «обнаружено «Noindex».

Проверьте Robots.txt на наличие блокировки поискового сканирования

Этот код не позволяет поисковой системе сканировать сайт. Кроме этого URL-адрес веб-страницы не должен быть заблокирован, особенно для user-agent: googlebot.

Блокируйте или перенаправляйте веб-страницы низкого качества

Если на сайте тысячи записей, но большинство из них не несет для пользователей никакой пользы, Google сократит количество поисковых сканирований и индексаций площадки.

Если поисковый бот постоянно находит веб-страницы низкого качества, это замедлит обнаружение нового контента, появляющегося на сайте.

Чтобы избежать возникновения подобной проблемы, можно настроить редирект 301 для низкокачественных веб-страниц и перенаправить их на другие более качественные публикации.

Убедитесь, что нет дублирования веб-страниц

Наличие дублированного контента может быть еще одной причиной медленной индексации сайта. Если веб-страница дублируется, Google вряд ли ее проиндексирует.

Поделитесь своим контентом в социальных сетях

Чтобы ускорить индексацию сайта, делиться новыми публикациями в социальных сетях. Это повышает шансы на индексацию вашего сайта.

Например, Twitter, отлично подходит для популяризации контента. Google регулярно сканирует Twitter и даже демонстрирует соответствующий сниппет в результатах поиска.

Получите качественные обратные ссылки

Веб-страницы с высококачественными обратными ссылками будут иметь большее значение для Google, чем те, которые их не имеют. Когда сайт получает обратные ссылки с авторитетных площадок, Google сочтет его заслуживающим доверия и начнет быстрее индексировать контент ресурса.

Создание мощных внутренних ссылок

Если на сайте есть веб-страница, на которой нет внутренних ссылок, Google не сможет найти через нее другой контент. В результате этого для индексации остальных страниц сайта может потребоваться много времени.

На площадке должны быть веб-страницы, которые получают наибольшее количество трафика. Эти веб-страницы могут занимать хорошие позиции в поисковой выдаче Google и должны приносить пользу пользователям. Размещая в них гиперссылки на другие страницы сайта, вы создадите мощные внутренние ссылки.

Если у вас возникли проблемы с индексацией сайта в Google, воспользуйтесь советами, перечисленными в этой статье.

Пожалуйста, оставляйте свои отзывы по текущей теме статьи. Мы крайне благодарны вам за ваши комментарии, лайки, дизлайки, подписки, отклики!

Источник

Об индексировании

При индексировании данных в Google учитываются как запросы пользователей, так и соответствие контента нашим стандартам качества. Скорость индексирования во многом зависит от того, насколько легко обнаружить URL страниц. Если у нас не получится найти их, мы не сможем просканировать страницы, проиндексировать их и, как следствие, показать в результатах поиска. В этой статье рассказано, как добиться того, чтобы Google было проще найти ваш контент и проиндексировать его.

Различные методы управления контентом

Принимая меры, призванные помочь Google в поиске вашего контента, вы можете придерживаться как активного, так и пассивного подхода. У каждого из них есть свои преимущества и недостатки. Далее вы прочитаете о том, какие действия лучше предпринимать, чтобы ваши страницы занимали более высокие позиции в результатах поиска.

Пассивный подход

Даже если у вас нет карты сайта, наши поисковые роботы все равно стараются индексировать его контент полностью (при условии, что доступ к нему не заблокирован). Также они регулярно определяют, сколько страниц ссылается на ваш ресурс. Более подробная информация доступна в специальном руководстве.

Активное управление URL

Если вы предоставите карту сайта (то есть список его URL), мы сможем находить ваши страницы быстрее, так как не будем ограничены только ссылками с других ресурсов в Интернете. Как правило, карту сайта нужно размещать в том каталоге домена, доступ к которому есть у робота Googlebot.

Если несколько URL (например, AMP-страницы, HTML-страницы и мобильного приложения) содержат одинаковый контент, рекомендуется указать, как они взаимосвязаны. Это позволит определять, какую информацию с вашего сайта следует показать пользователю по его запросу (например, ссылку на приложение или AMP-страницу). Для этого выберите, какие страницы будут каноническими, а затем с помощью ссылок установите связи между ними и ресурсами с аналогичным контентом. Так вы позволите Google определять, какую информацию с вашего сайта следует показать пользователю по его запросу. Например, если он выполняет поиск с мобильного устройства, на котором установлено ваше приложение, то увидит ссылку на это приложение.

Отправка новых и обновленных URL в Google

Предыдущий вариант предполагает, что вы размещаете карту сайта на своем ресурсе и ждете, пока Google обнаружит информацию. Но вы можете и сами прислать нам список новых URL.

Чтобы мы могли быстро находить новые URL, достаточно создать карту сайта. Если вам нужно, чтобы мы повторно проиндексировали URL, контент которых обновился, предоставьте XML-карту сайта с временными метками.

Получив список URL, мы определим время их следующего сканирования. Сначала система проверит, есть ли указанные материалы на сервере, и только потом начнется процесс их индексирования.

Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see the Google Developers Site Policies. Java is a registered trademark of Oracle and/or its affiliates.

Источник

Что сделать, чтобы мой сайт видели поисковые системы

В этой статье мы расскажем, как добавить сайт в поисковые системы: как проиндексировать сайт в Яндексе и добавить сайт в поиск Google.

После публикации сайта позаботьтесь о том, чтобы пользователи могли найти его в Интернете. Если пользователь знает URL-адрес сайта, сделать это легко. Сложнее сделать так, чтобы сайт быстро находился через поисковые системы.

Возникает закономерный вопрос: «Я уже создал сайт, как его разместить в Интернете?». Это связано с индексацией сайта. Прежде чем понять, как добавить свой сайт в поисковики Яндекс и Google, разберемся, что такое индексация.

Бесплатный SSL-сертификат

Поисковые системы больше доверяют сайтам с SSL. Получите в подарок SSL-сертификат начального уровня на 1 год и хостинг на 2 месяца бесплатно при регистрации любого нового домена на сайте REG.RU.

Что такое индексация

Индексация сайта — это добавление его страниц в базу поисковых систем (поиск в Яндекс, Google, Рамблер, Yahoo, Mail, Bing и т.д.). Чтобы проиндексировать веб-страницы, поисковики отправляют на обход специальных роботов. Они анализируют HTML-код сайтов, учитывая:

В результате проверки роботы индексируют сайт, и он начинает отображаться в поисковой выдаче. Как добавить сайт на индексацию в поисковики, читайте ниже.

Почему сайта нет в Yandex и Google

Процесс индексации может занимать несколько недель. Представьте, какое количество новых сайтов нужно обойти роботам. Кроме того, не все страницы одного сайта индексируются одновременно. А если в коде есть то, что не удовлетворяет требованиям поисковых систем, индексация затянется.

Если вы только что разместили сайт в Интернете, он не будет сразу же отображаться в Яндекс и Google. Если вам нужно, чтобы сайт как можно быстрее отображался в поисковой выдаче, ускорьте индексацию вручную.

Ниже рассмотрим, как бесплатно добавить сайт на индексацию в поисковики.

Как ускорить процесс индексации сайта

Как сделать так, чтобы сайт стал быстрее видимым для поисковых систем? Нужно самому указать на свой сайт Яндекс и Google. Это делается через специальные панели, предназначенные для разработчиков сайтов: Яндекс.Вебмастер и Google Search Console. Прежде чем следовать инструкции о том, как разместить сайт в Гугл и в Яндекс, авторизуйтесь в нужной системе.

Как добавить сайт в Яндекс.Вебмастер

Чтобы добавить сайт в поисковую систему Яндекс, следуйте инструкции ниже:

Введите адрес сайта (доменное имя) и нажмите Добавить:

Размещение сайта в Яндекс.Webmaster

Подтвердите права на сайт. Сделать это можно через:

Мы рекомендуем добавить DNS-запись, так как это наиболее простой способ.

Кликните по вкладке «DNS-запись» и скопируйте значение TXT, которое нужно добавить:

Яндекс.Вебмастер: подтверждение прав на сайт

Определите, какие DNS-серверы прописаны для домена, по инструкции. От этого будет зависеть, где добавить TXT-запись:

если для домена указаны ns1.reg.ru и ns2.reg.ru, воспользуйтесь пошаговой инструкцией раздела «Помощь»;

если для домена указаны ns1.hosting.reg.ru и ns2.hosting.reg.ru, воспользуйтесь статьей.

Дождитесь обновления зоны домена.

Готово, вы добавили TXT-запись для подтверждения права на домен.

После подтверждения прав нажмите Проверить. Если права подтверждены корректно, вы увидите следующее:

как добавить сайт в поиск яндекса

После мы рекомендуем воспользоваться инструментом Переобход страниц. Через него можно задать, какие страницы сайта стоит проиндексировать в первую очередь.

Готово, вы ускорили индексацию сайта. Теперь вы знаете, как добавить сайт в Вебмастер.

Как добавить сайт в поиск Google

Как разместить сайт в Гугле, вы узнаете по инструкции:

Введите адрес сайта в первом блоке и нажмите Продолжить:

Как добавить url в поисковые системы

Скопируйте значение TXT-записи.

Определите, какие DNS-серверы прописаны для домена, по инструкции. От этого будет зависеть, где добавить TXT-запись:

если для домена указаны ns1.reg.ru и ns2.reg.ru, воспользуйтесь пошаговой инструкцией раздела «Помощь»;

если для домена указаны ns1.hosting.reg.ru и ns2.hosting.reg.ru, воспользуйтесь статьей.

Дождитесь обновления зоны домена.

Готово, вы добавили TXT-запись для подтверждения права на домен.

Если права подтверждены корректно, вы увидите уведомление. Нажмите Готово:

Готово, вы ускорили индексацию сайта. Теперь вы знаете, как добавить сайт в поисковики.

Источник

Индексация сайта в Google

Чтобы пользователи могли найти ваш сайт, поисковые системы должны его проиндексировать. После этого он будет доступен всем, кто введет в строку поиска соответствующий запрос. Рассказываем в статье более подробно о том, как добавить сайт в Google и избежать возможных ошибок.

Зачем поисковики индексируют сайты;

Почему это важно пользователям и компаниям;

Что влияет на индексацию;

Как проиндексировать сайт в Google;

Индексация сайта: зачем она нужна и как выполняется

Индексацию выполняют поисковые роботы. Они в автоматизированном режиме проверяют обновление контента на сайте. Считается, что среди всех поисковых систем именно Google выполняет проверку новых ресурсов быстрее всего. Тем не менее, на скорость работы роботов также влияет посещаемость сайта и частота обновления информации. Например, на новостные порталы, где контент обновляется постоянно и через короткие промежутки времени, роботы заходят до нескольких раз в день. Если информация обновляется реже, то индексация может проводиться 1-2 раза в неделю. Если содержание страницы не обновлялось давно, робот будет заходить на нее, но не чаще раза в неделю.

За одно посещение робот индексирует 20-30 страниц, чтобы не перегружать сервер. Если на сайте больше страниц, робот зайдет на него несколько раз.
Каждый поисковик устанавливает глубину индексации – то есть, на сколько уровней робот может опуститься, переходя по ссылкам одного ресурса. Как правило, он изучает верхние уровни и при достижении определенной метки покидает сайт. Это означает, что при разветвленной структуре некоторые вложенные страницы могут остаться непроиндексированными.

Ранжирование сайта после индексации

После того, как роботы закончат анализ страницы, они вносят всю информацию в базу данных каталога, ранжируют сайт и определяют его авторитетность. Показатели PageRank зависят от количества и качества ссылок, которые ведут на ресурс – чем больше ссылочная масса, тем выше рейтинг. Авторитетность страниц определяется по 10-балльной шкале. Если сайт набрал 4-5 баллов, то это хороший показатель.

Требования к сайту для индексации

Есть три основных фактора, которые влияют на индексацию.

Посещаемость ресурса. Содержание страниц должно соответствовать запросам пользователей в поисковике. Для этого в текстах и метатегах необходимо размесить ключевые слова.

Внутренняя оптимизация. Сайт должен иметь понятную и удобную для пользователей структуру. Необходимо, чтобы раздел контактов и обратной связи содержал релевантную информацию. Желательно размещать портфолио и отзывы. Все исходящие ссылки должны быть работающими.

Как добавить сайт на индексацию в Google?

Для того чтобы сайт появился в результатах поиска Google, не обязательно предпринимать какие-либо действия. Рано или поздно поисковые роботы найдут его и проиндексируют. Но, как мы говорили выше, боты перемещаются по сайту, переходя по ссылкам, и если ссылочной массы, ведущей на страницу, недостаточно, то пройдет довольно много времени, прежде чем роботы попадут на неё.

Чтобы помочь поисковым алгоритмам быстрее понять, как организован контент на вашем сайте, и точнее проиндексировать его, Google предлагает бесплатный инструмент Search Console. С его помощью можно подавать запросы на индексирование, узнать, как роботы видят сайт, выявить и устранить проблемы. В Google Search Console можно получить информацию, которая поможет улучшить взаимодействие ресурса с системами и пользователями.

Индексация сайта с помощью Search Console

Введите адрес главной страницы сайта и пройдите проверку, что вы не робот.

Подтвердите свои права на сайт. В инструкции Google предлагает 8 вариантов подтверждения и напоминает, что лучше иметь несколько запасных на случай, если основной перестанет работать.

После проверки в этом же разделе нажмите на кнопку «Отправить файл Sitemap ».

Как проверить, что сайт проиндексирован

Второй вариант проверки – вручную с помощью поискового оператора « site :». Введите в поисковую строку команду: site :[ url _сайта], чтобы получить данные о количестве проиндексированных страниц.

В автоматическом режиме можно выполнить проверку с помощь плагинов и букмарклетов – закладок браузера.

Возможные проблемы при индексации

Возможны две ситуации, при которых Google не проиндексирует ваш сайт:

В случае проблем с сервером. Вы увидите сообщение о том, что хостинг не отвечает на запросы системы, и не сможете выполнить процедуру. В этом случае повторите попытку позже, когда сайт снова заработает. Если проблемы с хостингом возникают систематически, подумайте о смене провайдера. Отсутствие ошибок на сайтах и стабильная их работа учитывается алгоритмами поисковых систем при ранжировании в выдаче. Кроме того, вряд ли вы захотите потерять клиентов из-за неработающего сайта.

Быстрая индексация в Google

С использованием файла Site m ap.xml. Он определяет скорость индексации новых страниц, поэтому ссылки на них нужно добавлять сразу же. Так роботы будут находить их быстрее. Рекомендуем использовать динамический Site m ap.XML, а не обновлять его вручную после каждой корректировки сайта.

С помощью оптимизации файла robots.txt. Этот файл позволяет задать поисковым роботам Google директивы, в соответствии с которыми они могут проиндексировать содержимое сайта. На скорость процесса особенно влияет директива Disallow. Она определяет, какие файлы, веб-страницы и разделы не нужно индексировать и благодаря этому роботы быстрее доходят до новых страниц.

Индексация сайта в Google – не самая сложная задача. Однако после индексации стоит заняться продвижением, а это уже требует комплексной и продолжительной работы.

Материал подготовила Светлана Сирвида-Льорентэ.

Источник

10 действенных способов заставить Google индексировать ваш сайт

Статистика статьи

Показывает, сколько различных веб-сайтов ссылаются на этот контент. Как правило, чем больше сайтов ссылаются на вас, тем выше вы ранжируетесь в Google.

Показывает ежемесячный рассчетный поисковый трафик на эту статью по данным Ahrefs. Фактический поисковый трафик (по данным Google Analytics) обычно в 3–5 раз больше.

Количество ретвитов этой статьи в Twitter.

Поделиться этой статьей

Если вы читаете эту статью, то это вам уже и так известно. Так что перейдем сразу к делу.

Эта статья поможет вам решить три проблемы:

Но сперва давайте убедимся, что мы имеем в виду одно и то же, когда говорим об «индексировании».

Что такое краулинг и индексирование?

Google находит новые страницы при помощи паука, который ползает по Всемирной паутине («краулинг» дословно означает «ползание») и добавляет страницы в свою базу данных — индекс. Этот паук называется поисковым роботом, а у робота Google есть собственное имя — Гуглбот (Googlebot).

Запутались? Давайте дадим определения основным терминам.

Вот видео от Google, в котором этот процесс подробно объясняется:

Когда вы ищете что-то в поисковике Google, он выдает все релевантные страницы из своей базы данных — индекса. Поскольку часто запросу могут соответствовать миллионы страниц, алгоритм ранжирования Google делает все возможное, чтобы отсортировать их так, чтобы первыми шли страницы, которые лучше всего отвечают запросу.

Тут важно понимать, что индексирование и ранжирование — это совершенно разные вещи.

Индексирование — это регистрация на участие в гонке, а ранжирование — это распределение призовых мест.

Нельзя победить в гонке, не зарегистрировавшись сперва.

Как узнать, есть ли ваш сайт в индексе Google

Откройте сайт Google и введите в поиск site:ваш_сайт.com

Это число примерно показывает, сколько страниц вашего сайта содержится в индексе Google.

Если результатов не будет, значит, страницы нет в индексе.

Стоит заметить, что если вы пользуетесь Google Search Console, то можете воспользоваться отчетом «Покрытие», чтобы получить более точные сведения о состоянии индексирования вашего сайта. Просто перейдите в раздел:

Google Search Console > Индексирование > Покрытие

Посмотрите на число действительных страниц (с предупреждениями и без).

Если эти числа в сумме отличаются от нуля, значит, по крайней мере часть страниц вашего сайта содержится в индексе Google. Если же оба числа равны нулю, то у вас серьезная проблема, поскольку ни одна страница сайта не проиндексирована.

В Search Console можно также проверить, проиндексирована ли конкретная страница. Для этого вставьте ее URL-адрес в Инструмент проверки URL.

Если страница проиндексирована, то сервис выдаст сообщение «URL есть в индексе Google».

Если нет — то «URL нет в индексе Google».

Как сделать так, чтобы Google индексировал ваш сайт

Обнаружили, что Google не индексирует ваш сайт или страницу? Попробуйте следующее:

Это полезно делать, когда вы публикуете новую статью или страницу. Так вы напрямую сообщаете Google о том, что добавили что-то новое на свой сайт и что поисковику следует взглянуть на это.

Однако непосредственный запрос не поможет решить глубинные проблемы, которые препятствуют индексированию старых страниц. Если это ваш случай, то пройдитесь по приведенному ниже списку, чтобы диагностировать и решить проблему.

Вот ссылки на каждую тактику — на случай, если вы пробовали часть из них:

1) Удалите блокирующие условия из файла robots.txt

Google не индексирует весь ваш сайт? Причиной может быть блокирующее условие в файле robots.txt.

Чтобы проверить эту возможность, перейдите по адресу ваш_сайт.com/robots.txt.

Посмотрите, нет ли в тексте одного из этих фрагментов:

Оба этих фрагмента сообщают Гуглботу, что ему нельзя сканировать страницы вашего сайта. Чтобы исправить проблему, просто удалите их. И всё.

Блокирующее условие в файле robots.txt может быть виновным и в том случае, когда Google не индексирует отдельную страницу. Чтобы проверить этот вариант, вставьте адрес страницы в Инструмент проверки URL в Google Search Console. Откройте раздел «Покрытие» и поищите ошибку «Сканирование разрешено? Нет: заблокировано через robots.txt».

Эта ошибка указывает на то, что страница заблокирована в файле robots.txt.

В таком случае поищите в файле robots.txt любые правила «disallow», относящиеся к странице или содержащему ее подкаталогу.

Важная страница заблокирована для индексирования в файле robots.txt.

Если нужно, удалите эти правила.

2) Удалите шальные теги noindex

Google не станет индексировать страницы, если попросить об этом. Так вы можете оградить некоторые страницы от публичного доступа. Есть два способа сделать это:

Способ 1: тег meta

Страницы с одним из этих тегов meta в секции не индексируются Google:

Это мета-тег robots, который сообщает поисковым системам, следует ли им индексировать данную страницу.

Чтобы найти на своем сайте все страницы с мета-тегом noindex, запустите сканирование в сервисе Site Audit от Ahrefs. Перейдите в отчет Indexability («Индексируемость»). Поищите предупреждения «Noindex page» («Неиндексируемая страница»).

Нажмите на одно из них, чтобы увидеть все такие страницы. Удалите мета-тег noindex со всех страниц, где он не нужен.

Способ 2: X‑Robots-Tag

Инструмент проверки URL в Search Console позволяет узнать, блокирует ли Google сканирование страницы из-за заголовка. Просто введите свой URL-адрес, а затем поищите ошибку «Индексирование разрешено? Нет: обнаружено значение ‘noindex’ в HTTP-заголовке X‑Robots-Tag».

Если вы хотите исправить эту проблему на своем сайте, запустите сканирование в сервисе Site Audit от Ahrefs, а затем примените фильтр «Robots information in HTTP header» («Информация для роботов в заголовке HTTP») в разделе Page Explorer:

Попросите своего разработчика исключить страницы, которые нужно индексировать, из числа тех, что возвращают такой заголовок

3) Добавьте адрес страницы в файл sitemap

Файл sitemap сообщает Google, какие страницы вашего сайта важны, а какие нет. Также он может рекомендовать, как часто следует повторно сканировать определенные страницы.

Google способен находить страницы на вашем сайте независимо от того, представлены ли они в файле sitemap, но хорошей практикой является указание важных страниц. В конце концов, нет смысла усложнять работу Google.

Чтобы проверить, указана ли страница в файле sitemap, используйте Инструмент проверки URL в Search Console. Если вы увидите ошибку «URL нет в индексе Google» и «Sitemap: н/д», значит, страницы нет в файле sitemap или индексе.

Не пользуетесь Search Console? Перейдите по URL-адресу своего файла sitemap — обычно этоваш_сайт.com/sitemap.xml — и поищите адрес страницы.

Либо, если вы хотите найти все сканируемые и индексируемые страницы, которых нет в файле sitemap, запустите сканирование в сервисе Site Audit от Ahrefs. Перейдите в Page Explorer и примените следующие фильтры:

Вы получите список страниц, которые следует добавить в файл sitemap. Когда вы это сделаете, сообщите Google о том, что вы обновили свой файл sitemap, перейдя по этому URL:

Только подставьте туда URL-адрес своего файла sitemap. Вы увидите что-то подобное:

Это должно ускорить индексирование страницы поисковой системой.

4) Удалите шальные теги canonical

Тег каноничности (тег canonical) сообщает Google о канонической версии страницы. Выглядит он так:

Большая часть страниц либо не имеют тега canonical, либо содержат так называемый автореферентный тег canonical. Он сообщает поисковой системе о том, что страница сама является канонической, а возможно, и единственной версией. Другими словами, вы хотите, чтобы эта страница индексировалась.

Но если на страницу затесался шальной тег canonical, он может направить Google на каноническую версию страницы, которая на самом деле не существует. В таком случае страница не будет проиндексирована.

Чтобы проверить такую возможность, воспользуйтесь Инструментом проверки URL от Google. Если тег каноничности указывает на другую страницу, то вы увидите предупреждение «Альтернативная каноническая страница».

Если такого быть не должно, и вы хотите, чтобы страница индексировалась, удалите тег каноничности.

Имейте в виду, что теги каноничности не всегда плохи. Чаще всего они добавляются не просто так. Если вы видите, что ваша страница содержит такой тег, проверьте страницу, которая указана как каноническая. Если окажется, что это и правда приоритетная версия страницы, которую нужно индексировать, то тег canonical следует оставить.

Если вы хотите быстро найти все шальные теги canonical на своем сайте, запустите сканирование в сервисе Site Audit от Ahrefs. Перейдите в раздел Page Explorer. Используйте такие настройки:

Они запустят поиск страниц в файле sitemap с неавтореферентными тегами каноничности. Если поиск с этим фильтром выдаст какие-либо результаты, вам следует разобраться с ними, поскольку вы наверняка хотели бы, чтобы эти страницы индексировались.

Высока вероятность того, что эти страницы либо содержат ошибочные теги каноничности, либо наоборот — не должны находиться в файле sitemap.

5) Проверьте, не является ли страница сиротой

Страницы-сироты — это такие страницы, на которые не ведет ни одной внутренней ссылки.

Поскольку Google находит новый контент, перемещаясь по Всемирной паутине от одной страницы к другой, он не может найти таким образом страницы-сироты. Точно так же их не смогут найти посетители сайта.

Чтобы найти страницы-сироты, просканируйте свой сайт при помощи сервиса Site Audit от Ahrefs. Затем откройте отчет Incoming links (Входящие ссылки) для ошибок «Orphan page (has no incoming internal links)» («Страница-сирота (не имеет входящих ссылок)»):

В нем показаны все индексируемые страницы, указанные в файле sitemap, на которые при этом не ведет ни одна внутренняя ссылка.

Чтобы это сработало, должны быть выполнены два условия:

Вы не уверены, что все страницы, которые вы хотите видеть индексированными, указаны в файле sitemap? Попробуйте следующее:

Все адреса, не найденные в процессе сканирования, принадлежат страницам-сиротам.

Вы можете решить проблему страниц-сирот двумя способами:

6) Почините внутренние nofollow-ссылки

Nofollow-ссылки — это ссылки с тегом rel=“nofollow”. Они препятствуют передаче показателя PageRank целевому URL-адресу. К тому же, Google не сканирует nofollow-ссылки.

По сути, использование атрибута nofollow заставляет Google не включать целевые ссылки в общий граф сети. Тем не менее, целевые страницы все равно могут попасть в наш индекс, если на других сайтах встретятся ссылки на них без атрибута nofollow либо если URL-адреса будут указаны в файле Sitemap.

Короче говоря, вам нужно убедиться, что внутренние ссылки на индексируемые страницы не должны иметь атрибута nofollow.

Для этого просканируйте свой сайт при помощи Site Audit от Ahrefs. В отчете Incoming links (Входящие ссылки) поищите индексируемые страницы с ошибками «Page has nofollow incoming internal links only» («На страницу ведут только внутренние nofollow-ссылки»):

Удалите атрибут nofollow из внутренних ссылок, если вы хотите, чтобы Google индексировал страницы, на которые они ведут. Если нет, то удалите страницы либо пометьте их тегом noindex.

7) Добавьте «сильные» внутренние ссылки

Google находит новый контент, сканируя ваш сайт. Если вы пренебрегаете созданием внутренних ссылок, то поисковик может и не найти некоторые страницы.

Одно из простых решений этой проблемы — добавить несколько внутренних ссылок, ведущих на нужную страницу. Разместить ссылки можно на любых других страницах, которые Google может сканировать и индексировать. Но если вы хотите, чтобы Google проиндексировал целевой контент как можно быстрее, то лучше всего разместить ссылку на одной из самых «сильных» страниц.

Почему? Потому что Google сканирует такие страницы чаще.

Для этого перейдите в Site Explorer от Ahrefs, введите адрес своего сайта, а затем откройте отчет Best by links (Лучшие по ссылкам).

В нем будут перечислены все страницы вашего сайта, отсортированные по показателю URL Rating (UR). Другими словами, он показывает первыми самые авторитетные страницы.

Пролистайте этот список, чтобы найти подходящие страницы, куда можно добавить внутренние ссылки на интересующую страницу.

Например, если мы хотим добавить внутреннюю ссылку на руководство по гостевому постингу, то руководство по линкбилдингу вполне подойдет для этого. Последняя страница очень кстати оказывается 11‑й по авторитетности в нашем блоге:

В следующий раз, когда Google будет сканировать эту страницу, он обнаружит новую ссылку и перейдет по ней.

Вставьте адрес страницы, на которой вы разместили внутреннюю ссылку, в Инструмент проверки URL от Google. Нажмите «Запросить индексирование», чтобы сообщить поисковой системе о том, что содержание страницы изменилось, и ее следует отсканировать заново. Это может ускорить процесс нахождения и индексирования той страницы, на которую ведет ссылка.

8) Убедитесь, что страница уникальна и обладает ценностью

Google, как правило, не индексирует некачественные страницы, которые не представляют ценности для пользователей. Вот что Джон Мюллер из Google говорил об индексировании в 2018 году:

Мы не индексируем все существующие URL-адреса, и это нормально. Сосредоточьтесь на том, чтобы делать сайт замечательным и вдохновляющим, и тогда у вас не будет проблем с индексированием.

То есть, если вы хотите, чтобы Google проиндексировал ваш сайт или страницу, их содержание должно быть «замечательным и вдохновляющим».

Если вы не находите технических причин отсутствия индексирования, возможно, виновником является отсутствие ценности. Поэтому нелишне будет взглянуть на страницу свежим взглядом и спросить себя, действительно ли эта страница имеет ценность и принесет ли она пользу тому, кто перейдет на нее из результатов поиска.

Если ответом будет «нет», значит, вам следует улучшить свой контент.

Вы можете использовать Site Audit от Ahrefs и URL Profiler, чтобы найти другие потенциально некачественные страницы, которые не индексируются. Для этого перейдите в раздел Page Explorer в Site Audit и установите такие настройки:

Так вы получите «слабые» страницы — индексируемые, но не приносящие в данный момент естественного трафика. Высока вероятность того, что они не проиндексированы.

Экспортируйте отчет, а затем вставьте все URL-адреса в URL Profiler и запустите проверку Google Indexation (Индексирование в Google).

Если вы выполняете эту проверку для большого числа страниц (больше 100), то рекомендуется использовать прокси. Иначе вы рискуете тем, что Google забанит ваш IP-адрес. Если вариант с прокси не подходит, то введите в поиск Google «массовая проверка индексации в google бесплатно». Есть целый ряд инструментов, но в большинстве из них нельзя проверить более 25 страниц за раз.

Проверьте качество страниц, которые не индексируются. Улучшите качество, где это необходимо, и запросите индексирование в Google Search Console.

Также следует проверить возможность дублирования контента. Google старается не индексировать страницы-копии и очень похожие страницы. Загляните в отчет Content quality (Качество контента) в сервисе Site Audit, чтобы проверить этот вариант.

9) Удалите некачественные страницы (чтобы оптимизировать «краулинговый бюджет»)

Слишком большое число некачественных страниц на сайте приводит к пустой трате краулингового бюджета.

[Страницы-с-низкой-ценностью] отвлекают на себя активность сканирования от страниц, которую действительно имеют ценность, что способно приводить к значительным задержкам в обнаружении хорошего контента на сайте.

Представьте, что учитель проверяет сочинения, одно из которых — ваше. Если ему нужно оценить десять сочинений, то он довольно быстро доберется до вашего. Если сочинений будет сто, то ему потребуется гораздо больше времени. Если их будут тысячи, то нагрузка будет слишком высокой, и учитель может вообще никогда не добраться до оценки вашего сочинения.

В Google заявляют, что «краулинговый бюджет […] — это не то, о чем большинству стоит беспокоиться», и что «если на сайте меньше нескольких тысяч адресов, то большую часть времени он будет сканироваться эффективно».

Тем не менее, удаление некачественных страниц с вашего сайта никогда не повредит. Это только пойдет на пользу краулинговому бюджету.

Вы можете использовать наш шаблон аудита контента, чтобы найти потенциально некачественные и нерелевантные страницы, которые можно удалить.

10) Получите качественные обратные ссылки

Обратные ссылки сообщают Google о том, что страница, на которую они ведут, важна. Раз кто-то дает на нее ссылку, значит, у нее должна быть некая ценность, верно? Поэтому Google индексирует страницы с обратными ссылками.

Для полной прозрачности Google индексирует не только страницы, имеющие обратные ссылки. Есть множество (миллиарды) проиндексированных страниц без обратных ссылок. Но поскольку Google считает страницы с качественными ссылками более важными, поисковик будет быстрее и чаще сканировать такие страницы, чем те, у которых нет обратных ссылок. То есть, индексирование страниц с качественными обратными ссылками происходит быстрее.

В нашем блоге есть много материалов по созданию качественных обратных ссылок.

Ниже приведены ссылки на некоторые из них.

Индексирование и ранжирование — это разные вещи

Наличие вашего сайта в индексе Google не означает, что он будет попадать в выдачу и приносить трафик.

Индексирование означает только то, что Google известно о существовании вашего сайта. Это не означает, что ваш сайт будет показан в топе выдачи по подходящим запросам.

Тут-то и вступает в дело SEO — искусство оптимизации веб-страниц для попадания в топ выдачи по определенным запросам.

В общих чертах поисковая оптимизация (SEO) включает в себя:

Вот видео, которое поможет разобраться в основах SEO:

…И несколько статей:

Напоследок

Есть только две возможные причины, почему Google не индексирует ваш сайт или веб-страницу:

Вполне возможно, что имеют место обе эти проблемы. Но, по моему опыту, технические проблемы встречаются гораздо чаще. Технические проблемы также могут стать причиной автоматического создания индексируемого некачественного контента (например, проблемы с фасетной навигацией). Это нехорошо.

Но проход по приведенному выше списку в девяти случаях из десяти должен решить проблемы индексирования.

Только не забывайте, что индексирование и ранжирование — это разные вещи. Выполнение поисковой оптимизации по-прежнему жизненно необходимо, если вы хотите вывести свои страницы в топ выдачи по подходящим поисковым запросам и привлечь стабильный поток естественного трафика.

Источник