Юлия Торчинская
Мар 25, 2020 | Время чтения: 14 мин

Чем быстрее страницы вашего сайта проиндексирует поисковик, тем быстрее они попадут в выдачу.

У Google на процесс индексирования уходит от пары минут до семи дней, Яндексу на это понадобится от недели до месяца. Заранее определить сроки индексации никто не может — все зависит от вашего сайта. Но есть несколько способов ускорить процесс. 

Методы быстрой индексации особенно пригодятся сайтам:

  • с большим количеством страниц;
  • которые часто обновляют свой контент;
  • владельцы которых внесли очень важные правки и хотят тут же видеть обновленные страницы в выдаче.

Перейдем к сути — что может сделать владелец сайта, чтобы поисковики как можно быстрее проиндексировали его сайт. 

1. Отправьте страницы на индексацию в Google Search Console и Яндекс.Вебмастер

Чтобы страницы как можно быстрее попали под радар поисковиков, используйте сервисы самих поисковиков — Google Search Console и Яндекс.Вебмастер. Они помогают владельцам сайтов следить за состоянием индексации, изучать ошибки во время сканирования и оптимизировать сайты. 

Google Search Console

Первые шаги в работе с Google Search Console — добавить туда свой ресурс и подтвердить право собственности. Начать можно здесь, используя подсказки. Первые данные о вашем сайте можно будет увидеть в консоли уже через пару дней.

Чтобы проверить статус индексации новой страницы, выберите на левой панели «Проверка URL» или введите нужный URL-адрес в поисковое поле сверху. Вот так просто. 

проверка URL в Google

После отправки URL на проверку вы увидите, проиндексирована ли эта страница, а также ошибки, связанные с AMP, разметкой и индексацией.

Если страница не проиндексирована, вы можете запросить визит робота Googlebot и отслеживать статус индексирования. 

проверка статуса ссылки

Инструмент «Проверка URL» подходит для индексации как новых страниц, так и тех, которые вы обновили.  

Яндекс.Вебмастер

Начало работы с вебмастерской Яндекса такое же, как в Google: добавляете туда свой сайт и подтверждаете права. После этого сайт автоматически попадает в очередь на индексирование. Обычно это занимает до 2 недель.

Как только данные по вашему сайту появятся в Яндекс.Вебмастере, вы сможете отправить нужные страницы на переиндексацию. 

Для этого на левом меню откройте вкладку «Индексирование» → инструмент «Переобход страниц». Вставьте нужные вам URL в поле и отправьте список на переиндексацию. 

переобход страниц в яндекс

Дневной лимит на добавление URL индивидуальный для каждого сайта и определяется автоматически — Яндекс не рассказывает, как его рассчитывает.

2. Используйте преимущества карты сайта 

Карта сайта XML служит навигатором для поисковых роботов, и это можно использовать для ускорения индексации. 

Карта помогает поисковым роботам быстрее находить страницы сайта и быстрее их индексировать. То есть, чтобы сообщить поисковикам о том, какие страницы на вашем сайте доступны для сканирования, добавьте их в файл sitemap.xml, а ссылку на сам файл — в специальный раздел панели для веб-мастеров (ниже добавлю инструкцию). 

Карта XML для поисковых систем — рекомендация, а не строгая инструкция. Она не гарантирует, что все добавленные страницы будут проиндексированы, но может действительно помочь большим сайтам быстрее и полнее проиндексироваться.

Несколько советов по созданию карты

Чтобы карта лучше сработала, она должна быть хорошо структурирована и размечена для поисковика.

Отмечайте обновленные страницы с помощью тега <lastmod> для добавления действительной даты последнего изменения, а не одной и той же даты для всех страниц.

Укажите приоритетность страниц для сканирования с помощью тега <priority> (от 0 до 1) и частоту изменений страницы (с помощью тега <changefreq>). Так поисковики получат полную информацию о вашем ресурсе. Но учтите, что частота изменений страницы может не соответствовать тому, как часто ее будут сканировать поисковые роботы. Google в настоящее время не учитывает атрибуты <priority> и <changefreq>, и поэтому их не обязательно добавлять. Что касается Яндекса, он не говорит, что игнорирует эти теги — они просто указаны как необязательные.

Создайте отдельные карты сайта для изображений, видео, новостей, если на вашем сайте много таких материалов. Такое сегментирование поможет поисковым роботам найти контент, который сложно обнаружить с помощью обычных методов сканирования (например, он загружается через JavaScript). На большом сайте отдельные карты могут пригодиться даже для разделов и подкатегорий.

Создайте несколько карт сайта, если у вас больше 50 000 страниц или размер карты больше 50 МБ. Созданные карты нужно поместить в один индекс, в котором будут ссылки на все созданные XML-файлы.

Как создать карту сайта и добавить ее в панели веб-мастеров

Создать XML-карту помогут разные веб-инструменты и программы. Эта опция есть и в SE Ranking — в разделе «Анализ сайта».

карта сайта в se ranking

В этом инструменте можно выбрать, какие типы страниц включить в карту, указать частоту изменения страниц и приоритет сканирования для страниц разного уровня.  

Файл с картой нужно добавить на сам сайт (загрузить в корень сайта https://yoursite/sitemap.xml), а затем отправить в Google и Яндекс. 

Чтобы отправить карту в Google Search Console, укажите ссылку на размещенную на вашем сайте карту. Сделать это можно в разделе «Файлы Sitemap».

файлы sitemap в google

Как только карта сайта будет просканирована роботами, вы получите отчет о том, какие страницы сайта попали в индекс поисковика и какие ошибки были при этом обнаружены.

В Яндекс.Вебмастере все очень похоже. Сначала нужно перейти в раздел «Индексирование», открыть вкладку «Файлы Sitemap» и указать ссылку на файл с вашей картой в формате xml. В течение 2 недель Яндекс обработает отправленный файл и сможет проиндексировать рекомендованные вами страницы.

3. Соберите качественные обратные ссылки

Чем больше качественных обратных ссылок у вашего веб-сайта, тем больше причин у поисковых роботов обратить на него внимание. Ведь если кто-то ссылается на ваши страницы, значит, они кому-то важны.   

Для индексации лучше всего работают ссылки из соцсетей и новостных порталов. Дело в том, что они популярны, часто обновляют контент и, тем самым, «стимулируют» поисковых роботов как можно чаще сканировать ресурс. Если ваша ссылка появилась на таком сайте, ее, скорее всего, быстро обнаружит поисковый робот ― шансы есть даже у nofollow-ссылок.

Кстати, в этом году Google изменил правила для nofollow-ссылок. С 1 марта 2020 атрибут nofollow становится рекомендательным. Это значит, есть вероятность, что поисковик будет переходить по nofollow-ссылкам и индексировать их. 

Как же получать качественные ссылки с других ресурсов? Начните с разработки стратегии по получению бэклинков. Несколько идей: разместите ссылку на ваш ресурс на тематических форумах, сервисах вопросов и ответов, сайтах-агрегаторах и т.д. Пробуйте все подходящие (и законные) способы

Если идеи по получению ссылок уже закончились, можно подсмотреть их у ваших конкурентов — собрать площадки для потенциального размещения бэклинков из ссылочного профиля сайта-конкурента. С этим поможет разобраться инструмент «Анализ обратных ссылок» от SE Ranking. 

Что нужно делать? Все просто — зарегистрируйте бесплатный пробный аккаунт, откройте «Анализ обратных ссылок» и введите в поисковое поле URL домена конкурента. 

анализ ссылок конкурента

Увидите список сайтов, которые ссылаются на вашего конкурента. Сможете оценить контекст, в котором дана ссылка, якорный текст и параметры ресурса. Все нужные данные в одной таблице — так отобрать доноров ссылок гораздо быстрее. 

Отдельно стоит сказать о соцсетях.
Поисковые роботы активно «мониторят» соцсети, потому что новые материалы там появляются каждую секунду. Чтобы использовать эту особенность для своего сайта, нужно укрепить его присутствие на социальных площадках. 

Просто добавить ссылку на сайт в шапку профиля не достаточно. Чтобы поисковой робот заинтересовался страницей компании, она должны быть популярной — иметь подписчиков, лайки, комментарии и репосты. 

Еще ссылки на сайт и страницы можно размещать в постах, комментариях, описаниях к мультимедийным файлам, заметках, личных профилях (например, как место работы или партнерство), группах и сообществах (как ваших, так и чужих по вашей теме). Главное позаботиться о том, чтобы ссылки были к месту. 

ссылка в фейсбук

На первом месте по скорости сканирования ссылок Twitter — он быстро индексируется и Google, и Яндекс. Также поисковики индексируют ссылки с активных страниц в Facebook. Тоже самое с Вконтакте — чем больше будет набираться подписчиков, которые лайкают и репостят записи, тем скорее вы привлечете внимание поисковых роботов. 

Для Яндекса хорошо работает постинг в связках соцсетей — это ВК + Twitter, также можно добавлять ссылки на новые страницы в LiveJournal, LiveInternet, Diary.Ru.

Общее правило индексации разных соцсетей поисковиками — чем больше социальной активности вы привлечете на свои публикации, тем больше у вас шансов «пригласить» краулеров соцсетей. А они ходят в гости парами, приглашая с собой на ваши страницы роботов поисковых систем.

4. Увеличьте скорость загрузки сайта 

Есть такой понятие — краулинговый бюджет. Оно означает максимальное количество страниц, которое поисковой робот может просканировать за один визит. И чем дольше грузятся ваши страницы, тем меньше поисковые роботы просканируют за один раз. 

Именно поэтому скорость загрузки так важна для индексации страниц. 

Вы можете оценить скорость загрузки любой страницы на вашем сайте с помощью инструмента PageSpeed Insights. Он покажет вам данные по скорости, что можно улучшить и сколько времени вы сэкономите при дальнейших загрузках, если исправите обнаруженные ошибки. 

скорость загрузки в page speed insights

Если вы хотите узнать скорость всех страниц сайта, перейдите в Google Search Console → Улучшения → Отчет о скорости загрузки. Страницы будут разделены по группам — с низкой, средней и высокой скоростью для компьютера и мобильных.

Посмотрите на страницы «с низкой скоростью» — увидите, какие проблемы поисковик обнаружил при сканировании. Устранив описанные проблемы, можно нажать «Проверить исправление» и следить за ходом проверки.

Яндекс позволяет узнать данные по загрузке сайта в Яндексе.Метрике в отчете «Время загрузки страниц». Перейдите в Отчеты → Стандартные отчеты → Мониторинг → Время загрузки страниц.

Здесь вы сможете проверить среднее время загрузки всего сайта, время загрузки каждой отдельной страницы и турбо-страниц. Данные в отчете показаны для каждого этапа загрузки страницы (обработка запросов к DNS, обработка HTTP-редиректов, продолжительность установки соединения с браузером, ответ сервера, время загрузки и парсинга HTML и т.д.). Обнаружив самый долгий этап, вы можете начать с оптимизации его загрузки в первую очередь.

5. Выстройте хорошую перелинковку и навигацию по сайту

Внутренняя перелинковка сайта построит ссылочные мостики для поисковых ботов и «поведет» их в нужном направлении — от одной страницы вашего сайта к следующей и т.д. Воспользуйтесь тем, что краулеры с большей вероятностью быстрее просканируют «популярные» страницы (с большим ссылочным весом и трафиком). И если на этих популярных страницах есть ссылки на новые, поисковики перейдут по ним и быстрее их просканируют. Чтобы это работало, нужно настроить правильную перелинковку.

Главное, чтобы внутренние ссылки были релевантными и не сбивали пользователей с толку. Но даже самая удачная перелинковка может со временем перестать работать — поэтому очень важно периодически проверять, как с ней обстоят дела на вашем сайте. Рекомендую воспользоваться понятной рабочей инструкцией в нашем блоге, где по полочкам разложено, как проанализировать внутреннюю перелинковку вашего ресурса и найти все связанные с ней ошибки.

Другой важный момент — навигация на сайте. Она тоже влияет на скорость сканирования и индексации. Основные правила хорошей навигации: будьте логичными и последовательными, добавьте хлебные крошки, старайтесь сокращать путь к страницам до 3 кликов, откажитесь от меню на скриптах и flash, чтобы не усложнять процесс сканирования. 

Помните, что ваш сайт должен быть простым и понятным как для поисковых роботов, так и для посетителей.

6. Регулярно публикуйте и обновляйте контент

Поисковикам нет смысла заходить на ваш сайт, если на нем ничего не меняется. Если же свежий контент появляется на вашем сайте регулярно, поисковые боты тоже зачастят на ваш веб-ресурс.  

Вы можете создать график публикаций новых страниц на сайте (например, статей или обзоров в блоге) и придерживаться этого плана. Но не стоит публиковать новый контент ради «галочки» — он должен нести ценность для читателей вашего ресурса и не повторять то, что уже есть на сайте. 

Много похожих страниц негативно отразятся на индексации всего сайта, особенно если речь идет о больших ресурсах. Также не в вашу пользу сработают публикации, в которых есть неуникальный контент, плохой рерайт, мало смысла и много воды. 

Что можно предпринять, чтобы контент на вашем сайте помог с ускорением индексации:

  • публикуйте новый контент как минимум раз в неделю;
  • проставьте ссылки между новыми и старыми материалами;
  • обновляйте устаревшую информацию на сайте;
  • убедитесь, что публикуете качественный и уникальный контент.

7. Используйте сервисы пингования 

Пингование — еще один способ оповещения поисковых систем о новом контенте. Когда вы отправляете пинг (сигнал), вы как будто «призываете» поисковых роботов прийти и проверить новый контент на вашем сайте.

Специальные пинг-сервисы, например Pingomatic, Pingler, Pingoat, встраиваются в движок вашего сайта и автоматически отправляют пинги поисковым системам, ускоряя процесс индексации.

В админке WordPress предусмотрена такая функция — в настройках нужно выбрать Написание → Сервисы обновления — и там указать список пинг-сервисов.

При использовании таких инструментов обязательно добавляйте только свежий контент и важные обновления, а также не переусердствуйте с отправлением пингов, чтобы поисковики не решили, что вы их спамите. Если планируете использовать автоматическое оповещение, вам пригодятся специальные WP-плагины для кастомной настройки пингования ― как часто отправлять пинги, после каких правок и т.д.

8. Добавьте сайт в RSS-агрегаторы  

Сообщать поисковикам о новом контенте на вашем сайте можно через RSS-агрегаторы.

RSS — это формат для публикации новостей, который отлично подходит для отслеживания изменений на сайте без необходимости заходить на сам ресурс. Его используют для создания новостных лент (RSS feed), которые отображаются в самых разных RSS-агрегаторах, рейтингах и каталогах. 

Чтобы создать новостную ленту для вашего сайта (пример для WordPress), просто добавьте в адрес вашего ресурса слово feed — получится что-то вроде https://yoursite/feed

Следующий шаг — зарегистрировать вашу ленту в FeedBurner. Это сервис Google, который приводит все новостные ленты к стандартному формату и помогает ее настроить. 

Теперь вы готовы добавлять сгенерированную в FeedBurner ленту в различные агрегаторы и каталоги. 

Среди бесплатных RSS-агрегаторов, куда можно добавить свою новостную ленту:

Несколько рейтингов, куда можно добавить свою ленту:

Обычно для добавления ленты в агрегатор достаточно указать название самой ленты, ее описание, URL сайта, ваш email и категорию (тематику новостей). 

пример rss ленты

После добавления новостной ленты в RSS-агрегаторы все анонсы ваших материалов будут появляться там автоматически, привлекая поисковых роботов на ваш ресурс.

Действовать или ждать

Процесс сканирования и индексирования сайта требует вашего постоянного внимания и контроля. Если вы обнаружили проблемы с индексацией, не ждите, пока поисковики сами все решат. 

Нужно действовать! Пробуйте методы ускорения индексации, о которых я писала выше ― каждый из них может дать «зеленый свет» для поисковых роботов. Осталось только выбрать наиболее подходящий вариант или комбинацию способов для вашего ресурса. 

Уже пробовали какой-то из них или знаете другой рабочий прием? Пожалуйста, поделитесь с нами в комментариях. И пусть ни одна важная страница на вашем сайте не останется без индексации! 

14 комментариев
  1. хорошая статья! у наших сайтов проблем с индексацией не было больших — все решали в рамках консоли и еще соцсети юзали, но результаты с вк не очень — раньше твитер норм заходил

    1. Спасибо, что поделились своим опытом! Теперь вы знаете, где искать решения, если столкнетесь с медленным индексированием 😉

  2. отдельное спасибо автору за скрины с новой серч консоли, а то уже 10 стаьтью читаю с данными за 2014 год(

  3. Индексация процесс сугубо внутренний. Повлиять на это можно и часть советов рабочие, но…
    Регулярно обновлять контент не самый лучший совет. Сайты бывают разные и система Гугл хорошо это знает. Если я изготавливаю болты для эксклюзивных яхт, то тут сложно что-то постоянно добавлять и обновлять. Повторю, система гугл учитывает эту специфику и сайт в нужных странах по нужным запросам в топе выдачи с учетом конкуренции. Есть и менее нишевые темы, как, например, страница сервиса нашей веб студии разработка веб сайтов для стартапов. Что тут обновлять? А страница с нормальными позициями , естественно в индексе.

    Представители Гугл сами признают, что даже все страницы Википедии не в индексе. Просто нужно делать какой-то реальный эксклюзив, а не рерайтить избитые темы.

    1. Добрый день, спасибо за ваш комментарий!

      Рекомендации по ускорению индексации, о которых идет речь в статье, подходят для разных типов сайтов. То есть для одних ресурсов они очень хорошо сработают, а для других (как в вашем примере) будут некстати. Именно поэтому я собрала в одну статью список разных методов ускорения, чтобы для каждого ресурса можно было выбрать подходящий вариант.

      По поводу рерайта материалов – полностью согласна. Более того, сайты, которые следуют этому правилу и создают уникальный контент, как правило, не сталкиваются с проблемами индексации.

  4. Извиняюсь, но… многие и в том числе справочник гугла пишет, что тег указывать не имеет смысла, потому что поисковой робот в любом случае проиндексирует страницу независимо от её приоритета. Кроме этого уже настроен ежедневный обход тегом , что как бы сводит важность приоритета к нулю (мне нужно все индексировать, а не сначала важные, а потом менее важные). Так же в ТОП-конкурентов эти теги мной не замечены. Так, что мне посоветуете?

    1. Влад, добрый день! Спасибо за ваш комментарий.

      Действительно, Google в настоящее время не учитывает атрибуты и , и поэтому их не обязательно добавлять. Я дополню статью этим уточнением, спасибо, что обратили внимание.

      Что касается Яндекса, он не говорит, что игнорирует эти теги — они просто указаны как необязательные.

  5. Спасибо за статью!
    А разве пинг еще работает?
    В интернете так мало сервисов и большая часть из них не работает. Те которые вы указали больше для блогов подходят или для сайтов так же? Можно ли ими пользоваться для интернет-магазина?

    1. Егор, добрый день! Спасибо за ваш комментарий.

      Если вы хотите настроить нормальную индексацию сайта, то пингование — это не тот метод, с которого нужно начинать. Скорее, это еще одна дополнительная возможность улучшить индексацию после того, как вы уже сделали все основные шаги по настройке качественного индексирования. Ведь, например, если на большом сайте есть проблемы с перелинковкой, ни один пинг-сервис не поможет.

      Некоторые из способов, которые я перечислила в статье, подходят в первую очередь для блога — как вот пингование, RSS-агрегаторы, регулярная публикация контента. Но все остальные способы можно (и нужно) использовать для интернет-магазина.

  6. Много нового узнала для себя из статьи, спасибо! Вот еще одна полезная статья на эту тему: https://webmaestro.com.ua/ru/blog/pokrashchennia-indeksatsii/

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

БОЛЬШЕ ИНТЕРЕСНЫХ СТАТЕЙ
Экспертиза
Быстрые ссылки: что это, в чем польза для сайта и как их настроить в Google и Яндексе
Сен 02, 2020 Время чтения: 7 мин

Быстрые ссылки делают сайт более привлекательным и информативным в поисковой выдаче. Разбираемся в разных типах быстрых ссылок и механизмах их формирования — узнайте, как повысить свои шансы на их отображение и каковы возможности их настройки.

Анастасия Осипенко
Экспертиза
Как создать и продвигать одностраничник
Авг 28, 2020 Время чтения: 15 мин

Узнайте, как своими силами создать одностраничник и обеспечить максимальную конверсию. Хоть одностраничные сайты и сложно продвигать в поисковых системах, существуют проверенные методы, которые помогут вашей оптимизации.

Светлана Щегель
Экспертиза
Как защитить свой уникальный контент
Авг 25, 2020 Время чтения: 7 мин

Картинки, тексты и видео копировали, копируют и будут копировать. Предотвратить это не удастся ни одному владельцу сайта. Но попытаться защитить авторский контент все же стоит. Рассказываем, чем грозит копирование контента владельцу сайта, как понять, что контент своровали, и что делать, чтобы защитить себя от плагиаторов.

Светлана Щегель