Как ускорить индексацию сайта в Яндексе и Google

Как ускорить индексацию сайта в Яндексе и Google: 5 способов

Всем хочется, чтобы опубликованные материалы мгновенно попадали в индекс и сразу же приводили посетителей. Особенно это актуально при продвижении в Яндексе, которому порой требуется несколько апдейтов для индексации новой страницы.

А что если за это время истечет актуальность статьи? Получается, что вы зря потратили ресурсы на ее создание. Если вы хотите, чтобы статьи уже спустя пару часов после публикации были доступны в поиске, следуйте представленным ниже советам.

Почему не индексируется сайт? Ускорить индексацию сайта?

Проблемы с индексацией сайта бывают трех типов:

  • страницы долго индексируются(зачастую причина — в низкой частоте обновления контента на сайте, и робот просто реже его посещает; также проблема может крыться в плохой SEO-оптимизации, некачественном контенте и сайте в целом);
  • страницы не индексируются ни Яндексом, ни Google (в этом случае нужно убедиться, что не установлен запрет на обход площадки роботами в robots.txt, настройках хостинга или в мета-тегах robots);
  • страницы не индексируются только одним поисковиком (стоит проверить сайт на фильтры поисковых систем).

Узнайте, какие именно страницы проиндексированы Яндексом и Google. В помощь — специальный инструментот PromoPult. После этого вы сможете оценить характер и масштаб проблемы.

Последние две проблемы устраняются или очень легко (если нужно просто разрешить индексацию страниц) или очень долго (если придется выводить сайт из-под санкций Яндекса или Google). В этой же статье рассмотрим именно способы ускорения индексации.

Способы ускорения индексирования сайта поисковиками

1. Улучшите внутреннюю SEO-оптимизацию

Начните с сайта. Проблемы с внутренней оптимизацией могут усложнить индексацию.

Проверьте файл robots.txt

Что нужно сделать:

  • проверить, есть ли вообще файл robots.txt (располагается в корневой папке сайта; если его нет — создать и настроить);
  • убедиться, что в нем нет запрета на индексацию (подлежащие индексации страницы не должны быть закрыты директивой Disallow);
  • закрыть доступ к системным файлам, страницам авторов, архивов, тегов, результатов поиска (в противном случае робот будет тратить время на сканирование бесполезных для поиска файлов, и может так и не успеть добраться до основного контента);
  • проверить правильность синтаксиса robots.txt.

Найти ошибки в robots.txt можно в Яндекс.Вебмастере в разделе Инструменты / Анализ robots.txt. Для этого укажите URL сайта или скопируйте содержимое файла в поле нажмите «Проверить». Здесь же есть функционал для проверки доступности для индексации отдельных URL — просто укажите интересующий URL в поле «Разрешены ли URL?», нажмите «Проверить», и система выдаст ответ.

проверка индексации страниц

Создайте sitemap.xml

Этот файл содержит ссылки на все страницы сайта и помогает поисковикам сориентироваться в его структуре.  Если появляются новые страницы, они попадают в sitemap.xml, и роботы их быстрее находят.

После создания sitemap.xml пропишите в robots.txt строку для указания роботу пути к файлу:

Sitemap: http://site.ru/sitemap.xml

Также укажите путь в панелях для вебмастеров:

  • Яндекс.Вебмастер: Инструменты / Анализ файлов Sitemap;
  • Google Search Console: Индекс / Файлы Sitemap.

Чтобы не обновлять файл вручную после появления новых страниц, используйте динамический sitemap.xml (настраивается с помощью плагинов, например, All in One SEO Pack, или средствами PHP). Он создается каждый раз перед обращением робота (а значит, всегда актуален).

Добавьте HTML-карту сайта

Создайте отдельную страницу, с которой будут идти ссылки на все значимые страницы ресурса. Это полезно не только для посетителей, но и для индексации роботами, а также является одним из способов перелинковки.

Важно! HTML и XML-карта — не одно и то же. HTML-карта располагается на сайте, ее видят пользователи. XML-карта нужна только поисковикам, пользователи ее не видят.

Проверьте ответы сервера

Сервер при обращении поискового робота должен отдавать код 200 (если страница существует) и код 404 (если страницы не существует). Кроме того, время ответа не должно превышать 1,5-2 с — в противном случае робот может не дождаться и покинуть сайт.

Проверить ответ сервера можно в Яндекс.Вебмастере в разделе Инструменты / Проверка ответа сервера.

проверка ответа сервера яндекс

Сделайте внутреннюю перелинковку

В теле статей ставьте ссылки на другие страницы сайта. Также добавьте похожие записи (в конце статей) и популярные или новые записи (в сайдбаре). Не делайте более 3-4 уровней вложенности — страницы на 5 и 6 уровне индексируются хуже.

Хотите научиться расставлять внутренние ссылки так, чтобы улучшить  поведенческие показатели и позиции в поиске? В статье «Как сделать перелинковку для успешного SEO и роста конверсий» описаны все самые эффективные подходы.

Пишите полезные и уникальные тексты

Если вы размещаете плагиат или поверхностный рерайт, то не удивляйтесь, что страницы не попадают в индекс. Поисковики считают такой контент дублирующимся и не несущим ценности для пользователей. О том, какими должны быть грамотно оптимизированные тексты для сайта, читайте здесь.

Чаще публикуйте записи и обновляйте страницы

Поисковики любят «живые» сайты. Если несколько месяцев ничего не размещали, то робот перестает регулярно посещать сайт. Ещё рабочий вариант — постинг в Твиттере.

Как поддерживать актуальность сайта:

  • публикуйте новые записи не реже 1 раза в неделю;
  • добавляйте ссылки со старых страниц на новые материалы;
  • актуализируйте и обновляйте информацию на сайте;
  • настройте заголовки Last-Modified и If-Modified-Since (так поисковики будут обходить старые страницы только после внесенных на них изменений).

Устраните дубли на сайте

Дубли создают не только неудобства для вебмастеров, но и ухудшают качество сайта в глазах поисковиков. Они могут быть:

  • явными (URL со слешем в конце и без него, с WWW и без WWW, с HTTP и HTTPS, с GET-параметрами);
  • неявными (дубли страниц с комментариями, страницы товаров со схожими описаниями, страницы пагинации).

Устраняются они путем настройки 301 редиректа, указания канонических страниц, с помощью robots.txt. Все способы с примерами описаны в статье «Что такое дубли на сайте и как с ними бороться?».

2. Используйте инструменты для вебмастеров

После запуска сайта обязательно зарегистрируйте его в панелях для вебмастеров: в Яндекс.Вебмастере и Google Search Console. Так вы сообщите поисковикам о появлении нового сайта, сможете отслеживать динамику индексации, будете получать уведомления об ошибках.

После создания новой страницы или обновления старой необходимо уведомить об этом поисковики, чтобы ускорить индексацию (переиндексацию). Делается это с помощью так называемых «аддурилок» (от англ. «add URL» — «добавить URL»).

В Яндексе этот инструмент находится в Вебмастере (раздел Индексирование / Переобход страниц). Введите новый URL и нажмите «Отправить».

переобход страниц для ускорения индексации в яндексе
«Аддурилка» Яндекса

До изменения в 2018 году интерфейса Search Console в Google был инструмент, который позволял добавлять любую страницу для переобхода. До сих пор в сети «висит» масса статей со ссылками на этот инструмент и описанием его работы, но он больше не поддерживается.

Как ускорить индексацию сайта: 5 советов
Старая «аддурилка» Google

Новые страницы в Google уже не нужно куда-то добавлять для индексации — достаточно того, чтобы они были в sitemap.xml. А вот старые страницы, на которых вы изменили контент, можно переиндексировать быстрее. Для этого перейдите в новый интерфейс Search Console в раздел «Проверка URL», введите адрес интересующей страницы и нажмите кнопку «Запросить индексирование». Это сигнал роботу обойти страницу вне очереди.

аддурилка гугла

Данные действия — не гарантия попадания страницы в индекс или ускорения процесса (сами же поисковики ничего не обещают). Но поскольку такие инструменты есть, ими грех не воспользоваться.

3. Добавьте сайт в RSS-каналы, каталоги, рейтинги и соцсети

RSS-каналы и топовые каталоги хорошо индексируются поисковыми системами, и если в них будут ссылки на ваш сайт, то повысится вероятность быстрой индексации.

Добавьте сайт в бесплатные RSS-агрегаторы:

Обратите внимание и на бесплатные рейтинги:

Также для ускорения индексации советуем «прогнать» новую запись по соцсетям. Особенно важны Twitter, ВК, Facebook, Одноклассники.

4. Используйте пинг-сервисы

С помощью пинг-сервисов вы уведомляете поисковые системы о появлении новых страниц на сайте. В интернете можно найти громадные списки пинг-сервисов, и многие используют сразу все. Это ошибка. В данном случае принцип «чем больше, тем лучше» не работает. Достаточно 5-7 сервисов:

пинг сервисы в вордпрессе
Пример списка пинг-сервисов для блога на WordPress

Практика показывает, что использование пинг-сервисов ускоряет индексацию — особенно это заметно в случае с молодыми сайтами, которым меньше 6 месяцев.

5. Нарабатывайте «жирные» ссылки

Чем больше будет ссылок на ваш ресурс с авторитетных площадок, тем лучше. Это повысит значимость сайта в глазах поисковиков. Проблема в том, что на «добычу» естественных ссылок нужны годы.

Ускорить процесс можно, сотрудничая напрямую с вебмастерами с целью интеграции ссылок на трастовых ресурсах.
Автоматическое продвижение сайта
Найти релевантные площадки можно с помощью модуля PromoPult «Естественные ссылки» — достаточно добавить сайт, и система самостоятельно подберет ключи, посадочные страницы и внешние ресурсы.

Автор

Материалы по теме:

Практика продвижения сайтов
Как попасть в спецэлементы Яндекса и Google. Информационная рассылка «Практика продвижения сайтов. Профессиональное пособие от SeoPult» Уважаемые пользователи! В начале сентября Яндекс заменил устаревшую метрику сайтов тИЦ на новый индекс качества ИКС. Он показывает, насколько сайт востребован у аудитории, и в какой мере пользователи ...
Для чего нужен сайт? Создайте свой сайт самостоятельно.
Для чего нужен сайт? Люди часто задумываются, а зачем и для чего нужен сайт?  Зачем нужен сайт своему бизнесу?  Начали свой бизнес, а он не развивается, плохо продаются товары и мало кто о вас знает. На данный момент в интернете существует масса ...
Домен. Как выбрать хороший домен и улучшить SEO сайта с нуля.
Как выбрать хороший домен и улучшить SEO сайта Что такое - Доме́н?  Домен - это имя сайта.   Имя домена может существенно повлиять на будущее вашего сайта. Причин для этого множество и мы сегодня разберёмся, как доменное имя может повлиять на SEO сайта, как доменное ...
Продукт электронной коммерции или маркетинговые идеи для бизнеса
Маркетинговые идеи для малого бизнеса - продукт электронной коммерции Контент-маркетинг является одной из лучших стратегий цифрового маркетинга для небольших компаний электронной коммерции, главным образом потому, что он не требует большого бюджета. Согласно последним опросам, более половины всех предприятий полагаются на эту стратегию для установления контактов ...

Добавить комментарий

Войти с помощью: 

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Яндекс.Метрика