Как ускорить индексацию сайта в Яндексе и Google

Как ускорить индексацию сайта в Яндексе и Google: 5 способов

Всем хочется, чтобы опубликованные материалы мгновенно попадали в индекс и сразу же приводили посетителей. Особенно это актуально при продвижении в Яндексе, которому порой требуется несколько апдейтов для индексации новой страницы.

А что если за это время истечет актуальность статьи? Получается, что вы зря потратили ресурсы на ее создание. Если вы хотите, чтобы статьи уже спустя пару часов после публикации были доступны в поиске, следуйте представленным ниже советам.

Почему не индексируется сайт? Ускорить индексацию сайта?

Проблемы с индексацией сайта бывают трех типов:

  • страницы долго индексируются(зачастую причина — в низкой частоте обновления контента на сайте, и робот просто реже его посещает; также проблема может крыться в плохой SEO-оптимизации, некачественном контенте и сайте в целом);
  • страницы не индексируются ни Яндексом, ни Google (в этом случае нужно убедиться, что не установлен запрет на обход площадки роботами в robots.txt, настройках хостинга или в мета-тегах robots);
  • страницы не индексируются только одним поисковиком (стоит проверить сайт на фильтры поисковых систем).

Узнайте, какие именно страницы проиндексированы Яндексом и Google. В помощь — специальный инструментот PromoPult. После этого вы сможете оценить характер и масштаб проблемы.

Последние две проблемы устраняются или очень легко (если нужно просто разрешить индексацию страниц) или очень долго (если придется выводить сайт из-под санкций Яндекса или Google). В этой же статье рассмотрим именно способы ускорения индексации.

Способы ускорения индексирования сайта поисковиками

1. Улучшите внутреннюю SEO-оптимизацию

Начните с сайта. Проблемы с внутренней оптимизацией могут усложнить индексацию.

Проверьте файл robots.txt

Что нужно сделать:

  • проверить, есть ли вообще файл robots.txt (располагается в корневой папке сайта; если его нет — создать и настроить);
  • убедиться, что в нем нет запрета на индексацию (подлежащие индексации страницы не должны быть закрыты директивой Disallow);
  • закрыть доступ к системным файлам, страницам авторов, архивов, тегов, результатов поиска (в противном случае робот будет тратить время на сканирование бесполезных для поиска файлов, и может так и не успеть добраться до основного контента);
  • проверить правильность синтаксиса robots.txt.

Найти ошибки в robots.txt можно в Яндекс.Вебмастере в разделе Инструменты / Анализ robots.txt. Для этого укажите URL сайта или скопируйте содержимое файла в поле нажмите «Проверить». Здесь же есть функционал для проверки доступности для индексации отдельных URL — просто укажите интересующий URL в поле «Разрешены ли URL?», нажмите «Проверить», и система выдаст ответ.

проверка индексации страниц

Создайте sitemap.xml

Этот файл содержит ссылки на все страницы сайта и помогает поисковикам сориентироваться в его структуре.  Если появляются новые страницы, они попадают в sitemap.xml, и роботы их быстрее находят.

После создания sitemap.xml пропишите в robots.txt строку для указания роботу пути к файлу:

Sitemap: http://site.ru/sitemap.xml

Также укажите путь в панелях для вебмастеров:

  • Яндекс.Вебмастер: Инструменты / Анализ файлов Sitemap;
  • Google Search Console: Индекс / Файлы Sitemap.

Чтобы не обновлять файл вручную после появления новых страниц, используйте динамический sitemap.xml (настраивается с помощью плагинов, например, All in One SEO Pack, или средствами PHP). Он создается каждый раз перед обращением робота (а значит, всегда актуален).

Добавьте HTML-карту сайта

Создайте отдельную страницу, с которой будут идти ссылки на все значимые страницы ресурса. Это полезно не только для посетителей, но и для индексации роботами, а также является одним из способов перелинковки.

Важно! HTML и XML-карта — не одно и то же. HTML-карта располагается на сайте, ее видят пользователи. XML-карта нужна только поисковикам, пользователи ее не видят.

Проверьте ответы сервера

Сервер при обращении поискового робота должен отдавать код 200 (если страница существует) и код 404 (если страницы не существует). Кроме того, время ответа не должно превышать 1,5-2 с — в противном случае робот может не дождаться и покинуть сайт.

Проверить ответ сервера можно в Яндекс.Вебмастере в разделе Инструменты / Проверка ответа сервера.

проверка ответа сервера яндекс

Сделайте внутреннюю перелинковку

В теле статей ставьте ссылки на другие страницы сайта. Также добавьте похожие записи (в конце статей) и популярные или новые записи (в сайдбаре). Не делайте более 3-4 уровней вложенности — страницы на 5 и 6 уровне индексируются хуже.

Хотите научиться расставлять внутренние ссылки так, чтобы улучшить  поведенческие показатели и позиции в поиске? В статье «Как сделать перелинковку для успешного SEO и роста конверсий» описаны все самые эффективные подходы.

Пишите полезные и уникальные тексты

Если вы размещаете плагиат или поверхностный рерайт, то не удивляйтесь, что страницы не попадают в индекс. Поисковики считают такой контент дублирующимся и не несущим ценности для пользователей. О том, какими должны быть грамотно оптимизированные тексты для сайта, читайте здесь.

Чаще публикуйте записи и обновляйте страницы

Поисковики любят «живые» сайты. Если несколько месяцев ничего не размещали, то робот перестает регулярно посещать сайт. Ещё рабочий вариант — постинг в Твиттере.

Как поддерживать актуальность сайта:

  • публикуйте новые записи не реже 1 раза в неделю;
  • добавляйте ссылки со старых страниц на новые материалы;
  • актуализируйте и обновляйте информацию на сайте;
  • настройте заголовки Last-Modified и If-Modified-Since (так поисковики будут обходить старые страницы только после внесенных на них изменений).

Устраните дубли на сайте

Дубли создают не только неудобства для вебмастеров, но и ухудшают качество сайта в глазах поисковиков. Они могут быть:

  • явными (URL со слешем в конце и без него, с WWW и без WWW, с HTTP и HTTPS, с GET-параметрами);
  • неявными (дубли страниц с комментариями, страницы товаров со схожими описаниями, страницы пагинации).

Устраняются они путем настройки 301 редиректа, указания канонических страниц, с помощью robots.txt. Все способы с примерами описаны в статье «Что такое дубли на сайте и как с ними бороться?».

2. Используйте инструменты для вебмастеров

После запуска сайта обязательно зарегистрируйте его в панелях для вебмастеров: в Яндекс.Вебмастере и Google Search Console. Так вы сообщите поисковикам о появлении нового сайта, сможете отслеживать динамику индексации, будете получать уведомления об ошибках.

После создания новой страницы или обновления старой необходимо уведомить об этом поисковики, чтобы ускорить индексацию (переиндексацию). Делается это с помощью так называемых «аддурилок» (от англ. «add URL» — «добавить URL»).

В Яндексе этот инструмент находится в Вебмастере (раздел Индексирование / Переобход страниц). Введите новый URL и нажмите «Отправить».

переобход страниц для ускорения индексации в яндексе
«Аддурилка» Яндекса

До изменения в 2018 году интерфейса Search Console в Google был инструмент, который позволял добавлять любую страницу для переобхода. До сих пор в сети «висит» масса статей со ссылками на этот инструмент и описанием его работы, но он больше не поддерживается.

Как ускорить индексацию сайта: 5 советов
Старая «аддурилка» Google

Новые страницы в Google уже не нужно куда-то добавлять для индексации — достаточно того, чтобы они были в sitemap.xml. А вот старые страницы, на которых вы изменили контент, можно переиндексировать быстрее. Для этого перейдите в новый интерфейс Search Console в раздел «Проверка URL», введите адрес интересующей страницы и нажмите кнопку «Запросить индексирование». Это сигнал роботу обойти страницу вне очереди.

аддурилка гугла

Данные действия — не гарантия попадания страницы в индекс или ускорения процесса (сами же поисковики ничего не обещают). Но поскольку такие инструменты есть, ими грех не воспользоваться.

3. Добавьте сайт в RSS-каналы, каталоги, рейтинги и соцсети

RSS-каналы и топовые каталоги хорошо индексируются поисковыми системами, и если в них будут ссылки на ваш сайт, то повысится вероятность быстрой индексации.

Добавьте сайт в бесплатные RSS-агрегаторы:

Обратите внимание и на бесплатные рейтинги:

Также для ускорения индексации советуем «прогнать» новую запись по соцсетям. Особенно важны Twitter, ВК, Facebook, Одноклассники.

4. Используйте пинг-сервисы

С помощью пинг-сервисов вы уведомляете поисковые системы о появлении новых страниц на сайте. В интернете можно найти громадные списки пинг-сервисов, и многие используют сразу все. Это ошибка. В данном случае принцип «чем больше, тем лучше» не работает. Достаточно 5-7 сервисов:

пинг сервисы в вордпрессе
Пример списка пинг-сервисов для блога на WordPress

Практика показывает, что использование пинг-сервисов ускоряет индексацию — особенно это заметно в случае с молодыми сайтами, которым меньше 6 месяцев.

5. Нарабатывайте «жирные» ссылки

Чем больше будет ссылок на ваш ресурс с авторитетных площадок, тем лучше. Это повысит значимость сайта в глазах поисковиков. Проблема в том, что на «добычу» естественных ссылок нужны годы.

Ускорить процесс можно, сотрудничая напрямую с вебмастерами с целью интеграции ссылок на трастовых ресурсах.
Автоматическое продвижение сайта
Найти релевантные площадки можно с помощью модуля PromoPult «Естественные ссылки» — достаточно добавить сайт, и система самостоятельно подберет ключи, посадочные страницы и внешние ресурсы.

Автор

Материалы по теме:

Важные мета-теги для SEO-оптимизации сайта
Важные мета-теги для SEO-оптимизации сайта. Когда речь заходит о мета-тегах и мета-данных, нередко возникает путаница — начинающие специалисты бросаются оптимизировать все содержимое в рамках тега HEAD с элементом META. Давайте разберемся, какие мета-данные действительно важны для SEO-оптимизации, а какие можно обойти вниманием. Что такое ...
Что такое структура сайта и почему это важно?
Что такое структура сайта и почему это важно? Структура сайта является важным аспектом вашей стратегии SEO. Структура вашего сайта показывает Google, какие страницы вашего сайта являются наиболее важными. Это означает, что вы можете влиять на то, какие статьи будут занимать самые высокие позиции в ...
Что такое структурированные данные?
Что такое структурированные данные? Возможно, вы слышали о структурированных данных, Schema.org и JSON-LD. Но что именно означают эти термины? Что такое структурированные данные? Что делают структурированные данные? И какое это имеет отношение к SEO? Для всех, кто не знает, что ...
Методы бесплатные и платные. Раскрутка сайта.
Методы бесплатные и платные раскрутки сайта. Вопрос: как раскрутить сайт? — задают себе практически все владельцы интернет-ресурсов. Даже созданный профессионалами сайт с качественным контентом может быть малоэффективным в деле привлечения клиентов.   Существует много методов раскрутки сайта, как платных, так и бесплатных. Именно о них ...

Добавить комментарий

Войти с помощью: 

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Яндекс.Метрика