Как ускорить индексацию сайта в Яндексе и Google
Как ускорить индексацию сайта в Яндексе и Google: 5 способов
Всем хочется, чтобы опубликованные материалы мгновенно попадали в индекс и сразу же приводили посетителей. Особенно это актуально при продвижении в Яндексе, которому порой требуется несколько апдейтов для индексации новой страницы.
А что если за это время истечет актуальность статьи? Получается, что вы зря потратили ресурсы на ее создание. Если вы хотите, чтобы статьи уже спустя пару часов после публикации были доступны в поиске, следуйте представленным ниже советам.
Почему не индексируется сайт? Ускорить индексацию сайта?
Проблемы с индексацией сайта бывают трех типов:
- страницы долго индексируются(зачастую причина — в низкой частоте обновления контента на сайте, и робот просто реже его посещает; также проблема может крыться в плохой SEO-оптимизации, некачественном контенте и сайте в целом);
- страницы не индексируются ни Яндексом, ни Google (в этом случае нужно убедиться, что не установлен запрет на обход площадки роботами в robots.txt, настройках хостинга или в мета-тегах robots);
- страницы не индексируются только одним поисковиком (стоит проверить сайт на фильтры поисковых систем).
Узнайте, какие именно страницы проиндексированы Яндексом и Google. В помощь — специальный инструментот PromoPult. После этого вы сможете оценить характер и масштаб проблемы.
Последние две проблемы устраняются или очень легко (если нужно просто разрешить индексацию страниц) или очень долго (если придется выводить сайт из-под санкций Яндекса или Google). В этой же статье рассмотрим именно способы ускорения индексации.
Способы ускорения индексирования сайта поисковиками
1. Улучшите внутреннюю SEO-оптимизацию
Начните с сайта. Проблемы с внутренней оптимизацией могут усложнить индексацию.
Проверьте файл robots.txt
Что нужно сделать:
- проверить, есть ли вообще файл robots.txt (располагается в корневой папке сайта; если его нет — создать и настроить);
- убедиться, что в нем нет запрета на индексацию (подлежащие индексации страницы не должны быть закрыты директивой Disallow);
- закрыть доступ к системным файлам, страницам авторов, архивов, тегов, результатов поиска (в противном случае робот будет тратить время на сканирование бесполезных для поиска файлов, и может так и не успеть добраться до основного контента);
- проверить правильность синтаксиса robots.txt.
Найти ошибки в robots.txt можно в Яндекс.Вебмастере в разделе Инструменты / Анализ robots.txt. Для этого укажите URL сайта или скопируйте содержимое файла в поле нажмите «Проверить». Здесь же есть функционал для проверки доступности для индексации отдельных URL — просто укажите интересующий URL в поле «Разрешены ли URL?», нажмите «Проверить», и система выдаст ответ.
Создайте sitemap.xml
Этот файл содержит ссылки на все страницы сайта и помогает поисковикам сориентироваться в его структуре. Если появляются новые страницы, они попадают в sitemap.xml, и роботы их быстрее находят.
После создания sitemap.xml пропишите в robots.txt строку для указания роботу пути к файлу:
Sitemap: http://site.ru/sitemap.xml
Также укажите путь в панелях для вебмастеров:
- Яндекс.Вебмастер: Инструменты / Анализ файлов Sitemap;
- Google Search Console: Индекс / Файлы Sitemap.
Чтобы не обновлять файл вручную после появления новых страниц, используйте динамический sitemap.xml (настраивается с помощью плагинов, например, All in One SEO Pack, или средствами PHP). Он создается каждый раз перед обращением робота (а значит, всегда актуален).
Добавьте HTML-карту сайта
Создайте отдельную страницу, с которой будут идти ссылки на все значимые страницы ресурса. Это полезно не только для посетителей, но и для индексации роботами, а также является одним из способов перелинковки.
Важно! HTML и XML-карта — не одно и то же. HTML-карта располагается на сайте, ее видят пользователи. XML-карта нужна только поисковикам, пользователи ее не видят.
Проверьте ответы сервера
Сервер при обращении поискового робота должен отдавать код 200 (если страница существует) и код 404 (если страницы не существует). Кроме того, время ответа не должно превышать 1,5-2 с — в противном случае робот может не дождаться и покинуть сайт.
Проверить ответ сервера можно в Яндекс.Вебмастере в разделе Инструменты / Проверка ответа сервера.
Сделайте внутреннюю перелинковку
В теле статей ставьте ссылки на другие страницы сайта. Также добавьте похожие записи (в конце статей) и популярные или новые записи (в сайдбаре). Не делайте более 3-4 уровней вложенности — страницы на 5 и 6 уровне индексируются хуже.
Хотите научиться расставлять внутренние ссылки так, чтобы улучшить поведенческие показатели и позиции в поиске? В статье «Как сделать перелинковку для успешного SEO и роста конверсий» описаны все самые эффективные подходы.
Пишите полезные и уникальные тексты
Если вы размещаете плагиат или поверхностный рерайт, то не удивляйтесь, что страницы не попадают в индекс. Поисковики считают такой контент дублирующимся и не несущим ценности для пользователей. О том, какими должны быть грамотно оптимизированные тексты для сайта, читайте здесь.
Чаще публикуйте записи и обновляйте страницы
Поисковики любят «живые» сайты. Если несколько месяцев ничего не размещали, то робот перестает регулярно посещать сайт. Ещё рабочий вариант — постинг в Твиттере.
Как поддерживать актуальность сайта:
- публикуйте новые записи не реже 1 раза в неделю;
- добавляйте ссылки со старых страниц на новые материалы;
- актуализируйте и обновляйте информацию на сайте;
- настройте заголовки Last-Modified и If-Modified-Since (так поисковики будут обходить старые страницы только после внесенных на них изменений).
Устраните дубли на сайте
Дубли создают не только неудобства для вебмастеров, но и ухудшают качество сайта в глазах поисковиков. Они могут быть:
- явными (URL со слешем в конце и без него, с WWW и без WWW, с HTTP и HTTPS, с GET-параметрами);
- неявными (дубли страниц с комментариями, страницы товаров со схожими описаниями, страницы пагинации).
Устраняются они путем настройки 301 редиректа, указания канонических страниц, с помощью robots.txt. Все способы с примерами описаны в статье «Что такое дубли на сайте и как с ними бороться?».
2. Используйте инструменты для вебмастеров
После запуска сайта обязательно зарегистрируйте его в панелях для вебмастеров: в Яндекс.Вебмастере и Google Search Console. Так вы сообщите поисковикам о появлении нового сайта, сможете отслеживать динамику индексации, будете получать уведомления об ошибках.
После создания новой страницы или обновления старой необходимо уведомить об этом поисковики, чтобы ускорить индексацию (переиндексацию). Делается это с помощью так называемых «аддурилок» (от англ. «add URL» — «добавить URL»).
В Яндексе этот инструмент находится в Вебмастере (раздел Индексирование / Переобход страниц). Введите новый URL и нажмите «Отправить».
«Аддурилка» Яндекса
До изменения в 2018 году интерфейса Search Console в Google был инструмент, который позволял добавлять любую страницу для переобхода. До сих пор в сети «висит» масса статей со ссылками на этот инструмент и описанием его работы, но он больше не поддерживается.
Старая «аддурилка» Google
Новые страницы в Google уже не нужно куда-то добавлять для индексации — достаточно того, чтобы они были в sitemap.xml. А вот старые страницы, на которых вы изменили контент, можно переиндексировать быстрее. Для этого перейдите в новый интерфейс Search Console в раздел «Проверка URL», введите адрес интересующей страницы и нажмите кнопку «Запросить индексирование». Это сигнал роботу обойти страницу вне очереди.
Данные действия — не гарантия попадания страницы в индекс или ускорения процесса (сами же поисковики ничего не обещают). Но поскольку такие инструменты есть, ими грех не воспользоваться.
3. Добавьте сайт в RSS-каналы, каталоги, рейтинги и соцсети
RSS-каналы и топовые каталоги хорошо индексируются поисковыми системами, и если в них будут ссылки на ваш сайт, то повысится вероятность быстрой индексации.
Добавьте сайт в бесплатные RSS-агрегаторы:
Обратите внимание и на бесплатные рейтинги:
Также для ускорения индексации советуем «прогнать» новую запись по соцсетям. Особенно важны Twitter, ВК, Facebook, Одноклассники.
4. Используйте пинг-сервисы
С помощью пинг-сервисов вы уведомляете поисковые системы о появлении новых страниц на сайте. В интернете можно найти громадные списки пинг-сервисов, и многие используют сразу все. Это ошибка. В данном случае принцип «чем больше, тем лучше» не работает. Достаточно 5-7 сервисов:
Пример списка пинг-сервисов для блога на WordPress
Практика показывает, что использование пинг-сервисов ускоряет индексацию — особенно это заметно в случае с молодыми сайтами, которым меньше 6 месяцев.
5. Нарабатывайте «жирные» ссылки
Чем больше будет ссылок на ваш ресурс с авторитетных площадок, тем лучше. Это повысит значимость сайта в глазах поисковиков. Проблема в том, что на «добычу» естественных ссылок нужны годы.
Ускорить процесс можно, сотрудничая напрямую с вебмастерами с целью интеграции ссылок на трастовых ресурсах.
Найти релевантные площадки можно с помощью модуля PromoPult «Естественные ссылки» — достаточно добавить сайт, и система самостоятельно подберет ключи, посадочные страницы и внешние ресурсы.
