Бюджет сканирования — это количество URL-адресов на сайте, которые поисковые системы, такие как Google, могут обнаружить за определенный период времени. Но в мире существует множество веб-страниц, а у поисковиков ограниченные ресурсы, поэтому они не могут проверять каждую из них ежедневно.

Важность бюджета сканирования для SEO

Google сначала должен просканировать страницы, а затем проиндексировать их, прежде чем они смогут ранжироваться в результатах поиска. От этих процессов зависит видимость контента в поисковой выдаче.

Зачастую беспокоиться о бюджете не стоит, поскольку Google эффективно сканирует большинство сайтов. Однако есть несколько ситуаций, когда это особенно важно для SEO:

Большие сайты

Если у вашего сайта более 10 000 страниц, Google может не сразу находить новые страницы или не часто пересканировать уже существующие.

Частое добавление новых страниц

Если вы регулярно добавляете много новых страниц, это может повлиять на их видимость.

Технические проблемы на сайте

Проблемы, мешающие сканированию, могут привести к тому, что ваш контент не будет отображаться в результатах поиска.

Как Google определяет бюджет сканирования?

Бюджет сканирования определяется двумя основными элементами:

Спросом на сканирование

Crawl demand — это то, как часто Google сканирует сайт на основе воспринимаемой важности. Есть три фактора, которые на это влияют:

1. Дублирование

Google обычно пытается сканировать все или большинство страниц, о которых он знает на вашем сайте. Это означает, что Googlebot может по-прежнему пытаться сканировать дубликаты страниц и страницы, которые уже удалены, если вы не укажете ему пропускать их.

2. Популярность

Google обычно отдает приоритет страницам с большим количеством обратных ссылок (ссылки с других сайтов) и тем, которые привлекают больше трафика, когда дело доходит до сканирования. Это может сигнализировать алгоритму, что ваш сайт важен и заслуживает более частого сканирования. Но при этом само по себе количество обратных ссылок не имеет значения. Главное, чтобы они были релевантными и из авторитетных источников.

3. Обновление контента

Поисковые системы стремятся сканировать контент достаточно часто, чтобы улавливать любые изменения. Но если материал на сайте меняется с течением времени не сильно, Google может начать сканировать его реже. Это не означает, что нужно обновлять его ежедневно, чтобы способствовать процессу. Поскольку в собственных рекомендациях Google говорится, что он хочет сканировать только высококачественный контент. Поэтому отдавайте приоритет качеству материала, а не количеству правок.

Ограничением пропускной способности сканирования

Ограничение пропускной способности сканирования не позволяет ботам Google замедлять работу сайта из-за слишком большого количества запросов, что может привести к проблемам с производительностью.

1. Здоровье сканирования

Скорость ответа сайта на запросы Google напрямую влияет на краулинговый бюджет. Быстрая реакция может увеличить лимит пропускной способности, позволяя Google быстрее сканировать страницы. Однако если сайт работает медленно или отвечает ошибками сервера, лимит может быть уменьшен.

2. Ограничения Google на сканирование

Google имеет ограниченные ресурсы для сканирования веб-сайтов, поэтому существуют бюджеты сканирования. Они помогают расставить приоритеты.

Как проверить активность сканирования

Google Search Console (GSC) предоставляет подробную информацию о том, как Google сканирует сайт, а также об обнаруженных проблемах и значительных изменениях. Чтобы найти эту информацию, войдите в свой аккаунт GSC, выберите нужный ресурс и перейдите в раздел «Настройки».

В разделе «Сканирование» вы увидите количество запросов на сканирование за последние 90 дней. Нажмите «Открыть отчет» для получения более подробной информации.

На странице «Статистика сканирования» отображаются различные виджеты с данными:

Графики сверхурочных часов

В верхней части находится диаграмма запросов на сканирование сайта, выполненных Google за последние 90 дней.

Обозначение каждого поля сверху:

Общее количество запросов на сканирование: количество запросов на сканирование за последние 90 дней.
Общий размер загрузки: объем данных, загруженных поисковыми роботами Google за определенный период.
Среднее время ответа: среднее время ответа сервера на запросы от поисковых роботов (в миллисекундах).

Статус хоста

Показывает, насколько легко Google может сканировать сайт. При возникновении каких-либо проблем можно увидеть более подробную информацию, щелкнув это поле.

Разбивка запросов на сканирование

В этом разделе отчета представлена информация о запросах на сканирование, сгруппированная по следующим признакам:

Ответ (например, «ОК (200)» или «Не найдено (404)»
Тип файла URL (например, HTML или изображение)
Цель запроса («Обнаружение» для новой страницы или «Обновление» для существующей страницы)
Тип Googlebot (например, смартфон или настольный компьютер)

Нажатие на любой из элементов в виджетах предоставит более подробную информацию. Например, страницы, которые вернули определенный код статуса.

Использование данных из Google Search Console поможет вам лучше понимать и управлять своим краулинговым бюджетом, выявляя и устраняя проблемы, влияющие на сканирование сайта.

Советы по оптимизации бюджета сканирования

Когда проблемы с бюджетом будут выявлены, вы сможете устранить их, а также повысить эффективность сканирования. Вот основные шаги, которые помогут в этом:

Улучшение скорости сайта

Повышение скорости сайта поможет Google быстрее сканировать его, что приведет к более эффективному использованию краулингового бюджета. Кроме того, это поможет улучшить пользовательский опыт. Способы ускорения загрузки страниц включают:

1. Оптимизацию изображений

Используйте онлайн-инструменты, такие как Image Compressor, чтобы уменьшить размер файлов без потери качества.

2. Минимизацию кода и скриптов

Применяйте инструменты, например, Minifier.org или плагины WordPress, такие как WP Rocket, для минимизации кода и ускорения загрузки.

3. Использование сети доставки контента (CDN)

CDN — это сеть, которая ускоряет доставку контента пользователям, находящимся ближе всего к серверу.

Использование качественных внутренних ссылок

Хорошо продуманная внутренняя структура ссылок облегчает поисковым роботам навигацию и понимание контента, повышая при этом эффективность использования краулингового бюджета и улучшая ранжирование.

Поэтому необходимо добавлять внутренние ссылки на важные страницы, чтобы Google мог легко находить ваш самый значимый контент и избегать страниц-сирот.

Поддержание актуальности карты сайта

Актуальная карта сайта XML помогает Google находить важные страницы. Поэтому при добавлении новых страниц необходимо регулярно ее обновлять, чтобы повысить вероятность сканирования. Включайте в карту сайта только те URL, которые вы хотите видеть в результатах поиска, чтобы избежать траты краулингового бюджета.

Блокировка ненужных URL-адресов

Используйте файл robots.txt, чтобы указать поисковым системам, какие страницы не следует сканировать, чтобы минимизировать трату краулингового бюджета на неважные или конфиденциальные страницы. Это поможет Google сосредоточиться на более важных разделах сайта.

Пример файла robots.txt:

Удаление ненужных перенаправлений

Перенаправления ведут пользователей и ботов с одного URL на другой, что может замедлить загрузку страницы и расходовать краулинговый бюджет. Особенно проблематичны цепочки, когда между исходным и конечным URL имеется несколько перенаправлений.

Исправление неработающих ссылок

Неработающие ссылки ведут на страницы, которых не существует, и обычно выдают ошибку 404. Они также тратят краулинговый бюджет и раздражают пользователей, которые наталкиваются на неработающие ссылки.

Избавление от повторяющегося контента

Дублированный контент тратит краулинговый бюджет, поскольку боты сканируют несколько версий одной и той же страницы. Чтобы решить эту проблему:

Используйте теги «rel=canonical» в HTML-коде, чтобы указать Google, какую страницу считать основной.
Выберите одну основную страницу и используйте перенаправления 301 для переадресации дубликатов на нее.

Регулярный мониторинг и оптимизация технических аспектов сайта поможет поисковым роботам находить ваш контент и экономить краулинговый бюджет.

👍🏻 Инфа была полезной? Ставь лайк!

Всем конверта и ROI высоченного

Наш Telegram-чат 👉🏻 t.me/rocketprofitchat

блог

Краулинговый бюджет в SEO

Комментарии (0)

Еще статьи