Для функционирования сайта мы собираем cookie, данные об IP-адресе и местоположении пользователей. Оставаясь на сайте, вы соглашаетесь со сбором и обработкой данных.
Хорошо
Новые кейсы, обзоры digital-инструментов, приглашения на вебинары!
Подпишитесь на нас в Telegram, чтобы ничего не пропустить. Пишем только о тех инструментах, что протестировали на своих проектах.
статья
Что такое краулинговый бюджет в SEO
И как его оптимизировать?
Надежда Коробова
Старший специалист SEO-отдела Artsofte Digital
Хотите получать статьи на почту?
Краулинг в SEO — так называется процесс, когда поисковый бот сканирует страницы сайта и индексирует их.

Краулинговый бюджет сайта – это количество страниц, которые поисковые боты могут просканировать за одно посещение.

Поисковая система определяет этот показатель для каждого сайта индивидуально. Он может составлять как 50, так и 5 000 страниц ежедневно.

Краулинговый бюджет является исключительно техническим параметром, от которого зависит скорость индексации контента на сайте, при этом он не оказывает прямомого влияния на позиции сайта.
ОЦЕНКА

Как узнать краулинговый бюджет

Чтобы оценить примерный краулинговый бюджет своего сайта можно воспользоваться панелями вебмастеров Яндекс или Google.

Google Search Console

Выберите в левой панели «Настройки» .
Затем нажмите «Открыть отчет» в разделе настроек «Статистика сканирования».
Как узнать краулинговый бюджет сайта
В открывшемся отчете можно увидеть примерное количество страниц, которое робот обходит за день.

Как узнать краулинговый бюджет сайта

Яндекс Вебмастер

Выберите в левой панели «Настройки» .
Затем нажмите «Открыть отчет» в разделе настроек «Статистика сканирования».
Как оптимизировать краулинговый бюджет сайта
РЕШЕНИЕ

Как оптимизировать краулинговый бюджет

Оптимизация бюджета особенно актуальна для сайтов с большим количеством страниц, например, новостным порталам. Чтобы оптимизировать краулинговый бюджет потребуется выполнение следующих действий.

1. Настроить карты сайта и robots.txt
Используя robots.txt, можно заблокировать доступ к «мусорным» страницам или контентным дублям. Карта сайта sitemap.xml нужна, чтобы сообщать роботу о новых (или измененных старых) страницах и направлять дневные лимиты именно на обход новых страниц или страниц, которые изменились.

2. Улучшить скорость загрузки сайта
Это показатель влияет на скорость сканирования поискового бота. Высокая скорость загрузки ресурса способствует тому, что Googlebot успеет проанализировать большее число страниц.

3. Оптимизировать редиректы
Если роботу необходимо преодолеть множество переадресаций до того момента, как он доберется нужной страницы, Googlebot может и не достичь искомого URL. Любой редирект уменьшает краулинговый бюджет. Поэтому на сайте нужно оставить только необходимые редиректы.

4. Грамотно настроить перелинковку
Для оптимизации используйте уникальные и разные анкоры с «ключами». К тому же следует добавлять ссылки на страницы, которые соответствуют теме анкора.

5. Наращивать внешнюю ссылочную массу
Существует зависимость между количеством внешних ссылок и числом посещений сайта ботом поисковой системы Google. Чем больше качественных ссылок ведет на сайт, тем больше его краулинговый бюджет.

ЗАКЛЮЧЕНИЕ

Выводы

Если вы владелец информационного портала или интернет-магазина с тысячами страниц, попробуйте оптимизировать краулинговый бюджет вашего сайта. Помогите роботам сканировать важные для вас страницы. Эффективная индексация целевых страниц положительно повлияет на продвижение в поисковых системах.
Хотите получать статьи на почту?

Поделиться

Делимся опытом