Краулинг в SEO — так называется процесс, когда поисковый бот сканирует страницы сайта и индексирует их.
Краулинговый бюджет сайта — это количество страниц, которые поисковые боты могут просканировать за одно посещение.
Поисковая система определяет этот показатель для каждого сайта индивидуально. Он может составлять как 50, так и 5 000 страниц ежедневно. Это дневные лимиты краулинга.
Краулинговый бюджет является исключительно техническим параметром, от которого зависит скорость индексации контента на сайте, при этом он не оказывает прямого влияния на позиции сайта.
Мы подготовили чек-лист, который поможет вам оптимизировать краулиговый бюджет.