Время чтения - 2 минуты
Ошибки Я.Вебмастера. Сайт заблокирован для индексации в robots.txt
20.02.2020
Вебмастер Яндекс – эффективный инструмент, позволяющий отслеживать и устранять различного рода фатальные ошибки (включая закрытие сайта для индексации), которые были выявлены в процессе диагностики. Возврат кода ошибки главной страницы, отсутствие подключения к DNS-серверу, нарушение уровней безопасности – это лишь самый незначительный перечень фатальных проблем, диагностируемых Я.Вебмастером. Отдельного внимания заслуживает ошибка, связанная с запретом индексации сайта в файле robots.txt.
София Воробьёва
Специалист по SEO-продвижению
Как проверить, открыт ли сайт для индексации в файле robots.txt?
Чтобы узнать, есть ли запрет индексации на вашем сайте, добавьте в браузере к URL вашего сайта /robots.txt, чтобы получилось yoursite.ru/robots.txt.
Корректность составления индексного файла (наличие грубых ошибок) можно проверить с помощью соответствующих бесплатных инструментов в вебмастерах Яндекс и Google.
Корректность составления индексного файла (наличие грубых ошибок) можно проверить с помощью соответствующих бесплатных инструментов в вебмастерах Яндекс и Google.
Полный запрет индексации задается правилами:
Disallow: *
или
Allow:
Disallow: *
или
Allow:
Какие действия предпринять, если Вебмастер показывает ошибку
Проверьте файл robots.txt на предмет наличия ошибок инструментом Вебмастера "Анализ robots.txt"
Результатом сканирования файла могут быть:
Результатом сканирования файла могут быть:
- предупреждения, которые свидетельствуют о потенциальных проблемах и могут быть исправлены Я.Вебмастером в автоматическом режиме;
- фатальные ошибки в синтаксисе файла. Данное указывает, что в силу проблем, допущенных при формировании правил и директив robots.txt, инструмент не может считать строковое значение или даже целый текстовый блок.
- файл robots.txt может быть также закрыт от индексации ввиду некорректной регистрации домена или отсутствием ее, как таковой.
Чтобы полностью открыть сайт для индексации
Пропишите в файле robots.txt правило:
Пропишите в файле robots.txt правило:
User-agent: *
Allow: /Отсутствие систематического контроля за изменением robots.txt, а также регулярного мониторинга результатов сканирования файла на предмет предупреждений и фатальных ошибок, может привести к нарушению алгоритмов навигации поисковых роботов и блокировке сайта от индексации поисковыми системами.
Читайте также
— Заказать консультацию
Заполняя указанную форму на сайте, вы даете согласие на обработку своих персональных данных и соглашаетесь с политикой обработки персональных данных.
Делимся опытом