Создание сайтов на 1С-Битрикс

Screaming Frog server error [РЕШЕНО]

Что делать если Screaming Frog не парсит сайт и выдает Server error? Есть три решения.

Screaming Frog server error [РЕШЕНО] Что делать если Screaming Frog не парсит сайт и выдает Server error? Есть три решения.

Варианты решения:

  1. Если у вас сайт на Битриксе — то проверьте Настройки -> Проактивная защита -> Контроль активности. Он и блокирует при большом количестве запросов на сайт. Просто отключите его на время сканирования, а потом опять включите.
  2. Попробуйте поменять юзерагента в настройках. Для этого необходимо зайти в Configuration -> User-Agent и выбрать нужного агента (YandexBot возможно подойдет?).
  3. Идем Configuration -> Spider -> Advanced -> ставим галку на Always Follow redirects (Follow Internal "nofollow" и Follow External "nofollow" для старых версий).
Также вы можете изучить FAQ (troubleshooting) самого СЕО спайдера по этому вопросу (на английском языке).
Логотип SiteBERG
Изменено: 10.11.2022 16:23

Источник: https://bolshakof.ru/lifehacks/screaming-frog-ne-parsit-sajt-est-reshenie/

Статьи

Что нужно сделать?