Screaming Frog server error [РЕШЕНО]

Варианты решения:

1. Если у вас сайт на Битриксе — то проверьте Настройки -> Проактивная защита -> Контроль активности. Он и блокирует при большом количестве запросов на сайт. Просто отключите его на время сканирования, а потом опять включите.
2. Попробуйте поменять юзерагента в настройках. Для этого необходимо зайти в Configuration -> User-Agent и выбрать нужного агента (YandexBot возможно подойдет?).
   
3. Идем Configuration -> Spider -> Advanced -> ставим галку на Always Follow redirects (Follow Internal "nofollow" и Follow External "nofollow" для старых версий).
   

Также вы можете изучить FAQ (troubleshooting) самого СЕО спайдера по этому вопросу (на английском языке).

Источник: https://bolshakof.ru/lifehacks/screaming-frog-ne-parsit-sajt-est-reshenie/