Тормозит или не открывается сайт

Не могу разобраться- со вчерашнего вечера страшные тормоза с сайтом- периодически не открывается совсем.
Хостер написал:
“У вас установлена актуальная версия ISPManager на сервере.
Мы проверили детально логи сайта, и не видим, что бы за последний час времени, он получал ошибки доступа.
Нагрузки на сервере и проблем с ресурсами так же нет.
Большего количества запросов к сайту на сервене видим, что могло бы создавать нагрузку.
Но к самому сайту много запросов от ботов Yandex. Рекомендуем уменьшить индексацию от ботов Яндекс.
Дополнительно настроили утилиту atop на логирование на каждую минуту, в случае, если ситуация повторится.
Так же, как видим у вас подключен Cloudfare. Дополнительно рекомендуем проверить с их стороны, все ли корректно настроено для домена.”

Через вебмастер уменьшил скорость обхода до 0,1, но это не помогло.

Отключение Cloudfare также не помогает.
Не знаю куда еще копать.

Примерно месяц назад тоже такое началось на одном сайте, после включения в директе объявлений для страниц каталога, создавалась большая нагрузка и в логах что то типа этого

Помогла только смена хостинга и установка 403 для бота YaDirectFetcher

Спасибо. Попробую поставить запрет.

А как правильно прописать 403 для бота?
И директ-то будет работать после такого запрета?

В новой версии добавлена блокировка ботов вот так

#Блокировка ботов
RewriteCond %{REQUEST_URI} !^/info/404$
RewriteCond %{HTTP_USER_AGENT} ^.*(YaDirectFetcher|Abonti|Amazonbot|aggregator|AhrefsBot|Aport|asterias|Bytespider|Baiduspider|bingbot|binance|BackupLand|Barkrowler|BDCbot|Birubot|BLEXBot|BUbiNG|BuiltBotTough|Bullseye|BunnySlippers|Butterfly|CamontSpider|CCBot|Cegbfeieh|claudebot|CheeseBot|CherryPicker|coccoc|CopyRightCheck|cosmos|crawler|Crescent|CyotekWebCopy|CyotekHTTP|DataForSeoBot|DeuSu|discobot|DittoSpyder|DnyzBot|DomainCrawler|DotBot|DownloadNinja|dcrawl|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Ezooms|facebookexternalhit|FairShare|Fasterfox|Fuzz|FeedBooster|Feedspotbot|Foobot|Genieo|GetIntentCrawler|Gigabot|GrapeshotCrawler|Go-http-client|GPTBot|Harvest|hloader|HTTrack|humanlinks|HybridBot|ieautodiscovery|Incutio|InfoNaviRobot|InternetSeer|ips-agent|IstellaBot|JamesBOT|JennyBot|JS-Kit|Jooblebot|k2spider|Kenjin|kmSearchBot|larbin|LexiBot|Linguee|LinkExchanger|LinkextractorPro|linko|LinkWalker|LinkpadBot|lmspider|LNSpiderguy|ltx71|lwp-trivial|magpie|MataHari|MaxPointCrawler|MegaIndex|memoryBot|MIIxpc|Mippin|MisterPiX|MJ12bot|MLBot|moget|MSIECrawler|msnbot|msnbot-media|NetAnts|NetcraftSurveyAgent|NICErsPRO|NjuiceBot|NPBot|Nutch|OfflineExplorer|OLEcrawler|Openfind|openstat.ru|panscient|PostRank|PetalBot|ProWebWalker|ptd-crawler|Purebot|PycURL|QueryNMetasearch|RepoMonkey|Riddler|RMA|Scrapy|SemrushBot|serf|SeznamBot|SISTRIX|SiteBot|SiteSnagger|Serpstat|Slurp|SnapPreviewBot|Sogou|Soup|SpankBot|spanner|spbot|Spinn3r|SpyFu|statdom.ru|SputnikBot|suggybot|SurveyBot|suzuran|Teleport|Telesoft|TheIntraformant|TheNomad|TightTwatBot|Titan|True_Robot|ttCrawler|turingos|TurnitinBot|TOBBOT|UbiCrawler|UnisterBot|URLyWarning|VCI|Vedma|Voyager|WBSearchBot|WebAuto|WebBandit|WebDataStats|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|webprosbot|WebSauger|WebStripper|WebZip|Wotbox|YottosBot|Yeti|Zao|Zeus|ZyBORG|python\-requests|ALittle\ Client|Apache\-HttpClient).*$ [NC]
RewriteRule . - [F,L]

Дописали в начало YaDirectFetcher

У нас работает)

из яндекс справки

Бот не использует файл robots поэтому сцука сканирует все подряд, особенно страницы фильтров в разных вариантах.

Поэтому на текущий момент, безжалостно блочим)

1 лайк

Спасибо)

Причина похоже была в этом - ⛔ Блокировка Роскомнадзор сайтов на Cloudflare - #2 от пользователя MIL
После отключения TLS 1.3 тормозить сайт перестал

1 лайк