Здравейте,

в .htaccess файла си съм задал някои правила, които да блокират дадени "недобронамерени" ботове.

RewriteCond %{HTTP_USER_AGENT} ^(.*)MJ12bot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)SolomonoBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)Yeti [NC,OR]
# RewriteCond %{HTTP_USER_AGENT} ^(.*)Mail.Ru [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)Ezooms [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)AhrefsBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^bot* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^spider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^robot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)exabot [NC]
RewriteRule .* - [F]

Може би и те блокират Netpeak Spider софтуера да обходи сайта ми.
Ако коментирам последния ред RewriteRule .* - [F], то софтуера обхожда сайта ми.
Има ли някакъв друг вариант с който мога да разрежа вашия бот да обходи сайта ми?
Последния път забравих да откоментирам последния ред и получих мейл от хосинга си за надхвърлено процесорно време (дължашо се сигурно на останалите ботове) :)

Благодаря предварително

ModEdit: Моля, прочетете правилата на форума преди да пускате нова тема.