Skocz do zawartości
Forum komputerowe

Wysoki ruch na witrynie przez "bot[\s_ :,\.\;\/\\-]"


Rekomendowane odpowiedzi

  • Ekspert

Witam, mam problem dotyczący wysokiego ruchu na witrynie przez bota, którego AWstats określa jako "bot[\s_ :,\.\;\/\\-]", indeksuję on niemiłosierne ilości stąd moje pytanie czy jest złośliwym crawlerem, czy odwrotnie? Prosiłbym bym kolegów z większym doświadczeniem o opinie i ewentualne metody zablokowania go, bo jak mniemam 

RewriteCond %{HTTP_USER_AGENT} bot[\ _+:,.;/\\-] [NC]

Jest zbyt ogólnikowe i może nieść, ze sobą dodatkowe straty, jakieś rady?

Odnośnik do odpowiedzi
Udostępnij na innych stronach

Pogrzebalem troche na Uk forach i to znalazłem, może pomoże/

You can use the following to deny requests for bot[\s_ :,.\;/\-]

SetEnvIfNoCase user-agent bot\[.+\]|mj12bot|baiduspider bad_bot=1
Order Allow,Deny
Allow from all
Deny from env=bad_bot

To block multiple user-agents, you may use:

SetEnvIfNoCase user-agent bot\[.+\]|.*mj12bot.*|.*baiduspider.* bad_bot=1
Order Allow,Deny
Allow from all
Deny from env=bad_bot

 

Odnośnik do odpowiedzi
Udostępnij na innych stronach
  • Założyciel

Dziwaczna nazwa tego bota sprawia że trudno go zablokować. Znak | oznacza "or" możesz dodać kilka botów w jednej linijce.

Spróbuj tak

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} (bot[\ _+:,.;/\\-]|EvilBot|Feedly) [NC]
RewriteRule .* - [F]
</ifModule>

 

Odnośnik do odpowiedzi
Udostępnij na innych stronach

Problem wciąż nierozwiązany? Dodaj swoją odpowiedź

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto. Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się
×
×
  • Dodaj nową pozycję...