Skocz do zawartości

Lista złych i dobrych robotów indeksujących. Pozbądź się szpiegów!


Gość
 Udostępnij

Rekomendowane odpowiedzi

Cześć. Prezentuję moją listę złych i dobrych robotów internetowych/indeksujących które codziennie przeszukują nasze strony i zżerają niepotrzebny transfer. Polecam zablokować złe boty przez plik robots.txt bądź w usłudze CloudFlare lub w ostateczności przez plik htaccess. Jak zablokować takie roboty opiszę na samym dole postu.

Lista dobrych robotów indeksujących

  • Applebot
  • baiduspider
  • Bingbot
  • Discordbot
  • facebookexternalhit
  • Googlebot
  • Googlebot-Image
  • ia_archiver
  • LinkedInBot
  • msnbot
  • Pinterestbot
  • SeznamBot
  • Slurp
  • TelegramBot
  • Twitterbot
  • Yandex
  • Yeti
  • DuckDuckBot
  • AOL

Lista złych robotów indeksujących

  • MJ12bot
  • SemrushBot
  • DotBot
  • BLEXBot
  • Qwantify
  • MegaIndex.ru
  • AnoMail
  • SiteBot
  • SentiBot
  • heritrix
  • YoudaoBot
  • 360Spider
  • Barkrowler

Pełną listę złych robotów, aktualizowaną na bieżąco można znaleźć tu: mitchellkrogza/apache-ultimate-bad-bot-blocker.

Blokada złych robotów w pliku robots.txt

Dodaj poniższą regułkę do swojego pliku.

User-agent: dotbot

Disallow: /

W przypadku chęci blokady kolejnego bota, należy dodać ponownie taką samą linijkę pod spodem z nazwą wybranego bota

User-agent: dotbot

Disallow: /

User-agent: BLEXBot

Disallow: /

Blokada złych robotów przez htaccess.

Dodaj poniższą regułkę do swojego pliku.

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} DotBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} BLEXBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} SeznamBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} MegaIndex.ru [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Adsbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} AnoMail [NC,OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} SentiBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} heritrix [NC,OR]
RewriteCond %{HTTP_USER_AGENT} YoudaoBot [NC]
RewriteRule .* - [F,L]
</IfModule>

Myślę że taki mini poradnik się komuś przyda. Pozdrawiam.

Odnośnik do komentarza
Udostępnij na innych stronach

Problem wciąż nierozwiązany? Dodaj swoją odpowiedź

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto. Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się
 Udostępnij

×