| Vorheriges Thema anzeigen :: Nächstes Thema anzeigen |
| Autor |
Nachricht |
Jakeonline Newbie


Anmeldungsdatum: Feb 12, 2006 Beiträge: 32
|
Verfasst am: Mo Jul 09, 2007 10:17 am Titel: bots per htaccess fernhalten |
|
|
Hi,
ich hab da was interessantes gefunden, dass jedem Webmaster helfen dürfte, bestimmte bots nicht mehr auf den eigenen Servern rumhausieren zu lassen.
Das Original ist auf Hinweis: Nur registrierte Benutzer haben die Möglichkeit in diesem Forum "Links" zu sehen! Bitte Registrieren oder Einloggen - Danke! | zu finden "Blocking Bots By HTAccess", das dann auf die Liste verlinkt, die auf Hinweis: Nur registrierte Benutzer haben die Möglichkeit in diesem Forum "Links" zu sehen! Bitte Registrieren oder Einloggen - Danke! | zu finden ist.
Es gibt auch noch eine top 10 der unerwünschten bots auf Hinweis: Nur registrierte Benutzer haben die Möglichkeit in diesem Forum "Links" zu sehen! Bitte Registrieren oder Einloggen - Danke! |
Die Liste ist natürlich nur so effektiv, wie aktuell sie auch gehalten wird.
Ich hab die bots in auf meinen Servern ausgeschlossen und mit einigen anderen ergänzt. Ist ja nicht so, das man damit ein Allheilmittel gefunden hätte aber immerhin etwas, das man in <1min erledigen kann.
Was haltet ihr davon? |
|
| Nach oben |
|
 |
Susann Moderator


Anmeldungsdatum: Jun 13, 2005 Beiträge: 443 Wohnort: Germany
|
Verfasst am: Mo Jul 09, 2007 12:52 pm Titel: |
|
|
Danke ! Es gibt zahllose dieser Listen im Netz. Diese scheint mir allerdings recht gut zu sein, dennoch übernehme ich persönlich ohne Überprüfung nie blindlings irgendwelche derartigen Einträge.
Eine eigene .htaccess mit Regeln für BadBots führe ich seitdem ich meine Webseite online gestellt habe.
Und ganz wichtig:
| Zitat: |
Die Liste ist natürlich nur so effektiv, wie aktuell sie auch gehalten wird.
|
|
|
| Nach oben |
|
 |
Locke Newbie


Anmeldungsdatum: Nov 24, 2005 Beiträge: 72
|
Verfasst am: Mo Jul 09, 2007 1:41 pm Titel: |
|
|
Hmmm, das ja gut und schön ich hab das hier in meine .htaccess getan.
| Code: | SetEnvIfNoCase User-Agent "Zeus" bad_bot
<Limit GET POST>
order allow,deny
allow from all
deny from env=bad_bot
</Limit> |
Und nochn paar andere.
Aber wo ist da eine Liste?
Ich sehe da keine. |
|
| Nach oben |
|
 |
ww_hoax Newbie


Anmeldungsdatum: May 18, 2006 Beiträge: 5
|
Verfasst am: Mo Jul 09, 2007 9:00 pm Titel: |
|
|
ich habe mich monatelang mit Bad Bots, Web Spam etc. herumgeärgert und ständig versucht meine .htaccess aktuell zu halten. Effektiv und effizient ist m. E. im Augenblick nur Hinweis: Nur registrierte Benutzer haben die Möglichkeit in diesem Forum "Links" zu sehen! Bitte Registrieren oder Einloggen - Danke! |
|
|
| Nach oben |
|
 |
BS1987 Newbie


Anmeldungsdatum: Jun 17, 2005 Beiträge: 55
|
Verfasst am: Mo Jul 09, 2007 9:53 pm Titel: |
|
|
benutzt doch einfach den Page Restrictor von Hinweis: Nur registrierte Benutzer haben die Möglichkeit in diesem Forum "Links" zu sehen! Bitte Registrieren oder Einloggen - Danke! | !!!!
.htaccess war gestern
| Zitat: | GEMEINSAM gegen
Content Grabber, Web Spam, Sauger, Hijacker, Duplicate Content ...
GEMEINSAM sammeln, identifizieren und sperren wir, was wir nicht länger tolerieren. Das sind u.a.:
Gästebuch Spam, Formular Spam, Forum Spam, Wiki Spam, Blog Spam, Referer Spam, Content Grabber, E-Mail Harvester, Scraper
... die Liste ist endlos. Ein bei uns frei erhältliches PHP Skript kann in die eigene Webpräsenz eingebunden werden und blockiert die Schädlinge. Das Skript aktualisiert sich (wie ein Virenscanner) von selbst mit neuen Sperrmerkmalen und Versionen. Das manuelle Bearbeiten von .htaccess Dateien war gestern! |
_________________
Hinweis: Nur registrierte Benutzer haben die Möglichkeit in diesem Forum "Links" zu sehen! Bitte Registrieren oder Einloggen - Danke! |
Zuletzt bearbeitet von BS1987 am Di Jul 10, 2007 11:20 pm, insgesamt einmal bearbeitet |
|
| Nach oben |
|
 |
Jakeonline Newbie


Anmeldungsdatum: Feb 12, 2006 Beiträge: 32
|
Verfasst am: Di Jul 10, 2007 5:25 pm Titel: |
|
|
@ Locke, dann versuch es mit einem anderen Browser. Mir wird ne lange Liste angezeigt.
| Code: |
Spiders and Bots .htaccess Ban List
May 19th, 2007
There will always be rogues that get through or new and better bots. You can’t block all of them but you CAN keep your server load down and your access streamlined to your target audience. For instance putting this in an .htaccess file will block a good amount:
SetEnvIfNoCase User-Agent "^abot" bad_bot
SetEnvIfNoCase User-Agent "^aipbot" bad_bot
SetEnvIfNoCase User-Agent "^asterias" bad_bot
SetEnvIfNoCase User-Agent "^EI" bad_bot
SetEnvIfNoCase User-Agent "^libwww-perl" bad_bot
SetEnvIfNoCase User-Agent "^LWP" bad_bot
SetEnvIfNoCase User-Agent "^lwp" bad_bot
SetEnvIfNoCase User-Agent "^MSIECrawler" bad_bot
SetEnvIfNoCase User-Agent "^nameprotect" bad_bot
SetEnvIfNoCase User-Agent "^PlantyNet_WebRobot" bad_bot
SetEnvIfNoCase User-Agent "^UCmore" bad_bot
SetEnvIfNoCase User-Agent "Alligator" bad_bot
SetEnvIfNoCase User-Agent "AllSubmitter" bad_bot
SetEnvIfNoCase User-Agent "Anonymous" bad_bot
SetEnvIfNoCase User-Agent "Asterias" bad_bot
SetEnvIfNoCase User-Agent "autoemailspider" bad_bot
SetEnvIfNoCase User-Agent "Badass" bad_bot
SetEnvIfNoCase User-Agent "Baiduspider" bad_bot
SetEnvIfNoCase User-Agent "BecomeBot" bad_bot
SetEnvIfNoCase User-Agent "Bitacle" bad_bot
SetEnvIfNoCase User-Agent "bladder\ fusion" bad_bot
SetEnvIfNoCase User-Agent "Blogshares\ Spiders" bad_bot
SetEnvIfNoCase User-Agent "Board\ Bot" bad_bot
SetEnvIfNoCase User-Agent "Board\ Bot" bad_bot
SetEnvIfNoCase User-Agent "Convera" bad_bot
SetEnvIfNoCase User-Agent "ConveraMultiMediaCrawler" bad_bot
SetEnvIfNoCase User-Agent "c-spider" bad_bot
SetEnvIfNoCase User-Agent "DA" bad_bot
SetEnvIfNoCase User-Agent "DnloadMage" bad_bot
SetEnvIfNoCase User-Agent "Download\ Demon" bad_bot
SetEnvIfNoCase User-Agent "Download\ Express" bad_bot
SetEnvIfNoCase User-Agent "Download\ Wonder" bad_bot
SetEnvIfNoCase User-Agent "dragonfly" bad_bot
SetEnvIfNoCase User-Agent "DreamPassport" bad_bot
SetEnvIfNoCase User-Agent "DSurf" bad_bot
SetEnvIfNoCase User-Agent "DTS Agent" bad_bot
SetEnvIfNoCase User-Agent "EBrowse" bad_bot
SetEnvIfNoCase User-Agent "eCatch" bad_bot
SetEnvIfNoCase User-Agent "edgeio" bad_bot
SetEnvIfNoCase User-Agent "Email\ Extractor" bad_bot
SetEnvIfNoCase User-Agent "EmailSiphon" bad_bot
SetEnvIfNoCase User-Agent "EmailWolf" bad_bot
SetEnvIfNoCase User-Agent "EmeraldShield" bad_bot
SetEnvIfNoCase User-Agent "ESurf" bad_bot
SetEnvIfNoCase User-Agent "Exabot" bad_bot
SetEnvIfNoCase User-Agent "ExtractorPro" bad_bot
SetEnvIfNoCase User-Agent "FileHeap!\ file downloader" bad_bot
SetEnvIfNoCase User-Agent "FileHound" bad_bot
SetEnvIfNoCase User-Agent "Forex" bad_bot
SetEnvIfNoCase User-Agent "Franklin\ Locator" bad_bot
SetEnvIfNoCase User-Agent "FreshDownload" bad_bot
SetEnvIfNoCase User-Agent "FrontPage" bad_bot
SetEnvIfNoCase User-Agent "FSurf" bad_bot
SetEnvIfNoCase User-Agent "Gaisbot" bad_bot
SetEnvIfNoCase User-Agent "Gamespy_Arcade" bad_bot
SetEnvIfNoCase User-Agent "genieBot" bad_bot
SetEnvIfNoCase User-Agent "GetBot" bad_bot
SetEnvIfNoCase User-Agent "GetRight" bad_bot
SetEnvIfNoCase User-Agent "Gigabot" bad_bot
SetEnvIfNoCase User-Agent "Go!Zilla" bad_bot
SetEnvIfNoCase User-Agent "Go-Ahead-Got-It" bad_bot
SetEnvIfNoCase User-Agent "GOFORITBOT" bad_bot
SetEnvIfNoCase User-Agent "heritrix" bad_bot
SetEnvIfNoCase User-Agent "HLoader" bad_bot
SetEnvIfNoCase User-Agent "HooWWWer" bad_bot
SetEnvIfNoCase User-Agent "HTTrack" bad_bot
SetEnvIfNoCase User-Agent "iCCrawler" bad_bot
SetEnvIfNoCase User-Agent "ichiro" bad_bot
SetEnvIfNoCase User-Agent "iGetter" bad_bot
SetEnvIfNoCase User-Agent "imds_monitor" bad_bot
SetEnvIfNoCase User-Agent "Industry\ Program" bad_bot
SetEnvIfNoCase User-Agent "Indy\ Library" bad_bot
SetEnvIfNoCase User-Agent "InetURL" bad_bot
SetEnvIfNoCase User-Agent "InstallShield\ DigitalWizard" bad_bot
SetEnvIfNoCase User-Agent "IRLbot" bad_bot
SetEnvIfNoCase User-Agent "IUPUI\ Research\ Bot" bad_bot
SetEnvIfNoCase User-Agent "Jakarta" bad_bot
SetEnvIfNoCase User-Agent "Java" bad_bot
SetEnvIfNoCase User-Agent "jeteye" bad_bot
SetEnvIfNoCase User-Agent "jeteyebot" bad_bot
SetEnvIfNoCase User-Agent "JoBo" bad_bot
SetEnvIfNoCase User-Agent "JOC\ Web\ Spider" bad_bot
SetEnvIfNoCase User-Agent "Kapere" bad_bot
SetEnvIfNoCase User-Agent "Larbin" bad_bot
SetEnvIfNoCase User-Agent "LeechGet" bad_bot
SetEnvIfNoCase User-Agent "LightningDownload" bad_bot
SetEnvIfNoCase User-Agent "Linkie" bad_bot
SetEnvIfNoCase User-Agent "Mac\ Finder" bad_bot
SetEnvIfNoCase User-Agent "Mail\ Sweeper" bad_bot
SetEnvIfNoCase User-Agent "Mass\ Downloader" bad_bot
SetEnvIfNoCase User-Agent "MetaProducts\ Download\ Express" bad_bot
SetEnvIfNoCase User-Agent "Microsoft\ Data\ Access" bad_bot
SetEnvIfNoCase User-Agent "Microsoft\ URL\ Control" bad_bot
SetEnvIfNoCase User-Agent "Missauga\ Locate" bad_bot
SetEnvIfNoCase User-Agent "Missauga\ Locator" bad_bot
SetEnvIfNoCase User-Agent "Missigua Locator" bad_bot
SetEnvIfNoCase User-Agent "Missouri\ College\ Browse" bad_bot
SetEnvIfNoCase User-Agent "Mister\ PiX" bad_bot
SetEnvIfNoCase User-Agent "MovableType" bad_bot
SetEnvIfNoCase User-Agent "Mozi!" bad_bot
SetEnvIfNoCase User-Agent "Mozilla/3.0 (compatible)" bad_bot
SetEnvIfNoCase User-Agent "Mozilla/5.0 (compatible; MSIE 5.0)" bad_bot
SetEnvIfNoCase User-Agent "MSIE_6.0" bad_bot
SetEnvIfNoCase User-Agent "MSIECrawler" badbot
SetEnvIfNoCase User-Agent "MVAClient" bad_bot
SetEnvIfNoCase User-Agent "MyFamilyBot" bad_bot
SetEnvIfNoCase User-Agent "MyGetRight" bad_bot
SetEnvIfNoCase User-Agent "NASA\ Search" bad_bot
SetEnvIfNoCase User-Agent "Naver" bad_bot
SetEnvIfNoCase User-Agent "NaverBot" bad_bot
SetEnvIfNoCase User-Agent "NetAnts" bad_bot
SetEnvIfNoCase User-Agent "NetResearchServer" bad_bot
SetEnvIfNoCase User-Agent "NEWT\ ActiveX" bad_bot
SetEnvIfNoCase User-Agent "Nextopia" bad_bot
SetEnvIfNoCase User-Agent "NICErsPRO" bad_bot
SetEnvIfNoCase User-Agent "NimbleCrawler" bad_bot
SetEnvIfNoCase User-Agent "Nitro\ Downloader" bad_bot
SetEnvIfNoCase User-Agent "Nutch" bad_bot
SetEnvIfNoCase User-Agent "Offline\ Explorer" bad_bot
SetEnvIfNoCase User-Agent "OmniExplorer" bad_bot
SetEnvIfNoCase User-Agent "OutfoxBot" bad_bot
SetEnvIfNoCase User-Agent "P3P" bad_bot
SetEnvIfNoCase User-Agent "PagmIEDownload" bad_bot
SetEnvIfNoCase User-Agent "pavuk" bad_bot
SetEnvIfNoCase User-Agent "PHP\ version" bad_bot
SetEnvIfNoCase User-Agent "playstarmusic" bad_bot
SetEnvIfNoCase User-Agent "Program\ Shareware" bad_bot
SetEnvIfNoCase User-Agent "Progressive Download" bad_bot
SetEnvIfNoCase User-Agent "psycheclone" bad_bot
SetEnvIfNoCase User-Agent "puf" bad_bot
SetEnvIfNoCase User-Agent "PussyCat" bad_bot
SetEnvIfNoCase User-Agent "PuxaRapido" bad_bot
SetEnvIfNoCase User-Agent "Python-urllib" bad_bot
SetEnvIfNoCase User-Agent "RealDownload" bad_bot
SetEnvIfNoCase User-Agent "RedKernel" bad_bot
SetEnvIfNoCase User-Agent "relevantnoise" bad_bot
SetEnvIfNoCase User-Agent "RepoMonkey\ Bait\ &\ Tackle" bad_bot
SetEnvIfNoCase User-Agent "RTG30" bad_bot
SetEnvIfNoCase User-Agent "SBIder" bad_bot
SetEnvIfNoCase User-Agent "script" bad_bot
SetEnvIfNoCase User-Agent "Seekbot" bad_bot
SetEnvIfNoCase User-Agent "SiteSnagger" bad_bot
SetEnvIfNoCase User-Agent "SmartDownload" bad_bot
SetEnvIfNoCase User-Agent "sna-" bad_bot
SetEnvIfNoCase User-Agent "Snap\ bot" bad_bot
SetEnvIfNoCase User-Agent "SpeedDownload" bad_bot
SetEnvIfNoCase User-Agent "Sphere" bad_bot
SetEnvIfNoCase User-Agent "sproose" bad_bot
SetEnvIfNoCase User-Agent "SQ\ Webscanner" bad_bot
SetEnvIfNoCase User-Agent "Stamina" bad_bot
SetEnvIfNoCase User-Agent "Star\ Downloader" bad_bot
SetEnvIfNoCase User-Agent "Teleport" bad_bot
SetEnvIfNoCase User-Agent "TurnitinBot" bad_bot
SetEnvIfNoCase User-Agent "UdmSearch" bad_bot
SetEnvIfNoCase User-Agent "URLGetFile" bad_bot
SetEnvIfNoCase User-Agent "User-Agent" bad_bot
SetEnvIfNoCase User-Agent "UtilMind\ HTTPGet" bad_bot
SetEnvIfNoCase User-Agent "WebAuto" bad_bot
SetEnvIfNoCase User-Agent "WebCapture" bad_bot
SetEnvIfNoCase User-Agent "webcollage" bad_bot
SetEnvIfNoCase User-Agent "WebCopier" bad_bot
SetEnvIfNoCase User-Agent "WebFilter" bad_bot
SetEnvIfNoCase User-Agent "WebReaper" bad_bot
SetEnvIfNoCase User-Agent "Website\ eXtractor" bad_bot
SetEnvIfNoCase User-Agent "WebStripper" bad_bot
SetEnvIfNoCase User-Agent "WebZIP" bad_bot
SetEnvIfNoCase User-Agent "Wells\ Search" bad_bot
SetEnvIfNoCase User-Agent "WEP\ Search\ 00" bad_bot
SetEnvIfNoCase User-Agent "Wget" bad_bot
SetEnvIfNoCase User-Agent "Wildsoft\ Surfer" bad_bot
SetEnvIfNoCase User-Agent "WinHttpRequest" bad_bot
SetEnvIfNoCase User-Agent "WWWOFFLE" bad_bot
SetEnvIfNoCase User-Agent "Xaldon\ WebSpider" bad_bot
SetEnvIfNoCase User-Agent "Y!TunnelPro" bad_bot
SetEnvIfNoCase User-Agent "YahooYSMcm" bad_bot
SetEnvIfNoCase User-Agent "Zade" bad_bot
SetEnvIfNoCase User-Agent "ZBot" bad_bot
SetEnvIfNoCase User-Agent "zerxbot" bad_bot
SetEnvIfNoCase User-Agent "Zeus" bad_bot
<Limit GET POST>
order allow,deny
allow from all
deny from env=bad_bot
</Limit>
Just add this to your .htaccess file.
|
@BS1987
Es gibt sicher viele Möglichkeiten die jeweils immer eine Stufe besser sind. Es gibt aber keine einzige Möglichkeit, die einfacher durch zu führen ist, wie eine .htaccess mit copy'n paste zu füllen
Wollte damit nicht sagen, dass es die beste Möglichkeit ist. Du kannst ja das Projekt mal in nem Topic vorstellen und genauer erklären  |
|
| Nach oben |
|
 |
ww_hoax Newbie


Anmeldungsdatum: May 18, 2006 Beiträge: 5
|
Verfasst am: Mi Jul 11, 2007 5:29 am Titel: |
|
|
na ja, vorstellen braucht man das Projekt nicht wirklich - gleichwohl ...
12062 gesperrte einzelne IPs (6658)
1287 gesperrte IP-Bereiche (1281)
271 gesperrte weitere Merkmale (269)
Die Mission des Page Restrictor
Der Page Restrictor ist ein frei erhaeltliches Script, welches sich selbststaendig und fortlaufend mit neuen Programmversionen aber auch Signaturen updated (automatisches update nur dann, wenn server-konfiguration es zulässt). Das heißt man installiert dieses Script einmalig auf seinem Server, bindet es bei sich ein, und muss sich fortan nicht mehr um
"Boese" IPs
"Boese" IP Bereiche
Referer Spammer
"Boese" Bots
Content Grabber
Webseiten Sauger
eine Integration in PHP-Nuke ist relativ leicht:
Hinweis: Nur registrierte Benutzer haben die Möglichkeit in diesem Forum "Links" zu sehen! Bitte Registrieren oder Einloggen - Danke! |
einfach registrieren, sich im Forum dort vorstellen und man erhält einen code zum herunterladen des scripts. wenn die serverkonfiguration ein automatisches update nicht zulässt, dann muss man eben das kleine script regelmäßig selbst hochladen.
vG |
|
| Nach oben |
|
 |
Susann Moderator


Anmeldungsdatum: Jun 13, 2005 Beiträge: 443 Wohnort: Germany
|
Verfasst am: Do Jul 26, 2007 6:23 pm Titel: |
|
|
Das weitaus größere internationale Projekt mit engagierten Mitstreitern aus über 100 Nationen im Kampf gegen Spammer ist:
Hinweis: Nur registrierte Benutzer haben die Möglichkeit in diesem Forum "Links" zu sehen! Bitte Registrieren oder Einloggen - Danke! |
Hab mich dort gleich mal registriert.  |
|
| Nach oben |
|
 |
Hacki Newbie


Anmeldungsdatum: Oct 26, 2006 Beiträge: 20 Wohnort: Ebersdorf /Thüringen
|
Verfasst am: So Jul 29, 2007 10:33 am Titel: |
|
|
hallo zusammen kann mir einer sagen wie ich die bannliste einbinde ?
wäre voll nett von euch ! _________________ Mfg HAcki
Nur Freiwillige Besucher sind gute Besucher |
|
| Nach oben |
|
 |
Susann Moderator


Anmeldungsdatum: Jun 13, 2005 Beiträge: 443 Wohnort: Germany
|
Verfasst am: So Jul 29, 2007 10:22 pm Titel: |
|
|
Wende dich dazu bitte an das entsprechende Forum, welches eine Banliste zum Einbinden anbietet. Das Thema lautet nämlich nach wie vor bannen per .htaccess und in Kombination mit NukeSentinel geht das recht flott.  |
|
| Nach oben |
|
 |
Hacki Newbie


Anmeldungsdatum: Oct 26, 2006 Beiträge: 20 Wohnort: Ebersdorf /Thüringen
|
Verfasst am: Mo Jul 30, 2007 2:29 pm Titel: |
|
|
ok also sozusagen die ip des bots raus suchen und die dann bannen weil die ja keine dynamische ip haben richtig ? _________________ Mfg HAcki
Nur Freiwillige Besucher sind gute Besucher |
|
| Nach oben |
|
 |
Susann Moderator


Anmeldungsdatum: Jun 13, 2005 Beiträge: 443 Wohnort: Germany
|
Verfasst am: Mo Jul 30, 2007 3:41 pm Titel: |
|
|
Nein,Bots können durchaus unterschiedliche, vielfältige IPs haben mit denen sie auf deine Seite zugreifen.Beispiel: Googlebot oder MJ12bot.Daher bringt es wenig 1 einzelne IP davon zu sperren , sondern den Namen des Bots via .htaccess oder über NukeSentinel bzw robots.txt, die aber von Bad Bots ignoriert wird.
unabhängig davon kannst du natürlich deny from für IP Adressen mit oder ohne cidr in der .htaccess verwenden. |
|
| Nach oben |
|
 |
|