• Wenn du hier im Forum ein neues Thema erstellst, sind schon Punkte aufgeführt die du ausfüllen musst. Das dient im Allgemeinen dazu die notwendigen Informationen direkt mit der Frage bereitzustellen.
    Da in letzter Zeit immer wieder gerne das Formular gelöscht wurde und erst nach 3 Seiten Nachfragen die benötigten Infos für eine Hilfe kommen, werde ich nun jede Fragestellung die nicht einmal annähernd das Formular benutzt, sofort in den Sondermüll schicken.
    Füllt einfach die abgefragte Daten aus und alle können euch viel schneller helfen.

XF2.2 Extreme Zugriffe ... was ist da los? Wie Bots aussperren?

Stefan

Stefan

Bekanntes Mitglied
Lizenzinhaber
Registriert
9. Juni 2013
Beiträge
469
Punkte
108
Eigentlich haben wir immer so ca. 500 Besucher aktiv. Aber heute sind es kurz mal 1400 oder um die 1000 und dann wieder alles okay. Aber im Reiter Bots sehe ich nur maximal 7 Seiten. Zurzeit aktive Besucher

Auch habe ich schon in der htaccess all das eingetragen:
Um diese Inhalte anzuzeigen, benötigen wir die Zustimmung zum Setzen von Drittanbieter-Cookies.
Für weitere Informationen siehe die Seite Verwendung von Cookies.
hat nur nichts gebracht. Habt ihr eine Empfehlung? Könnte mir vorstellen, dass wegen KI viele Foren "ausgesaugt" werden. Wie kann ich das unterbinden bzw. mich schützen?
 
Das Thema hatten wir erst:

Da findest du auch einige Tipps wie man die größten Nervensägen/Bots los wird. :cool:

Ansehenswert:

7G Firewall | Perishable Press

The 7G Firewall is here! 7G is now out of beta and ready for production sites. So you can benefit from the powerful protection of the latest nG Firewall...
perishablepress.com perishablepress.com


xenforo.com

Known Bots

This XenForo 2.x addon adds additional definitions for bot detection in sessions. This allows more accurate indication of the number of users vs robots online at any given time. New bot definitions are pulled automatically via API and potential...
xenforo.com xenforo.com


www.xendach.de

Xenforo - Spamers Mail-Domains - eine Mitmach-Sperrliste

Ich hab immer mal wieder wellen von Spamern die die üblichen Abwehrmaßnahmen scheinbar knacken, aber mit ihrem Registrierungssystem auffallen: Beispiele: Oder Mail-Domains wie @mailbab.com Und für letztere hat man ja ne nette Sperrlistenfunktion in Xenforo unter: admin.php?banning/emails...
www.xendach.de www.xendach.de
 
Hi Otto, vielen Dank für die schnelle Antwort. Ich habe jetzt 8G Firewall eingefügt und auch Know Bots. Angeblich ca. 90 Bots. Aber wie bekomme ich z. B. den (Proximic) jetzt gesperrt?

der ist ja in 8G Firewall schon enthalten (siehe Bild) 1712748226291.png
1712748113963.png
 
Hat bisher 0 gebracht. Die Bots werden sogar immer mehr! Regulär haben wir nur 300 - 450 Besucher.
1712749453405.png
 
Zuletzt bearbeitet:
Also - mehr, werden es durch die 7G oder 8G Firewall sicher nicht. ;)

Wenn es dir nur um den einen Bot geht, kann ich mir das heut Abend mal anschauen und eine Lösung tippen. :)

Bis dahin bitte mal das oben vorgeschlagene Addon installieren (Known Bots) damit wird dann heut Abend damit arbeiten können.

Ist denn Mod-Rewrite überhaupt verfügbar?
Weil die Regeln greifen ja nur, wenn das Modul installiert und aktiv ist.
 
Ja, Mod Rewrite ist verfügbar, sonst würde es ja gar nicht die Suchmaschinen freundlichen Links geben, oder?

Kann denn ein Bot gleich sozusagen mehrere Gäste sein? Weil das würde ja dann die hohe Zahl der Gäste erklären. Eigentlich möchte ich fast alle Bots raus haben, außer Google und Bing ... alle anderen sind ja nicht wirklich relevant, oder?
 
Gute Frage - ich weiß nicht wie Xenforo es hanhabt wenn ein Bot viele Zugriffe macht. Ob der dann als ein Bot zu sehen ist oder als X-Bots. Aber wenn ein Bot einen Useragent und eine IP hat wird Xenforo den auch als einen einzigen Bot führen. Weicht die IP oder der Useragent ab, dann als mehrere würde ich denken.

Wie gesagt, installier Known Bots, das gibt dir ne nette Liste aller Bots und dann kann man die später gezielt aussperren.
 
Wäre es nicht einfacher, man stellt es so ein, dass nur Google, Bing und paar weitere erlaubt werden, der Rest darf nicht rauf als Bot? Oder geht das nicht?

Hier meine Liste von Known Bots:

Recently seen bots​

Other user agents​

  • Anthill
  • Googlebot (+What Is Googlebot | Google Search Central | Documentation | Google for Developers))
  • MindManager
  • Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; GTB7.3; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)
  • Mozilla/5.0 (compatible; OGDWCtxCrawler)
  • Mozilla/5.0 (compatible; Paqlebot/2.0; +http://www.paqle.dk/about/paqlebot)
  • Mozilla/5.0 (compatible; TTD-Content; +https://www.thetradedesk.com/general/ttd-content)
  • Mozilla/5.0 (compatible; wpbot/1.0; +https://forms.gle/ajBaxygz9jSR8p8G9)
  • Mozilla/5.0 (iPhone; CPU OS 17_4_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) 1Password/7.10.2 (like Version/17.4.1 Mobile/21E236 Safari/600.1.4)
  • Mozilla/5.0 (Linux 6.1.0; ; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.234 Not_A Brand/8 YaBrowser/24.1.1.940 Yowser/2.5 Safari/537.36
  • Mozilla/5.0 (Linux 6.1.46; ; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.5938.132 Not;A=Brand/8 Safari/537.36
  • Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko; compatible; PulsePoint-Crawler) Chrome/120.0.0.0 Safari/537.36
  • Mozilla/5.0 (PlayStation 4 5.55) AppleWebKit/601.2 (KHTML, like Gecko)
  • Mozilla/5.0 (Windows; U; Windows NT 6.2; de; rv:1.9.2.6) Gecko/20100625 Firefox/ Anonymisiert durch AlMiSoft Browser-Anonymisierer 53669346
  • Mozilla/5.0 (Windows NT 6.1; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.5414.120 Chrome/109.0.5414.120 Not_A Brand/99 Safari/537.36
  • Mozilla/5.0 (Windows NT 6.1; Win64; x64; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.5414.120 Chrome/109.0.5414.120 Not_A Brand/99 Safari/537.36
  • Mozilla/5.0 (Windows NT 6.1; Win64; x64; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.291 Not_A Brand/8 YaBrowser/24.1.5.736 Yowser/2.5 Safari/537.36
  • Mozilla/5.0 (Windows NT 6.3; Win64; x64; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.5414.168 Chrome/109.0.5414.168 Not_A Brand/99 Safari/537.36
  • Mozilla/5.0 (Windows NT 10.0.0; Win64; x64; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.291 Not_A Brand/8 YaBrowser/24.1.5.736 Yowser/2.5 Safari/537.36
  • Mozilla/5.0 (Windows NT 10.0.0; WOW64; Win64; x64; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.291 Not_A Brand/8 YaBrowser/24.1.5.738 Yowser/2.5 Safari/537.36
  • Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 eM Client/9.2.2157.0
  • Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 eM Client/9.2.2230.0
  • Mozilla/5.0 (Windows NT 10.0; Win64; x64; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.291 Not_A Brand/8 YaBrowser/24.1.5.736 Yowser/2.5 Safari/537.36
  • Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:71.0) Gecko/20100101 Firefox/71.0, Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:71.0) Gecko/20100101 Firefox/71.0
  • Mozilla/5.0 (Windows NT 10.0| WOW64| rv:49.0) Gecko/20100101 Firefox/49.0
  • Mozilla/5.0 (Windows NT 14.0.0; Win64; x64; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.291 Not_A Brand/8 YaBrowser/24.1.5.736 Yowser/2.5 Safari/537.36
  • Mozilla/5.0 (Windows NT 15.0.0; Win64; x64; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.291 Not_A Brand/8 YaBrowser/24.1.4.827 Yowser/2.5 Safari/537.36
  • Mozilla/5.0 (Windows NT 15.0.0; Win64; x64; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.291 Not_A Brand/8 YaBrowser/24.1.5.736 Yowser/2.5 Safari/537.36
  • Mozilla/5.0 (Windows NT ; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123 Chrome/123 Not:A-Brand/8 Safari/537.36
  • Mozilla/5.0 (X11; FreeBSD amd64; rv:55.0) Gecko/20100101 Firefox/55.0
  • Mozilla/5.0 (X11; U; Linux i586; en-US; rv:1.7.3) Gecko/20040924 Epiphany/1.4.4 (Ubuntu)
  • Neticle Crawler v1.0 ( https://neticle.com/bot/en/ )
  • uipbot/1.0 (uipbot@semasio.net)
Zum Vergrößern anklicken....
 
Stefan schrieb:
Wäre es nicht einfacher, man stellt es so ein, dass nur Google, Bing und paar weitere erlaubt werden, der Rest darf nicht rauf als Bot? Oder geht das nicht?
Zum Vergrößern anklicken....
Theoretisch geht das, aber auch Google hat X-Bots und dann gibts glaub auch noch einen von Xenforo, ... kurz um: es ist ein Minenfeld. ;)

Du hast ja nun übersichtlich die Bots und deren Kennung - damit könnte man nun die Firewall füttern und die ungeliebten aussperren.
Bei mir klappt das per 7G oder 8G Firewall bestens - nach dem eintragen der Kennung und speichern kann man zuschauen wie sich die Listen leeren um die gesperrten Bots.

Wichtig ist freilich die Firewall Regeln in eine htaccess zu werfen die im Root Verzeichnis liegt.
 
Ich hatte vorgestern auch - trotz cloudflare tunstile Spamschutz, 2 Spam-Accounts die durch gekommen sind, davor und seither ist erstmal wieder Ruhe. Laut IP aus der USA, aber das hat nicht viel zu sagen und dank internationaler Ausrichtung kann ich in dem Forum halt auch amerikanische Aufrufe nicht einfach blocken.
Allerdings hab ich meine Beitrags-Spamfilter mal wieder um ein paar auffällige Phrasen erweitert... mal schauen.

Im Endeffekt ist es ein Kampf gegen Windmühlen und man muss einen Kompromiss eingehen zwischen dem echten Nutzer so einfach wie möglich Zugang ermöglichen und den Bots und Spamern es so schwer wie möglich zu machen bei vertretbarem Aufwand.

KI wir da alles eher noch verschlimmern, weil KI auch Deppen-Spamern den Zugang erleichtert. Die Frage ist, wird es ein Kampf KI-Antispam vs. KI-Spamer und wir sind die Deppen die dafür die Zeche zu zahlen haben?

Als letzter Ausweg bliebe nur eine manuelle Freischaltung von Accounts und den ersten x Beiträgen von Nutzern...


Was die Bots angeht, wird man Gästen wohl doch den Zugang etwas mehr einschränken müssen wenn man inhaltlich nicht komplett zum Nulltarif ausgenommen und dann ersetzt werden möchte.
 
Schade, dass xenforo von Haus aus nicht viel mitbringt ... weil wenn das so weitergeht, ist unser Server bald down ... das ist einfach zu viel Traffic
 
Naja, Xenforo bringt eigentlich schon ne Menge von Haus aus mit und für mehr gibts durchaus genug Addons und alles was dann nicht abgedeckt ist, muss man wohl oder übel mit Moderatoren und der Hilfe von Nutzern abdecken.

Bots sind aber tatsächlich zu einer echten Seuche geworden. :-(

Hast du es nun eigentlich mit einer Whitelist probiert? Wie sind da deine Einstellungen?
 
Wie macht man das mit einer Whitelist? Hast du ein Beispiel für mich? So könnte man wirklich nur Google und Bing erlauben uns zu crawlen und gut ist.
 
... ich dachte du hattest das schon so. Müsste ich mir auch erst anschauen wie das geht, bei mir läufts noch per Blacklist.
 
Nein, nur die Blacklist mit tausenden von Einträgen ...
 
Viele Bots, die bei mir auftauchen, laufen bei Amazon AWS. Die meisten sind penetrant lästig und trotz Sperren versuchen sie es tage- oder wochenlang weiter. Wahrscheinlich haben die sich irgendwann die Sitemap gezogen und versuchen jetzt trotz Sperre einfach alle aufgelisteten Seiten aus der Sitemap aufzurufen, um KI-Trainingsdaten zu bekommen.
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
Zurück
Oben