Crawler

seoboxbot – unser Crawler

Sie haben seoboxbot in Ihren Server-Protokollen gefunden? Hier steht, was er tut und wie Sie ihn steuern können.

Wer ist seoboxbot?

seoboxbot ist der Crawler von seobox.de, betrieben von der sourceWAY GmbH in Aachen. Er ruft öffentlich zugängliche Seiten ab, um sie auf technische und inhaltliche Merkmale für Suchmaschinen zu prüfen:

im Auftrag von Website-Betreibern, die einen Monatsbericht gebucht haben,
wenn jemand eine Adresse in eines unserer kostenlosen Tools eingibt,
für den täglichen Schnellcheck gebuchter Websites.

Wir verkaufen keine abgerufenen Inhalte und nutzen sie nicht zum Training von KI-Modellen.

User-Agent

Mozilla/5.0 (compatible; seoboxbot/1.0; +https://seobox.de/seoboxbot)

So verhält sich seoboxbot

robots.txt: Mehrseitige Prüfungen (Monatsbericht, Probe-Bericht, Kaputte-Links-Prüfer) beachten die robots.txt. Es gilt die Gruppe seoboxbot, sonst die Gruppe *.
Einzelabrufe: Gibt jemand ausdrücklich eine einzelne Adresse in ein Tool ein, rufen wir genau diese Adresse einmal ab – so wie ein Browser.
Rücksicht: höchstens 2 Abrufe pro Sekunde und Website, höchstens zwei gleichzeitig. Ein Crawl-delay in der robots.txt beachten wir bis zu fünf Sekunden.
Grenzen: Kostenlose Prüfungen sind auf eine Domain und 100 Seiten beschränkt.
Kein Login: seoboxbot füllt keine Formulare aus und meldet sich nirgends an.

seoboxbot aussperren oder begrenzen

Ganz aussperren:

User-agent: seoboxbot
Disallow: /

Nur bestimmte Bereiche aussperren und langsamer abrufen lassen:

User-agent: seoboxbot
Disallow: /intern/
Crawl-delay: 3

Testen können Sie Ihre Regeln mit unserem robots.txt-Tester.

IP-Adressen

seoboxbot ruft Seiten ausschließlich von diesen Adressen ab:

89.36.33.190
2a14:6780:ff:b::1

Anfragen mit unserem User-Agent von anderen Adressen stammen nicht von uns.

Probleme melden

Verursacht seoboxbot Probleme auf Ihrem Server? Schreiben Sie uns an info@seobox.de. Nennen Sie bitte Ihre Domain und den Zeitraum. Wir kümmern uns umgehend darum.