WellKnownBot

Zuletzt aktualisiert am 24. August 2025.

KonformCrawler

Was ist WellKnownBot?

Über

Well-Known is a free, open index of well-known resources. It scans millions of domains at regular intervals, compiling a searchable database of structured well-known resource data.

Betreiber

well-known

Dokumentationwell-known.dev

Sehen Sie, wie oft WellKnownBot Ihre Website besucht, indem Sie Spyglasses Analytics einrichten. Tracking einrichten

Haben Sie Mozilla/5.0 (compatible; WellKnownBot/0.1; +https://well-known.dev/about/#bot) in Ihren Logs gefunden?

Wenn Sie Mozilla/5.0 (compatible; WellKnownBot/0.1; +https://well-known.dev/about/#bot) in Ihren Website-Logs gesehen haben, zeigt das, dass WellKnownBot Ihre Website besucht hat. Diese Agent-Zeichenkette ist einer der bekannten Identifikatoren für diesen Bot.

Mozilla/5.0 (compatible; WellKnownBot/0.1; +https://well-known.dev/about/#bot)

Verfolgen und verwalten Sie WellKnownBot-Besuche auf Ihrer Website mit Spyglasses' Echtzeit-Bot-Erkennung. Tracking starten

Erwartetes Verhalten

Web-Crawler besuchen Websites nach einem regelmäßigen Zeitplan, um Inhalte für Suchmaschinen oder andere Dienste zu indexieren. Sie folgen typischerweise einem konsistenten Crawling-Muster und respektieren robots.txt-Direktiven.

Sollte ich WellKnownBot blockieren?

Dieser Bot ist als konform markiert, was bedeutet, dass er im Allgemeinen robots.txt-Direktiven respektiert und gute Praktiken befolgt. Sie können wählen, ihn zu erlauben, wenn Sie möchten, dass Ihre Inhalte für seine Dienste zugänglich sind.

Empfohlene Lösung

Anstatt robots.txt-Regeln manuell zu verwalten, verwenden Sie Spyglasses, um WellKnownBot-Traffic automatisch mit Echtzeit-Analytics und flexiblen Blockierungsregeln zu erkennen und zu verwalten.

Automatisches Bot-Management erhalten

Wie blockiere ich WellKnownBot?

Sie können diesen Bot blockieren oder seinen Zugang beschränken, indem Sie User-Agent-Token-Regeln in der robots.txt-Datei Ihrer Website festlegen. Verwenden Sie Spyglasses Analytics, um zu überprüfen, ob er Ihre Regeln tatsächlich befolgt.

User-Agent-Token

WellKnownBotSollte Instanzen dieses Bots erkennen

robots.txt

# robots.txt
# This should block WellKnownBot

User-agent: WellKnownBot
Disallow: /

Anstatt dies manuell zu tun, verwenden Sie Spyglasses, um Ihre Regeln automatisch mit den neuesten KI-Agenten und Crawlern auf dem aktuellen Stand zu halten. Automatisches Bot-Management einrichten

WellKnownBot-Traffic mit Spyglasses verwalten

Erhalten Sie Echtzeit-Benachrichtigungen, wenn Bots Ihre Website besuchen, generieren Sie automatisch robots.txt-Regeln und integrieren Sie Bot-Traffic-Daten in Ihre bestehenden Analytics-Tools.

Kostenlose Testversion starten