BuiltWith Crawler

Zuletzt aktualisiert vor 1 Stunde.

Konform

Was ist BuiltWith Crawler?

Über

The BuiltWith system visits a website to determine the technology profile it is using by looking at the publicly visible code on a website.

Betreiber

BuiltWith

Dokumentationbuiltwith.com

Sehen Sie, wie oft BuiltWith Crawler Ihre Website besucht, indem Sie Spyglasses Analytics einrichten. Tracking einrichten

Haben Sie BW/1.1; bit.ly/3eZNDnO in Ihren Logs gefunden?

Wenn Sie BW/1.1; bit.ly/3eZNDnO in Ihren Website-Logs gesehen haben, zeigt das, dass BuiltWith Crawler Ihre Website besucht hat. Diese Agent-Zeichenkette ist einer der bekannten Identifikatoren für diesen Bot.

BW/1.1; bit.ly/3eZNDnO

Verfolgen und verwalten Sie BuiltWith Crawler-Besuche auf Ihrer Website mit Spyglasses' Echtzeit-Bot-Erkennung. Tracking starten

Haben Sie BW/1.1; rb.gy/oupwis in Ihren Logs gefunden?

Wenn Sie BW/1.1; rb.gy/oupwis in Ihren Website-Logs gesehen haben, zeigt das, dass BuiltWith Crawler Ihre Website besucht hat. Diese Agent-Zeichenkette ist einer der bekannten Identifikatoren für diesen Bot.

BW/1.1; rb.gy/oupwis

Verfolgen und verwalten Sie BuiltWith Crawler-Besuche auf Ihrer Website mit Spyglasses' Echtzeit-Bot-Erkennung. Tracking starten

Erwartetes Verhalten

Dieser Bot besucht Websites für verschiedene Zwecke, einschließlich Inhaltsanalyse, Datensammlung oder automatisierte Aufgaben. Sein Verhalten kann je nach spezifischer Funktion und Konfiguration variieren.

Sollte ich BuiltWith Crawler blockieren?

Dieser Bot ist als konform markiert, was bedeutet, dass er im Allgemeinen robots.txt-Direktiven respektiert und gute Praktiken befolgt. Sie können wählen, ihn zu erlauben, wenn Sie möchten, dass Ihre Inhalte für seine Dienste zugänglich sind.

Empfohlene Lösung

Anstatt robots.txt-Regeln manuell zu verwalten, verwenden Sie Spyglasses, um BuiltWith Crawler-Traffic automatisch mit Echtzeit-Analytics und flexiblen Blockierungsregeln zu erkennen und zu verwalten.

Automatisches Bot-Management erhalten

Wie blockiere ich BuiltWith Crawler?

Sie können diesen Bot blockieren oder seinen Zugang beschränken, indem Sie User-Agent-Token-Regeln in der robots.txt-Datei Ihrer Website festlegen. Verwenden Sie Spyglasses Analytics, um zu überprüfen, ob er Ihre Regeln tatsächlich befolgt.

User-Agent-Token

^BW\/Sollte Instanzen dieses Bots erkennen

robots.txt

# robots.txt
# This should block BuiltWith Crawler

User-agent: ^BW\/
Disallow: /

Anstatt dies manuell zu tun, verwenden Sie Spyglasses, um Ihre Regeln automatisch mit den neuesten KI-Agenten und Crawlern auf dem aktuellen Stand zu halten. Automatisches Bot-Management einrichten

BuiltWith Crawler-Traffic mit Spyglasses verwalten

Erhalten Sie Echtzeit-Benachrichtigungen, wenn Bots Ihre Website besuchen, generieren Sie automatisch robots.txt-Regeln und integrieren Sie Bot-Traffic-Daten in Ihre bestehenden Analytics-Tools.

Kostenlose Testversion starten