OnCrawl
Zuletzt aktualisiert am 22. August 2025.
Was ist OnCrawl?
Über
Collect and analyze technical SEO data for large or complex websites
OnCrawl
Sehen Sie, wie oft OnCrawl Ihre Website besucht, indem Sie Spyglasses Analytics einrichten. Tracking einrichten
Haben Sie Mozilla/5.0 (compatible; OnCrawl/1.0; +http://www.oncrawl.com) in Ihren Logs gefunden?
Wenn Sie Mozilla/5.0 (compatible; OnCrawl/1.0; +http://www.oncrawl.com) in Ihren Website-Logs gesehen haben, zeigt das, dass OnCrawl Ihre Website besucht hat. Diese Agent-Zeichenkette ist einer der bekannten Identifikatoren für diesen Bot.
Verfolgen und verwalten Sie OnCrawl-Besuche auf Ihrer Website mit Spyglasses' Echtzeit-Bot-Erkennung. Tracking starten
Haben Sie Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; OnCrawl/1.0; +http://www.oncrawl.com) in Ihren Logs gefunden?
Wenn Sie Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; OnCrawl/1.0; +http://www.oncrawl.com) in Ihren Website-Logs gesehen haben, zeigt das, dass OnCrawl Ihre Website besucht hat. Diese Agent-Zeichenkette ist einer der bekannten Identifikatoren für diesen Bot.
Verfolgen und verwalten Sie OnCrawl-Besuche auf Ihrer Website mit Spyglasses' Echtzeit-Bot-Erkennung. Tracking starten
Erwartetes Verhalten
Web-Crawler besuchen Websites nach einem regelmäßigen Zeitplan, um Inhalte für Suchmaschinen oder andere Dienste zu indexieren. Sie folgen typischerweise einem konsistenten Crawling-Muster und respektieren robots.txt-Direktiven.
Sollte ich OnCrawl blockieren?
Dieser Bot ist als konform markiert, was bedeutet, dass er im Allgemeinen robots.txt-Direktiven respektiert und gute Praktiken befolgt. Sie können wählen, ihn zu erlauben, wenn Sie möchten, dass Ihre Inhalte für seine Dienste zugänglich sind.
Empfohlene Lösung
Anstatt robots.txt-Regeln manuell zu verwalten, verwenden Sie Spyglasses, um OnCrawl-Traffic automatisch mit Echtzeit-Analytics und flexiblen Blockierungsregeln zu erkennen und zu verwalten.
Automatisches Bot-Management erhaltenWie blockiere ich OnCrawl?
Sie können diesen Bot blockieren oder seinen Zugang beschränken, indem Sie User-Agent-Token-Regeln in der robots.txt-Datei Ihrer Website festlegen. Verwenden Sie Spyglasses Analytics, um zu überprüfen, ob er Ihre Regeln tatsächlich befolgt.
User-Agent-Token
OnCrawl\/Sollte Instanzen dieses Bots erkennenrobots.txt
# robots.txt # This should block OnCrawl User-agent: OnCrawl\/ Disallow: /
Anstatt dies manuell zu tun, verwenden Sie Spyglasses, um Ihre Regeln automatisch mit den neuesten KI-Agenten und Crawlern auf dem aktuellen Stand zu halten. Automatisches Bot-Management einrichten
OnCrawl-Traffic mit Spyglasses verwalten
Erhalten Sie Echtzeit-Benachrichtigungen, wenn Bots Ihre Website besuchen, generieren Sie automatisch robots.txt-Regeln und integrieren Sie Bot-Traffic-Daten in Ihre bestehenden Analytics-Tools.
Kostenlose Testversion starten