ArchiveBot
Zuletzt aktualisiert am 4. Januar 2026.
Traffic Activity
No traffic data available yet
Check back later for activity insights
Was ist ArchiveBot?
Über
ArchiveBot is an IRC bot designed to automate the archival of smaller websites (e.g. up to a few hundred thousand URLs). You give it a URL to start at, and it grabs all content under that URL, records it in a WARC file, and then uploads that WARC to ArchiveTeam servers for eventual injection into the Internet Archive's Wayback Machine (or other archive sites). NOTE: This bot is NOT run by the Internet Archive! Learn more: https://github.com/ArchiveTeam/ArchiveBot
Sehen Sie, wie oft ArchiveBot Ihre Website besucht, indem Sie Spyglasses Analytics einrichten. Tracking einrichten
Haben Sie ArchiveTeam ArchiveBot/20170106.02 (wpull 2.0.2) in Ihren Logs gefunden?
Wenn Sie ArchiveTeam ArchiveBot/20170106.02 (wpull 2.0.2) in Ihren Website-Logs gesehen haben, zeigt das, dass ArchiveBot Ihre Website besucht hat. Diese Agent-Zeichenkette ist einer der bekannten Identifikatoren für diesen Bot.
Verfolgen und verwalten Sie ArchiveBot-Besuche auf Ihrer Website mit Spyglasses' Echtzeit-Bot-Erkennung. Tracking starten
Erwartetes Verhalten
Web-Crawler besuchen Websites nach einem regelmäßigen Zeitplan, um Inhalte für Suchmaschinen oder andere Dienste zu indexieren. Sie folgen typischerweise einem konsistenten Crawling-Muster und respektieren robots.txt-Direktiven.
Sollte ich ArchiveBot blockieren?
Dieser Bot ist als nicht-konform markiert, was bedeuten kann, dass er robots.txt nicht respektiert oder aggressives Crawling-Verhalten zeigt. Sie sollten erwägen, ihn zu blockieren, wenn er Probleme für Ihre Website verursacht.
Empfohlene Lösung
Anstatt robots.txt-Regeln manuell zu verwalten, verwenden Sie Spyglasses, um ArchiveBot-Traffic automatisch mit Echtzeit-Analytics und flexiblen Blockierungsregeln zu erkennen und zu verwalten.
Automatisches Bot-Management erhaltenWie blockiere ich ArchiveBot?
Sie können diesen Bot blockieren oder seinen Zugang beschränken, indem Sie User-Agent-Token-Regeln in der robots.txt-Datei Ihrer Website festlegen. Verwenden Sie Spyglasses Analytics, um zu überprüfen, ob er Ihre Regeln tatsächlich befolgt.
User-Agent-Token
ArchiveBotSollte Instanzen dieses Bots erkennenrobots.txt
# robots.txt # This should block ArchiveBot User-agent: ArchiveBot Disallow: /
Anstatt dies manuell zu tun, verwenden Sie Spyglasses, um Ihre Regeln automatisch mit den neuesten KI-Agenten und Crawlern auf dem aktuellen Stand zu halten. Automatisches Bot-Management einrichten
ArchiveBot-Traffic mit Spyglasses verwalten
Erhalten Sie Echtzeit-Benachrichtigungen, wenn Bots Ihre Website besuchen, generieren Sie automatisch robots.txt-Regeln und integrieren Sie Bot-Traffic-Daten in Ihre bestehenden Analytics-Tools.
Kostenlose Testversion starten