ArchiveBot
Zuletzt aktualisiert vor 1 Stunde.
Was ist ArchiveBot?
Über
ArchiveBot is an IRC bot designed to automate the archival of smaller websites (e.g. up to a few hundred thousand URLs). You give it a URL to start at, and it grabs all content under that URL, records it in a WARC file, and then uploads that WARC to ArchiveTeam servers for eventual injection into the Internet Archive's Wayback Machine (or other archive sites). NOTE: This bot is NOT run by the Internet Archive! Learn more: https://github.com/ArchiveTeam/ArchiveBot
Sehen Sie, wie oft ArchiveBot Ihre Website besucht, indem Sie Spyglasses Analytics einrichten. Tracking einrichten
Haben Sie ArchiveTeam ArchiveBot/20170106.02 (wpull 2.0.2) in Ihren Logs gefunden?
Wenn Sie ArchiveTeam ArchiveBot/20170106.02 (wpull 2.0.2) in Ihren Website-Logs gesehen haben, zeigt das, dass ArchiveBot Ihre Website besucht hat. Diese Agent-Zeichenkette ist einer der bekannten Identifikatoren für diesen Bot.
Verfolgen und verwalten Sie ArchiveBot-Besuche auf Ihrer Website mit Spyglasses' Echtzeit-Bot-Erkennung. Tracking starten
Erwartetes Verhalten
Web-Crawler besuchen Websites nach einem regelmäßigen Zeitplan, um Inhalte für Suchmaschinen oder andere Dienste zu indexieren. Sie folgen typischerweise einem konsistenten Crawling-Muster und respektieren robots.txt-Direktiven.
Sollte ich ArchiveBot blockieren?
Dieser Bot ist als nicht-konform markiert, was bedeuten kann, dass er robots.txt nicht respektiert oder aggressives Crawling-Verhalten zeigt. Sie sollten erwägen, ihn zu blockieren, wenn er Probleme für Ihre Website verursacht.
Empfohlene Lösung
Anstatt robots.txt-Regeln manuell zu verwalten, verwenden Sie Spyglasses, um ArchiveBot-Traffic automatisch mit Echtzeit-Analytics und flexiblen Blockierungsregeln zu erkennen und zu verwalten.
Automatisches Bot-Management erhaltenWie blockiere ich ArchiveBot?
Sie können diesen Bot blockieren oder seinen Zugang beschränken, indem Sie User-Agent-Token-Regeln in der robots.txt-Datei Ihrer Website festlegen. Verwenden Sie Spyglasses Analytics, um zu überprüfen, ob er Ihre Regeln tatsächlich befolgt.
User-Agent-Token
ArchiveBotSollte Instanzen dieses Bots erkennenrobots.txt
# robots.txt # This should block ArchiveBot User-agent: ArchiveBot Disallow: /
Anstatt dies manuell zu tun, verwenden Sie Spyglasses, um Ihre Regeln automatisch mit den neuesten KI-Agenten und Crawlern auf dem aktuellen Stand zu halten. Automatisches Bot-Management einrichten
ArchiveBot-Traffic mit Spyglasses verwalten
Erhalten Sie Echtzeit-Benachrichtigungen, wenn Bots Ihre Website besuchen, generieren Sie automatisch robots.txt-Regeln und integrieren Sie Bot-Traffic-Daten in Ihre bestehenden Analytics-Tools.
Kostenlose Testversion starten