Bot-Traffic Dashboard

Das Bot-Traffic-Dashboard zeigt alle Besuche auf Ihrer Website durch die über 600 Bots, die Spyglasses verfolgt. Dazu zählen KI-Assistenten, Trainings-Crawler für KI-Modelle, klassische Suchmaschinen-Crawler, Spezial-Bots und Scraper.

Was Sie lernen

In dieser Anleitung erfahren Sie:

• Welche Arten von Bots Ihre Website besuchen
• Wie Sie Bot-Traffic filtern und analysieren
• Wie Sie potenziell schädliche Bot-Aktivität erkennen
• Wie Sie diese Daten zur Optimierung nutzen

Voraussetzungen

Dieses Dashboard setzt voraus, dass das Spyglasses AI Traffic Analytics Plugin auf Ihrer Website installiert ist. Ohne das Plugin erscheinen keine Daten.

Bot-Kategorien

Spyglasses ordnet Bots mehreren Typen zu:

KI-Assistenten

Bots, die KI-Chat-Oberflächen antreiben:

• ChatGPT
• Claude
• Google Gemini
• Perplexity
• Microsoft Copilot
• und viele weitere

Diese Besuche stehen für KI-Plattformen, die Ihre Inhalte aktiv zur Beantwortung von Nutzerfragen heranziehen.

KI-Modelltrainer

Crawler, die Daten für das Training von KI-Modellen sammeln:

• GPTBot (OpenAI)
• ClaudeBot (Anthropic)
• Google-Extended
• Meta-ExternalAgent
• CCBot (Common Crawl)

Diese Bots sammeln Ihre Inhalte für künftiges KI-Modelltraining, nicht für laufende Gespräche.

Suchmaschinen-Crawler

Klassische Indexierungs-Bots von Suchmaschinen:

• Googlebot
• Bingbot
• DuckDuckBot
• YandexBot
• Baidu Spider

Diese Crawler indexieren Ihre Inhalte für klassische Suchergebnisse.

Spezial-Bots

Crawler mit speziellem Zweck:

• SEMrush Bot
• Ahrefs Bot
• Majestic Bot
• Facebook External Hit
• Twitter Bot
• LinkedIn Bot

Diese Crawler bedienen bestimmte Tools und Plattformen.

Scraper und Sonstige

Allzweck-Werkzeuge:

• cURL
• wget
• Python requests
• diverse Scraping-Tools

Manche davon sind legitim (Entwicklung, Tests), andere extrahieren Inhalte möglicherweise ohne Erlaubnis.

Filtermöglichkeiten

Nach Kategorie

Filtern Sie auf bestimmte Bot-Kategorien, um Ihre Analyse zu fokussieren:

• Wählen Sie „KI-Assistenten", um nur KI-Chat-Traffic zu sehen
• Wählen Sie „KI-Modelltrainer", um Trainings-Crawler zu überwachen
• Wählen Sie „Such-Crawler", um sich auf Indexierungsaktivität zu konzentrieren

Nach einzelnem Bot

Steigen Sie zu einzelnen Bots hinab:

• Sehen, welche Googlebot-Variante genau da war
• Bestimmte KI-Assistenten überwachen
• Einzelne Spezial-Bots verfolgen

Nach Seite

Filtern Sie auf bestimmte Seiten, um zu sehen, welche Bots darauf zugreifen:

• Seiten identifizieren, die KI-Aufmerksamkeit auf sich ziehen
• Sehen, was Suchmaschinen crawlen
• Seiten erkennen, die gescrapt werden

Nach Standort

Filtern Sie nach Land, Region oder Stadt, um geografische Muster zu verstehen:

• Traffic aus unerwarteten Regionen erkennen
• Potenziell verdächtige regionale Muster aufspüren
• Nachvollziehen, woher Ihr Bot-Traffic stammt

Nach Intent

Filtern Sie nach der Klassifizierung der Seitenabsicht:

• Sehen, welche Inhaltstypen welche Bots anziehen
• Vorlieben von KI- und Such-Crawlern gegenüberstellen
• Lücken in der Bot-Abdeckung erkennen

Mehr dazu unter Klassifizierung der Seitenabsicht.

Traffic-Zeitverlauf

Das Hauptdiagramm zeigt den Bot-Traffic im Zeitverlauf, aufgeschlüsselt nach Kategorie. Nutzen Sie es, um:

• Ungewöhnliche Spitzen der Bot-Aktivität zu erkennen
• Crawl-Muster zu identifizieren
• Auf mögliche Angriffe oder Missbrauch zu achten

Tabelle mit Bot-Details

Die Detailtabelle zeigt:

Klicken Sie auf eine Zeile, um detaillierte Besuchsprotokolle für diesen Bot zu sehen.

Diese Daten nutzen

KI-Abdeckung überwachen

Hoher Traffic von KI-Assistenten zeigt, dass Ihre Inhalte aktiv in KI-Gesprächen verwendet werden. Geringer Traffic kann bedeuten:

• Inhalte werden nicht entdeckt
• Inhalte gelten nicht als maßgeblich
• Technische Probleme verhindern den Zugriff

Zugriff der Suchmaschinen verifizieren

Stellen Sie sicher, dass Suchmaschinen Ihre wichtigen Seiten crawlen können:

• Prüfen, ob Googlebot und Bingbot zentrale Seiten besuchen
• Die Crawl-Frequenz wichtiger Inhalte beobachten
• Seiten erkennen, die ignoriert werden

Verdächtige Aktivität erkennen

Achten Sie auf Warnzeichen:

• Plötzliche Spitzen von unbekannten Bots
• Umfangreiches Scraping aus verdächtigen Quellen
• Ungewöhnliche geografische Muster
• Bots, die auf sensible Seiten zugreifen

Anhand des Crawler-Verhaltens optimieren

Zu verstehen, worauf Bots zugreifen, hilft bei der Optimierung:

• Bevorzugt die KI bestimmte Inhalte, schaffen Sie mehr davon
• Überspringen Crawler Seiten, prüfen Sie technische Probleme
• Zielen Scraper auf bestimmte Inhalte, erwägen Sie Schutzmaßnahmen

Vollständige Bot-Liste

Eine vollständige Liste aller von Spyglasses verfolgten Bots finden Sie unter /bots. Sie enthält:

• Bot-Name und Unternehmen
• Kategoriezuordnung
• Beschreibung und Zweck
• User-Agent-Zeichenketten

Integration mit Traffic Control

Wenn Sie unerwünschten Bot-Traffic sehen, können Sie einzelne Bots oder Kategorien über Traffic Control blockieren:

1. Bestimmen Sie den zu blockierenden Bot bzw. die Kategorie
2. Öffnen Sie Traffic Control
3. Fügen Sie eine Blockregel hinzu
4. Beobachten Sie, ob die Blockade greift

Best Practices

Wöchentlich prüfen

Sehen Sie sich den Bot-Traffic mindestens wöchentlich an, um:

• Trends früh zu erkennen
• Neue Bots zu identifizieren
• Mögliche Probleme aufzuspüren

KI-Assistenten von KI-Trainern trennen

Beide verfolgen unterschiedliche Zwecke:

• KI-Assistenten nutzen Inhalte jetzt (wertvoll für die Sichtbarkeit)
• KI-Trainer sammeln für die künftige Nutzung (bedenken Sie Ihre Datenrichtlinie)

Nicht alles blockieren

Zu aggressives Blockieren kann Ihnen schaden:

• Such-Crawler brauchen Zugriff für SEO
• KI-Assistenten brauchen Zugriff für die Sichtbarkeit
• Manche Spezial-Bots erzeugen Referral-Traffic

Mit den Analytics abgleichen

Vergleichen Sie den Bot-Traffic mit Ihren Haupt-Analytics:

• Passen Crawl-Muster zur Indexierung?
• Korreliert der Traffic von KI-Assistenten mit KI-vermittelten Besuchen?
• Gibt es Abweichungen, die auf Probleme hindeuten?

Verwandte Themen

• AI Traffic Analytics – Auf den Traffic von KI-Assistenten fokussieren
• Traffic Control – Einzelne Bots blockieren oder erlauben
• Recrawl-Frequenz – Crawl-Muster verstehen
• Bot-Verzeichnis – Vollständige Liste der getrackten Bots
• Erste Schritte – Das Tracking-Plugin installieren