Traffic Control Dashboard

Markdown anzeigenChatGPT fragen Claude fragen Perplexity fragen Copilot fragen

Im Traffic-Control-Dashboard legen Sie fest, welche KI-Agenten und Bots auf Ihre Website zugreifen dürfen. Die Regeln werden zentral in Spyglasses verwaltet und von Ihrer Website-Integration automatisch durchgesetzt.

Eine umfassende Traffic-Control-Dokumentation samt Implementierungsdetails und Beispielkonfigurationen finden Sie im Traffic-Control-Leitfaden.

Was Sie lernen

In dieser Anleitung erfahren Sie:

Wie Sie das Blockieren von Bots konfigurieren
Wie Sie eigene Block- und Erlaubnisregeln erstellen
Wie Regeln mit Ihrer Website synchronisiert werden
Best Practices für das Bot-Management

So funktioniert es

Traffic Control wird zentral in Spyglasses auf Property-Ebene verwaltet. Ihre Website-Integration (Middleware, Plugin oder Worker) synchronisiert die Regeln automatisch und setzt sie am Edge durch. Sie müssen keine Codeänderungen ausliefern, um Ihre Block- und Erlaubnislisten zu aktualisieren.

Durchsetzung der Regeln

Sie konfigurieren Regeln in Spyglasses
Ihre Integration synchronisiert die Regeln in regelmäßigen Abständen
Besuchen Bots Ihre Website, werden die Regeln automatisch angewendet
Blockierte Bots erhalten die Antwort „HTTP 403 Forbidden"
Erlaubte Bots greifen normal auf Ihre Inhalte zu

Globale Einstellungen

Aktivieren Sie umfassende Schutzmaßnahmen mit einem einzigen Schalter:

KI-Modelltrainer blockieren

Ist diese Option aktiv, werden bekannte Trainings-Crawler automatisch blockiert:

GPTBot (OpenAI)
ClaudeBot (Anthropic)
Meta-ExternalAgent
Google-Extended
CCBot (Common Crawl)
und weitere

Das verhindert, dass Ihre Inhalte für künftiges KI-Training verwendet werden, erlaubt KI-Assistenten aber weiterhin den Zugriff für laufende Gespräche.

Weitere globale Einstellungen

Je nach Ihren Konfigurationsmöglichkeiten:

Alle Scraper blockieren
Verdächtige User Agents blockieren

Kategorien durchsehen

Sehen Sie sich Bot-Kategorien und die zugehörigen Muster an:

KI-Modelltrainer
KI-Assistenten
Such-Crawler
SEO-Bots
Social-Bots
Scraper

Für jede Kategorie können Sie „Blockieren" oder „Erlauben" setzen.

Einzelne Muster durchsehen

Steigen Sie zu einzelnen Bots oder User-Agent-Mustern hinab:

Regeln für einzelne Bots setzen
Musterbasierte Regeln erstellen
Einstellungen auf Kategorieebene überschreiben

Regelpriorität

Spezifischere Regeln überschreiben allgemeinere:

Regeln für einzelne Bots (höchste Priorität)
Musterbasierte Regeln
Kategorieregeln
Globale Einstellungen (niedrigste Priorität)

Regelübersicht

Die Regelübersicht zeigt genau, was durchgesetzt wird:

Alle blockierten Kategorien und Muster
Alle erlaubenden Überschreibungen
Das effektive Regelwerk

Genau das setzt Ihre Website tatsächlich durch — prüfen Sie es, um sicherzugehen, dass Ihre Konfiguration stimmt.

Regeln erstellen

Einen Bot oder eine Kategorie blockieren

Suchen Sie den Bot oder die Kategorie in der Übersicht
Klicken Sie darauf, um sie auszuwählen
Wählen Sie „Blockieren"
Speichern Sie die Änderungen

Einen blockierten Bot erlauben

Ist ein Bot durch seine Kategorie blockiert, Sie möchten ihn aber erlauben:

Suchen Sie den konkreten Bot
Wählen Sie „Erlauben"
Speichern Sie die Änderungen

Die Erlaubnisregel überschreibt die Kategorieblockade.

Musterbasierte Regeln

Für fortgeschrittenes Filtern:

Erstellen Sie ein eigenes Muster
Geben Sie einen User-Agent-Teilstring oder einen regulären Ausdruck ein
Setzen Sie „Blockieren" oder „Erlauben"
Speichern Sie die Änderungen

Pfad-Ausnahmen

Sie können bestimmte Pfade in Ihrem Code optional von Traffic Control ausnehmen. Das ist nützlich für:

Health-Check-Endpunkte
Admin-Seiten
Interne APIs
Öffentliche Assets

Implementierungsdetails finden Sie im Traffic-Control-Leitfaden.

Ihre Konfiguration testen

Nach dem Konfigurieren der Regeln:

Spyglasses-Dashboard prüfen: Blockierten und erlaubten Traffic gegenüberstellen
Serverprotokolle beobachten: Prüfen, ob blockierte Anfragen korrekt behandelt werden
Wichtige Bots testen: Sicherstellen, dass Googlebot und andere kritische Bots Zugriff haben
Suchzugriff prüfen: In der Google Search Console nach Crawl-Problemen sehen

Best Practices

Zurückhaltend beginnen

Starten Sie mit minimalen Blockaden:

Aktivieren Sie bei Bedarf „KI-Modelltrainer blockieren"
Beobachten Sie den Traffic eine Woche lang
Ergänzen Sie weitere Regeln anhand Ihrer Beobachtungen

Suchmaschinen immer erlauben

Stellen Sie sicher, dass legitime Suchmaschinen auf Ihre Inhalte zugreifen können:

Googlebot (erforderlich für die Google-Suche)
Bingbot
DuckDuckBot
YandexBot (falls Sie diesen Markt adressieren)

Suchmaschinen zu blockieren schadet Ihrer Sichtbarkeit.

KI-Assistenten nicht blockieren

Wenn Sie KI-Sichtbarkeit wollen, blockieren Sie keine Bots von KI-Assistenten. Blockieren Sie nur Trainings-Crawler, wenn Sie künftiges KI-Training verhindern und die aktuelle KI-Sichtbarkeit erhalten möchten.

Regelmäßig überprüfen

Sehen Sie in Abständen nach:

Was blockiert wird
Welche neuen Bots aufgetaucht sind
Ob die Regeln noch angemessen sind

Wirkung beobachten

Behalten Sie nach Änderungen Ihre Analytics im Blick:

Ist der Bot-Traffic wie erwartet zurückgegangen?
Gibt es unbeabsichtigte Nebenwirkungen?
Ist legitimer Traffic betroffen?

Fehlersuche

Bot kommt weiterhin durch

Wenn blockierte Bots weiterhin auf Ihre Website zugreifen:

Prüfen Sie, ob sie einer Erlaubnisregel entsprechen
Prüfen Sie, ob Ihre Muster korrekt sind
Stellen Sie sicher, dass Ihre Integration die Regeln synchronisiert hat

Legitimer Traffic wird blockiert

Wenn Sie versehentlich legitimen Traffic blockieren:

Ergänzen Sie gezielte Erlaubnisregeln für wichtige Bots
Prüfen Sie eigene Muster auf zu breite Treffer
Kontrollieren Sie Kategorieblockaden auf unbeabsichtigte Reichweite

Regeln werden nicht synchronisiert

Wenn Änderungen nicht wirksam werden:

Prüfen Sie, ob Ihre Integration läuft
Sehen Sie in den Protokollen nach Sync-Fehlern
Erzwingen Sie, falls verfügbar, eine manuelle Synchronisierung
Prüfen Sie die API-Verbindung