Traffic-Kontrolle

Spyglasses gibt Ihnen mächtige Kontrolle darüber, welche KI-Agenten und Bots auf Ihre Website zugreifen können. Die Traffic-Kontrolle wird jetzt zentral in der Spyglasses-App auf Property-Ebene verwaltet. Ihre Site-Integration (Middleware, Plugin oder Worker) synchronisiert die kanonischen Regeln automatisch und setzt sie am Edge durch – ohne Code-Deployments, wenn sich Block-/Allow-Listen ändern.

Was Sie lernen werden

In diesem Leitfaden lernen Sie, wie Sie:

• Grundlegende Bot-Blockierungseinstellungen konfigurieren
• Benutzerdefinierte Block- und Erlaubnisregeln erstellen
• Bestimmte Pfade vom Monitoring ausschließen
• Traffic-Kontrolle auf verschiedenen Plattformen implementieren
• Erweiterte Musterabgleiche für feinkörnige Kontrolle verwenden

Zentrale Verwaltung

Alle Bot-Regeln werden in der Spyglasses-App konfiguriert und pro Property angewendet. Ihre Integrationen synchronisieren regelmäßig die aktuelle Pattern‑Bibliothek sowie Ihre Block-/Allow-Regeln und setzen diese automatisch durch.

Globale Einstellungen

Aktivieren Sie umfassenden Schutz mit einem einzigen Schalter. Zum Beispiel blockiert „KI‑Modell‑Trainer blockieren“ bekannte Trainings‑Crawler (GPTBot, ClaudeBot, Meta‑ExternalAgent usw.).

Benutzerdefinierte Regeln

Erstellen Sie feingranulare Regeln nach Kategorie oder spezifischem Muster. Sie können Kategorien durchsuchen, deren Muster einsehen und pro Eintrag Block oder Allow festlegen.

Durchsuchen Sie Kategorien und Muster und setzen Sie Block/Allow pro Eintrag. Änderungen werden an Ihrer Property gespeichert und von allen Integrationen synchronisiert.

Regelübersicht

Prüfen Sie die wirksame Menge an Regeln, die aktuell für Ihre Property gilt.

Eine kompakte Ansicht, welche Kategorien und Muster blockiert oder erlaubt sind. Genau dies wird auf Ihrer Seite durchgesetzt.

Optional: Pfad-Ausschlüsse (im Code)

Sie können bestimmte Pfade in Ihrem Code von Spyglasses‑Monitoring und -Durchsetzung ausschließen. Das ist nützlich für Health‑Checks, Admin‑Seiten oder interne Routen.

So funktioniert es mit Ihrer Seite

Ihre Plugins/Middleware setzen die zentralen Regeln durch – für das Hinzufügen oder Anpassen von Block-/Allow-Regeln sind keine Codeänderungen nötig. Für Next.js halten Sie die Middleware schlank und überlassen die Regelbewertung Spyglasses.

// middleware.ts
import { createSpyglassesMiddleware } from '@spyglasses/next';
 
export default createSpyglassesMiddleware({
  apiKey: process.env.SPYGLASSES_API_KEY,
  debug: process.env.SPYGLASSES_DEBUG === 'true',
  // Optional: Pfade vom Monitoring/Enforcement ausschließen
  excludePaths: ['/health', '/api/status', /^\/admin/, /^\/internal/],
});
 
export const config = {
  matcher: ['/((?!_next|api|favicon.ico|.*\\.(jpg|jpeg|gif|png|svg|ico|css|js)).*)'],
};

Alles in der Spyglasses-App verwalten

Egal ob Next.js, WordPress, Cloudflare Workers, Rails oder Django: Sie verwalten die Traffic‑Kontrolle an einem Ort – der Spyglasses‑App. Die Integrationen setzen die für Ihre Property konfigurierten Regeln durch.

Beispiel-Regelsätze (in der App konfigurieren)

Schutz spezifischer Inhalte

• Blockieren: Kategorie KI‑Modell‑Trainer, Kategorie Scraper
• Erlauben: Googlebot, Bingbot, facebookexternalhit, TwitterBot
• Optional: Premium-/Mitglieder‑Pfade im Code ausschließen, wenn diese nicht überwacht werden sollen

E‑Commerce‑Schutz

• Blockieren: Kategorie Scraper, Muster
  • .*price.* (Preis‑Monitoring)
• Erlauben: Googlebot, ShoppingBot

Setup für Content‑Publisher

• Blockieren: Kategorie KI, Kategorie Scraper
• Erlauben: Googlebot, Bingbot, facebookexternalhit, TwitterBot
• Optionale Ausschlüsse im Code: /sitemap.xml, /robots.txt, und Pfade passend zu /^\/feed/

Testen Ihrer Konfiguration

Nach der Implementierung der Traffic-Kontrolle können Sie Ihre Konfiguration testen:

1. Überprüfen Sie das Spyglasses-Dashboard, um zu sehen, welche Bots blockiert werden
2. Überwachen Sie Ihre Server-Logs auf blockierte Anfragen
3. Verwenden Sie Browser-Entwicklertools, um ausgeschlossene Pfade zu testen
4. Verifizieren Sie den Suchmaschinen-Zugang mit der Google Search Console

Best Practices

Konservativ beginnen

Beginnen Sie mit grundlegenden Einstellungen und fügen Sie schrittweise restriktivere Regeln hinzu:

Starten Sie mit dem globalen Schalter „KI‑Modell‑Trainer blockieren“ und verfeinern Sie anschließend mit Kategorie-/Muster‑Regeln. Für Anpassungen sind keine Codeänderungen nötig – nutzen Sie die Spyglasses‑App.

Suchmaschinen immer erlauben

Sorgen Sie dafür, dass legitime Suchmaschinen Zugriff haben, indem Sie in der Spyglasses‑App Allow‑Regeln setzen für: Googlebot, Bingbot, DuckDuckBot, YandexBot.

Auswirkungen überwachen

Überprüfen Sie regelmäßig Ihre Analytics, um sicherzustellen, dass Sie keinen legitimen Traffic blockieren. Das Spyglasses-Dashboard bietet detaillierte Berichte über blockierte Anfragen.

Ausschlüsse weise verwenden

Falls nötig, schließen Sie Pfade, die keinen Schutz oder kein Monitoring benötigen, in Ihrer Middleware‑Konfiguration aus (z.B. /health, /api/public, /^\/static\//).

Fehlerbehebung

Bot kommt immer noch durch

Wenn unerwünschte Bots immer noch auf Ihre Seite zugreifen:

1. Überprüfen Sie, ob sie zu einer Erlaubnisregel passen
2. Verifizieren Sie, dass Ihre Muster korrekt sind
3. Suchen Sie nach neuen Bot-User-Agents in Ihren Logs
4. Kontaktieren Sie den Support für Hilfe mit benutzerdefinierten Mustern

Legitimer Traffic blockiert

Wenn Sie versehentlich legitimen Traffic blockieren:

1. Fügen Sie spezifische Erlaubnisregeln für wichtige Bots hinzu
2. Überprüfen Sie, ob Ihre benutzerdefinierten Blockierungsmuster nicht zu breit sind
3. Überprüfen Sie Ihre Ausschluss-Pfade
4. Testen Sie mit aktiviertem Debug-Modus