Dokumentation
Getting Started/Traffic-Kontrolle

Traffic-Kontrolle

Spyglasses gibt Ihnen mächtige Kontrolle darüber, welche KI-Agenten und Bots auf Ihre Website zugreifen können. Sie können bösartige Scraper, KI-Modell-Trainer und anderen unerwünschten Traffic blockieren, während Sie sicherstellen, dass legitime Bots wie Suchmaschinen Ihre Seite weiterhin crawlen können.

Was Sie lernen werden

In diesem Leitfaden lernen Sie, wie Sie:

  • Grundlegende Bot-Blockierungseinstellungen konfigurieren
  • Benutzerdefinierte Block- und Erlaubnisregeln erstellen
  • Bestimmte Pfade vom Monitoring ausschließen
  • Traffic-Kontrolle auf verschiedenen Plattformen implementieren
  • Erweiterte Musterabgleiche für feinkörnige Kontrolle verwenden

Konfigurationsoptionen

Spyglasses bietet verschiedene Konfigurationsoptionen zur Kontrolle des Traffics auf Ihrer Website:

KI-Modell-Trainer blockieren

Der einfachste Weg, Ihren Inhalt vor der Verwendung zum Training von KI-Modellen zu schützen, ist die Aktivierung der Option blockAiModelTrainers. Diese blockiert automatisch bekannte KI-Modell-Training-Bots wie GPTBot, Claude-Bot und andere.

Benutzerdefinierte Blockierungsregeln

Verwenden Sie customBlocks, um spezifische Bots oder Kategorien von Bots zu blockieren. Sie können angeben:

  • Kategorien: Blockieren Sie ganze Kategorien wie category:Scraper
  • Muster: Blockieren Sie spezifische Bot-Namen wie pattern:SomeBot
  • User Agents: Blockieren Sie spezifische User-Agent-Strings

Benutzerdefinierte Erlaubnisregeln

Verwenden Sie customAllows, um Blockierungen zu überschreiben und sicherzustellen, dass wichtige Bots immer auf Ihre Seite zugreifen können. Erlaubnisregeln haben Vorrang vor Blockierungsregeln.

Pfad-Ausschlüsse

Verwenden Sie excludePaths, um bestimmte Pfade vollständig vom Monitoring auszuschließen. Dies ist nützlich für Gesundheitschecks, Admin-Seiten oder API-Endpunkte.

Plattform-Implementierung

Code-Konfiguration

Für Next.js-Anwendungen konfigurieren Sie die Traffic-Kontrolle direkt in Ihrem Middleware-Code. Hier ist ein umfassendes Beispiel:

// middleware.ts
import { createSpyglassesMiddleware } from '@spyglasses/next';
 
export default createSpyglassesMiddleware({
  apiKey: process.env.SPYGLASSES_API_KEY,
  debug: process.env.SPYGLASSES_DEBUG === 'true',
  
  // KI-Modell-Trainer blockieren
  blockAiModelTrainers: true,
  
  // Benutzerdefinierte Blockierungsregeln
  customBlocks: [
    'category:Scraper',        // Alle Scraper blockieren
    'category:Crawler',        // Aggressive Crawler blockieren
    'pattern:BadBot',          // Spezifischen Bot blockieren
    'pattern:.*scraper.*',     // Alles mit "scraper" im Namen blockieren
  ],
  
  // Benutzerdefinierte Erlaubnisregeln (überschreiben Blockierungen)
  customAllows: [
    'pattern:Googlebot',       // Google immer erlauben
    'pattern:Bingbot',         // Bing immer erlauben
    'pattern:facebookexternalhit', // Facebook-Vorschauen erlauben
  ],
  
  // Pfade vom Monitoring ausschließen
  excludePaths: [
    '/health',                 // Gesundheitscheck-Endpunkt
    '/api/status',            // Status-Endpunkt
    /^\/admin/,               // Admin-Bereich (Regex)
    /^\/internal/,            // Interne Tools
  ],
});
 
export const config = {
  matcher: ['/((?!_next|api|favicon.ico|.*\\.(jpg|jpeg|gif|png|svg|ico|css|js)).*)'],
};

WordPress (Plugin-Interface)

Für WordPress-Seiten bietet Spyglasses eine benutzerfreundliche Admin-Oberfläche zur Konfiguration der Traffic-Kontrolle ohne Code-Änderungen.

WordPress Traffic Control Einstellungen Die Bot-Blockierungs-Einstellungen-Oberfläche zeigt den Hauptschalter zum Blockieren von KI-Modell-Trainern und kategoriebasierte Blockierungsregeln. Jede Kategorie (KI-Besucher, KI-Modell-Trainer, Crawler, Scraper, etc.) kann individuell mit Block- oder Erlaubnis-Einstellungen konfiguriert werden.

Kategoriebasierte Regeln

Das WordPress-Plugin organisiert Bots in logische Kategorien und macht es einfach, Regeln auf ganze Gruppen anzuwenden:

  • AI Visitors: Umfasst KI-Assistenten wie ChatGPT-, Claude- und Perplexity-Benutzer
  • AI Model Trainers: Bots, die speziell zum Sammeln von Trainingsdaten entwickelt wurden (GPTBot, Claude-Bot, etc.)
  • Crawler: Allgemeine Web-Crawler und Suchmaschinen-Bots
  • Scraper: Content-Scraper und Datensammlungs-Bots
  • Special Purpose: Spezialisierte Bots für spezifische Funktionen
  • Unknown: Nicht klassifizierter Bot-Traffic

Sie können ganze Kategorien schnell mit einem einzigen Klick blockieren oder erlauben, und die Oberfläche bietet sofortiges visuelles Feedback zu Ihren aktuellen Einstellungen.

Musterbasierte Regeln

Für feinkörnigere Kontrolle wechseln Sie zum "By Pattern"-Tab, um individuelle Bot-Muster zu verwalten:

WordPress Musterbasierte Regeln Die musterbasierte Oberfläche zeigt spezifische Bot-User-Agents mit ihren Kategorien und individuellen Block-/Erlaubnis-Einstellungen. Beachten Sie, wie GPTBot auf "Block" gesetzt ist, während Googlebot auf "Allow" gesetzt ist, was feinkörnige Kontrolle demonstriert.

Diese Ansicht zeigt:

  • Individuelle Bot-Muster mit ihren exakten User-Agent-Strings
  • Hierarchische Kategorisierung (z.B. "AI Visitors > AI Assistants")
  • Aktueller Status mit klaren Block-/Erlaubnis-Indikatoren
  • Suchfunktionalität zum schnellen Finden spezifischer Muster
  • Visuelle Farbkodierung - blockierte Elemente werden rot angezeigt, erlaubte grün

Die Oberfläche macht es einfach, Kategorie-Einstellungen für spezifische Bots zu überschreiben. Zum Beispiel könnten Sie die gesamte Kategorie "AI Model Trainers" blockieren, aber einem spezifischen Forschungsbot, dem Sie vertrauen, erlauben.

Erweiterte Konfigurationsbeispiele

Schutz spezifischer Inhalte

Blockieren Sie Bots vom Zugriff auf Ihre wertvollsten Inhalte, während Sie ihnen das Crawlen allgemeiner Seiten erlauben:

export default createSpyglassesMiddleware({
  apiKey: process.env.SPYGLASSES_API_KEY,
  blockAiModelTrainers: true,
  customBlocks: [
    'category:AI',             // KI-Bots von Premium-Inhalten blockieren
  ],
  excludePaths: [
    /^\/premium\//,           // Premium-Bereich nicht überwachen
    /^\/members-only\//,      // Mitglieder-Inhalte nicht überwachen
  ],
});

E-Commerce-Schutz

Schützen Sie Produktdaten, während Sie legitime Shopping-Bots erlauben:

export default createSpyglassesMiddleware({
  apiKey: process.env.SPYGLASSES_API_KEY,
  blockAiModelTrainers: true,
  customBlocks: [
    'category:Scraper',        // Preis-Scraper blockieren
    'pattern:.*price.*',       // Preis-Monitoring-Bots blockieren
  ],
  customAllows: [
    'pattern:Googlebot',       // Google Shopping erlauben
    'pattern:ShoppingBot',     // Legitime Shopping-Bots erlauben
  ],
});

Content-Publisher-Setup

Ideal für Blogs und Nachrichtenseiten, die ihre Inhalte schützen möchten:

export default createSpyglassesMiddleware({
  apiKey: process.env.SPYGLASSES_API_KEY,
  blockAiModelTrainers: true,
  customBlocks: [
    'category:AI',             // KI-Content-Harvester blockieren
    'category:Scraper',        // Content-Scraper blockieren
  ],
  customAllows: [
    'pattern:Googlebot',       // Suchmaschinen erlauben
    'pattern:Bingbot',
    'pattern:facebookexternalhit', // Social-Media-Vorschauen erlauben
    'pattern:TwitterBot',
  ],
  excludePaths: [
    '/sitemap.xml',           // Sitemaps nicht überwachen
    '/robots.txt',            // robots.txt nicht überwachen
    /^\/feed/,                // RSS-Feeds nicht überwachen
  ],
});

Testen Ihrer Konfiguration

Nach der Implementierung der Traffic-Kontrolle können Sie Ihre Konfiguration testen:

  1. Überprüfen Sie das Spyglasses-Dashboard, um zu sehen, welche Bots blockiert werden
  2. Überwachen Sie Ihre Server-Logs auf blockierte Anfragen
  3. Verwenden Sie Browser-Entwicklertools, um ausgeschlossene Pfade zu testen
  4. Verifizieren Sie den Suchmaschinen-Zugang mit der Google Search Console

Best Practices

Konservativ beginnen

Beginnen Sie mit grundlegenden Einstellungen und fügen Sie schrittweise restriktivere Regeln hinzu:

// Beginnen Sie hiermit
export default createSpyglassesMiddleware({
  apiKey: process.env.SPYGLASSES_API_KEY,
  blockAiModelTrainers: true, // Hier beginnen
});
 
// Dann fügen Sie nach Bedarf benutzerdefinierte Regeln hinzu

Suchmaschinen immer erlauben

Stellen Sie sicher, dass legitime Suchmaschinen auf Ihre Inhalte zugreifen können:

customAllows: [
  'pattern:Googlebot',
  'pattern:Bingbot',
  'pattern:DuckDuckBot',
  'pattern:YandexBot',
]

Auswirkungen überwachen

Überprüfen Sie regelmäßig Ihre Analytics, um sicherzustellen, dass Sie keinen legitimen Traffic blockieren. Das Spyglasses-Dashboard bietet detaillierte Berichte über blockierte Anfragen.

Ausschlüsse weise verwenden

Schließen Sie Pfade aus, die keinen Schutz oder Monitoring benötigen:

excludePaths: [
  '/health',                // Gesundheitschecks
  '/api/public',           // Öffentliche APIs
  /^\/static\//,           // Statische Assets
]

Fehlerbehebung

Bot kommt immer noch durch

Wenn unerwünschte Bots immer noch auf Ihre Seite zugreifen:

  1. Überprüfen Sie, ob sie zu einer Erlaubnisregel passen
  2. Verifizieren Sie, dass Ihre Muster korrekt sind
  3. Suchen Sie nach neuen Bot-User-Agents in Ihren Logs
  4. Kontaktieren Sie den Support für Hilfe mit benutzerdefinierten Mustern

Legitimer Traffic blockiert

Wenn Sie versehentlich legitimen Traffic blockieren:

  1. Fügen Sie spezifische Erlaubnisregeln für wichtige Bots hinzu
  2. Überprüfen Sie, ob Ihre benutzerdefinierten Blockierungsmuster nicht zu breit sind
  3. Überprüfen Sie Ihre Ausschluss-Pfade
  4. Testen Sie mit aktiviertem Debug-Modus

Previous

Erste Schritte mit Spyglasses

Next

Next.js Integration

On this page