# Traffic-Kontrolle

Spyglasses gibt Ihnen mächtige Kontrolle darüber, welche KI-Agenten und Bots auf Ihre Website zugreifen können. Die Traffic-Kontrolle wird jetzt zentral in der Spyglasses-App auf Property-Ebene verwaltet. Ihre Site-Integration (Middleware, Plugin oder Worker) synchronisiert die kanonischen Regeln automatisch und setzt sie am Edge durch – ohne Code-Deployments, wenn sich Block-/Allow-Listen ändern.

## Was Sie lernen werden

In diesem Leitfaden lernen Sie, wie Sie:

- Grundlegende Bot-Blockierungseinstellungen konfigurieren
- Benutzerdefinierte Block- und Erlaubnisregeln erstellen
- Bestimmte Pfade vom Monitoring ausschließen
- Traffic-Kontrolle auf verschiedenen Plattformen implementieren
- Erweiterte Musterabgleiche für feinkörnige Kontrolle verwenden

## Zentrale Verwaltung

Alle Bot-Regeln werden in der Spyglasses-App konfiguriert und pro Property angewendet. Ihre Integrationen synchronisieren regelmäßig die aktuelle Pattern‑Bibliothek sowie Ihre Block-/Allow-Regeln und setzen diese automatisch durch.

### Globale Einstellungen

Aktivieren Sie umfassenden Schutz mit einem einzigen Schalter. Zum Beispiel blockiert „KI‑Modell‑Trainer blockieren“ bekannte Trainings‑Crawler (GPTBot, ClaudeBot, Meta‑ExternalAgent usw.).

### Benutzerdefinierte Regeln

Erstellen Sie feingranulare Regeln nach Kategorie oder spezifischem Muster. Sie können Kategorien durchsuchen, deren Muster einsehen und pro Eintrag Block oder Allow festlegen.

![Traffic Control – Browse & Configure](/images/traffic-control-overview.webp)
*Durchsuchen Sie Kategorien und Muster und setzen Sie Block/Allow pro Eintrag. Änderungen werden an Ihrer Property gespeichert und von allen Integrationen synchronisiert.*

### Regelübersicht

Prüfen Sie die wirksame Menge an Regeln, die aktuell für Ihre Property gilt.

![Traffic Control – Rules Summary](/images/traffic-control-summary.webp)
*Eine kompakte Ansicht, welche Kategorien und Muster blockiert oder erlaubt sind. Genau dies wird auf Ihrer Seite durchgesetzt.*

### Optional: Pfad-Ausschlüsse (im Code)

Sie können bestimmte Pfade in Ihrem Code von Spyglasses‑Monitoring und -Durchsetzung ausschließen. Das ist nützlich für Health‑Checks, Admin‑Seiten oder interne Routen.

## So funktioniert es mit Ihrer Seite

Ihre Plugins/Middleware setzen die zentralen Regeln durch – für das Hinzufügen oder Anpassen von Block-/Allow-Regeln sind keine Codeänderungen nötig. Für Next.js halten Sie die Middleware schlank und überlassen die Regelbewertung Spyglasses.

```typescript
// middleware.ts

  apiKey: process.env.SPYGLASSES_API_KEY,
  debug: process.env.SPYGLASSES_DEBUG === 'true',
  // Optional: Pfade vom Monitoring/Enforcement ausschließen
  excludePaths: ['/health', '/api/status', /^\/admin/, /^\/internal/],
});

  matcher: ['/((?!_next|api|favicon.ico|.*\\.(jpg|jpeg|gif|png|svg|ico|css|js)).*)'],
};
```

### Alles in der Spyglasses-App verwalten

Egal ob Next.js, WordPress, Cloudflare Workers, Rails oder Django: Sie verwalten die Traffic‑Kontrolle an einem Ort – der Spyglasses‑App. Die Integrationen setzen die für Ihre Property konfigurierten Regeln durch.

## Beispiel-Regelsätze (in der App konfigurieren)

### Schutz spezifischer Inhalte

- Blockieren: Kategorie KI‑Modell‑Trainer, Kategorie Scraper
- Erlauben: Googlebot, Bingbot, facebookexternalhit, TwitterBot
- Optional: Premium-/Mitglieder‑Pfade im Code ausschließen, wenn diese nicht überwacht werden sollen

### E‑Commerce‑Schutz

- Blockieren: Kategorie Scraper, Muster
  - `.*price.*` (Preis‑Monitoring)
- Erlauben: Googlebot, ShoppingBot

### Setup für Content‑Publisher

- Blockieren: Kategorie KI, Kategorie Scraper
- Erlauben: Googlebot, Bingbot, facebookexternalhit, TwitterBot
- Optionale Ausschlüsse im Code: `/sitemap.xml`, `/robots.txt`, und Pfade passend zu `/^\/feed/`

## Testen Ihrer Konfiguration

Nach der Implementierung der Traffic-Kontrolle können Sie Ihre Konfiguration testen:

1. **Überprüfen Sie das Spyglasses-Dashboard**, um zu sehen, welche Bots blockiert werden
2. **Überwachen Sie Ihre Server-Logs** auf blockierte Anfragen
3. **Verwenden Sie Browser-Entwicklertools**, um ausgeschlossene Pfade zu testen
4. **Verifizieren Sie den Suchmaschinen-Zugang** mit der Google Search Console

## Best Practices

### Konservativ beginnen

Beginnen Sie mit grundlegenden Einstellungen und fügen Sie schrittweise restriktivere Regeln hinzu:

Starten Sie mit dem globalen Schalter „KI‑Modell‑Trainer blockieren“ und verfeinern Sie anschließend mit Kategorie-/Muster‑Regeln. Für Anpassungen sind keine Codeänderungen nötig – nutzen Sie die Spyglasses‑App.

### Suchmaschinen immer erlauben

Sorgen Sie dafür, dass legitime Suchmaschinen Zugriff haben, indem Sie in der Spyglasses‑App Allow‑Regeln setzen für: Googlebot, Bingbot, DuckDuckBot, YandexBot.

### Auswirkungen überwachen

Überprüfen Sie regelmäßig Ihre Analytics, um sicherzustellen, dass Sie keinen legitimen Traffic blockieren. Das Spyglasses-Dashboard bietet detaillierte Berichte über blockierte Anfragen.

### Ausschlüsse weise verwenden

Falls nötig, schließen Sie Pfade, die keinen Schutz oder kein Monitoring benötigen, in Ihrer Middleware‑Konfiguration aus (z.B. `/health`, `/api/public`, `/^\/static\//`).

## Fehlerbehebung

### Bot kommt immer noch durch

Wenn unerwünschte Bots immer noch auf Ihre Seite zugreifen:

1. Überprüfen Sie, ob sie zu einer Erlaubnisregel passen
2. Verifizieren Sie, dass Ihre Muster korrekt sind
3. Suchen Sie nach neuen Bot-User-Agents in Ihren Logs
4. Kontaktieren Sie den Support für Hilfe mit benutzerdefinierten Mustern

### Legitimer Traffic blockiert

Wenn Sie versehentlich legitimen Traffic blockieren:

1. Fügen Sie spezifische Erlaubnisregeln für wichtige Bots hinzu
2. Überprüfen Sie, ob Ihre benutzerdefinierten Blockierungsmuster nicht zu breit sind
3. Überprüfen Sie Ihre Ausschluss-Pfade
4. Testen Sie mit aktiviertem Debug-Modus