Recrawl-Frequenz Dashboard

Das Recrawl-Frequenz-Dashboard zeigt, wie oft Crawler — Suchmaschinen, KI-Plattformen und Spezial-Crawler — auf Ihre Website zugreifen. So verstehen Sie, wie schnell Änderungen an Ihren Inhalten aufgegriffen werden, und können die Planung Ihrer AI Visibility Reports daran ausrichten.

Was Sie lernen

In dieser Anleitung erfahren Sie:

• Wie Sie Daten zur Recrawl-Kadenz interpretieren
• Wie Sie Muster auf Seiten- und Bot-Ebene analysieren
• Wie Sie diese Daten für Ihre Content-Strategie nutzen
• Wie Sie die Report-Planung optimieren

Voraussetzungen

Dieses Dashboard setzt voraus, dass das Spyglasses AI Traffic Analytics Plugin auf Ihrer Website installiert ist. Ohne das Plugin können keine Crawl-Daten erhoben werden.

Gesamte Recrawl-Kadenz

Oben im Dashboard sehen Sie die durchschnittliche Recrawl-Frequenz Ihrer Website — also wie oft Crawler im Mittel zu Ihren Seiten zurückkehren.

Was diese Metrik bedeutet

• Täglicher Recrawl: Crawler besuchen die meisten Seiten jeden Tag (Websites mit hoher Aktivität)
• Wöchentlicher Recrawl: Crawler kommen alle paar Tage (mittlere Aktivität)
• Monatlicher Recrawl: Crawler kommen selten (geringe Aktivität oder neue Websites)

Eine höhere Recrawl-Frequenz deutet typischerweise darauf hin, dass:

• Suchmaschinen Ihre Website als maßgeblich einstufen
• Inhalte häufig aktualisiert werden
• Seiten gut verlinkt und auffindbar sind

Eine niedrigere Recrawl-Frequenz kann bedeuten:

• Eine neue Website baut noch Autorität auf
• Statische Inhalte, die keine häufigen Aktualisierungen brauchen
• Technische Probleme, die effizientes Crawling verhindern

Analyse auf Seitenebene

Filtern Sie auf einzelne Seiten, um deren individuelle Recrawl-Muster zu sehen:

Häufig gecrawlte Seiten

Häufig gecrawlte Seiten sind typischerweise:

• Ihre Startseite
• Kategorie- und Hub-Seiten
• Kürzlich veröffentlichte Inhalte
• Seiten mit vielen eingehenden Links

Selten gecrawlte Seiten

Selten gecrawlte Seiten können sein:

• Tief in der Seitenarchitektur liegend
• Kaum verlinkt
• Ältere Inhalte
• Seiten mit technischen Problemen

Diese Daten nutzen

Wenn eine wichtige Seite nicht neu gecrawlt wird:

1. Prüfen Sie, ob sie in Ihrer Sitemap steht
2. Verbessern Sie die interne Verlinkung zu dieser Seite
3. Aktualisieren Sie den Seiteninhalt, um Aktualität zu signalisieren
4. Stellen Sie sicher, dass keine Crawl-Sperren bestehen

Analyse auf Bot-Ebene

Filtern Sie auf einzelne Bots, um deren Verhalten zu verstehen:

Googlebot

Googles Haupt-Crawler. Hohe Googlebot-Aktivität zeigt, dass Google Ihre Website für wichtig hält. Achten Sie auf:

• Gleichmäßige tägliche Crawls
• Abdeckung wichtiger Seiten
• Zeitpunkt der Entdeckung neuer Inhalte

Bingbot

Microsofts Crawler, der viele KI-Plattformen speist. Wichtig für die KI-Sichtbarkeit, da Copilot und andere KI-Assistenten stark auf den Bing-Index setzen.

Trainings-Bots für KI-Modelle

Bots wie GPTBot, ClaudeBot und Google-Extended crawlen Inhalte für das KI-Training:

• Besuchen möglicherweise seltener als Such-Bots
• Konzentrieren sich auf inhaltsreiche Seiten
• Ihre Muster zeigen das KI-Interesse an Ihren Inhalten

Weitere Bots

Vergleichen Sie Crawl-Muster über:

• Bots von SEO-Tools (SEMrush, Ahrefs)
• Bots sozialer Plattformen (Facebook, Twitter)
• Andere Suchmaschinen (DuckDuckBot, YandexBot)

Zeitliche Muster

Das Zeitverlaufsdiagramm zeigt die Crawl-Aktivität über die Zeit:

Spitzen erkennen

Plötzliche Zunahmen der Crawl-Aktivität deuten oft hin auf:

• Neu veröffentlichte Inhalte
• Änderungen der Website-Struktur
• Algorithmus-Updates
• Gewonnene Backlinks

Einbrüche erkennen

Plötzliche Rückgänge können hindeuten auf:

• Technische Probleme (Änderungen an der robots.txt, Serverprobleme)
• Entfernte oder umgeleitete Inhalte
• Veränderungen des Crawl-Budgets
• Abstrafungen der Website (selten)

Recrawl-Daten für AI Visibility Reports nutzen

Eine zentrale Anwendung dieser Daten ist die Optimierung Ihres Report-Zeitplans.

Grundsatz

Es bringt nichts, AI Visibility Reports häufig auszuführen, wenn Suchmaschinen Ihre Inhalte nicht neu gecrawlt haben. Ihre Sichtbarkeit ändert sich nicht, solange der zugrunde liegende Suchindex nicht aktualisiert wurde.

Empfehlungen

Hohe Recrawl-Frequenz (täglich)

• Reports wöchentlich ausführen, um Änderungen zu erfassen
• Neue Inhalte schlagen sich rasch nieder
• Sinnvoll in sich schnell verändernden Märkten

Mittlere Recrawl-Frequenz (wöchentlich)

• Reports alle 2 Wochen ausführen
• Änderungen brauchen Zeit, um durchzuschlagen
• Aktualität und Effizienz abwägen

Niedrige Recrawl-Frequenz (monatlich)

• Reports monatlich ausführen
• Auf wesentliche Content-Aktualisierungen konzentrieren
• Credits für aussagekräftige Vergleiche aufsparen

Praktische Anwendung

1. Prüfen Sie Ihre durchschnittliche Recrawl-Frequenz
2. Richten Sie Ihren Report-Zeitplan an dieser Kadenz aus
3. Passen Sie ihn an Ihre Veröffentlichungsfrequenz an
4. Warten Sie nach größeren Aktualisierungen den Recrawl ab, bevor Sie Reports ausführen

Filter

Zeitraum

Wählen Sie aus voreingestellten Zeiträumen, um Muster zu analysieren:

• 7 Tage für aktuelle Aktivität
• 30 Tage für Monatsmuster
• 90 Tage für saisonale Trends

Seitenpfad

Filtern Sie auf einzelne Seiten oder Seitenmuster, um die Analyse zu fokussieren.

Bot-Kategorie

Filtern Sie nach Bot-Typ:

• Such-Crawler
• KI-Assistenten
• KI-Trainer
• Spezial-Bots

Einzelner Bot

Steigen Sie zu einzelnen Bots hinab, um sie im Detail zu analysieren.

Maßnahmen ableiten

Um die Recrawl-Frequenz zu erhöhen

1. Regelmäßig frische Inhalte veröffentlichen: Aktive Websites werden häufiger gecrawlt
2. Bestehende Inhalte aktualisieren: Crawlern Aktualität signalisieren
3. Die Seitenarchitektur verbessern: Bessere interne Verlinkung hilft der Auffindbarkeit
4. Sitemaps einreichen: Sicherstellen, dass Crawler alle Seiten kennen
5. Backlinks aufbauen: Externe Links fördern das Crawling

Um Veränderungen zu beobachten

Nach Änderungen an der Website:

1. Halten Sie das Änderungsdatum fest
2. Beobachten Sie die Recrawl-Frequenz der betroffenen Seiten
3. Warten Sie erhöhte Crawl-Aktivität ab
4. Führen Sie dann AI Visibility Reports aus, um die Wirkung zu messen

Um Probleme zu erkennen

Wenn die Recrawl-Frequenz einbricht:

1. Prüfen Sie die robots.txt auf Sperrregeln
2. Prüfen Sie die Antwortzeiten Ihres Servers
3. Sehen Sie in der Search Console nach Crawl-Fehlern
4. Stellen Sie sicher, dass die Seiten erreichbar sind

Best Practices

Content-Strategie an die Crawl-Realität anpassen

Hat Ihre Website eine niedrige Recrawl-Frequenz, erwarten Sie von Content-Aktualisierungen keine sofortigen Änderungen der KI-Sichtbarkeit. Planen Sie mit längeren Zeiträumen.

Seiten mit hoher Wirkung priorisieren

Konzentrieren Sie Optimierungen auf Seiten, die häufig gecrawlt werden — dort schlagen Änderungen früher durch.

Recrawl-Daten im Reporting nutzen

Wenn Sie Stakeholdern Ergebnisse zur KI-Sichtbarkeit präsentieren, ordnen Sie sie mit Recrawl-Daten ein. Zeigen Reports nach Aktualisierungen keine Veränderung, erklären Sie, dass Suchmaschinen noch nicht neu gecrawlt haben.

Mit der Performance in Bezug setzen

Verfolgen Sie Zusammenhänge zwischen:

• Recrawl-Frequenz und Suchrankings
• Recrawl-Frequenz und KI-Erwähnungen
• Content-Aktualisierungen und Crawl-Spitzen

Verwandte Themen

• Bot-Traffic – Alle Bot-Besuche im Detail sehen
• AI Visibility Reports – Reports ausführen und planen
• Einstellungen – Report-Zeitplanung konfigurieren
• Erste Schritte – Das Tracking-Plugin installieren