Läuft in deinem Browser

Logfile-Analyse: echte Googlebot-Zugriffe erkennen

Die Search Console zeigt das Crawling nur zusammengefasst – deine Server-Logs zeigen jede einzelne Anfrage. Die Analyse filtert Googles Crawler heraus und trennt echte Zugriffe von gefälschten.

LogdateienDateien auswählenKeine Datei ausgewähltoder hierher ziehen

Oder Logzeilen einfügen

Deine Daten bleiben in deinem Browser. Nichts wird hochgeladen oder gespeichert.

Das Wichtigste

Google empfiehlt, den Googlebot per Reverse-DNS-Abfrage zu verifizieren (der Hostname muss zu googlebot.com, google.com oder googleusercontent.com gehören), gefolgt von einer Forward-DNS-Abfrage, die dieselbe IP zurückgibt, oder die IP mit Googles veröffentlichten IP-Bereichen abzugleichen.
Für Googlebot Smartphone und Googlebot Desktop gilt in der robots.txt dasselbe User-Agent-Token, und die meisten Googlebot-Anfragen stammen vom mobilen Crawler.
Bei den meisten Websites sollte der Googlebot im Schnitt nicht öfter als einmal alle paar Sekunden eine Seite anfordern.
Ein User-Agent-String allein lässt sich fälschen – deshalb ist die IP-Prüfung so wichtig.

Kostenloses PDF

Checkliste herunterladen: Indexierungsprobleme diagnostizieren

Schritt für Schritt: Status in der Search Console, Erreichbarkeit der Seite, robots.txt, noindex, kanonische URL, Weiterleitungen, Sitemap und Backlinks – jeweils mit dem nächsten Schritt.

PDF herunterladen PDF · 3 Seiten

So gehst du vor

Lade die Access-Logs von deinem Server oder aus dem Hosting-Panel herunter (Apache oder Nginx, Format common oder combined).
Wähle eine oder mehrere Logdateien aus oder füge Logzeilen ein.
Klicke auf Log analysieren.
Sieh dir zuerst die Fehlertabelle an: Dort stehen URLs, bei denen Google 4xx- oder 5xx-Antworten erhalten hat.
Prüfe die Tabelle mit IPs „außerhalb der Google-Bereiche“ auf Bots, die sich als Googlebot ausgeben, und lade für Details die CSV herunter.

Woher du die Daten bekommst

Access-Logs von Apache oder Nginx

Meist access.log im Format combined: IP, Datum, Anfrage, Status, Größe, Referrer und User-Agent.

Hosting-Panels

Die meisten Panels bieten die Roh-Access-Logs zum Download an. Nutze die Rohdaten, keine Statistik-Zusammenfassungen.

CDN-Logs

Wenn dein CDN Logs im Format common oder combined exportieren kann, funktionieren auch diese. JSON-Logformate werden nicht unterstützt.

Warum die IP-Prüfung wichtig ist

Jeder kann Anfragen mit einem Googlebot-User-Agent senden. Echt ist eine Anfrage nur, wenn ihre IP in Googles veröffentlichten Bereichen liegt oder wenn ihr Reverse-DNS-Name zu Googles Domains gehört und die Forward-DNS-Abfrage dieses Namens dieselbe IP liefert. Das Tool gleicht die IPs mit der Liste ab, die Google für seine gängigen Crawler veröffentlicht.

Worauf du achten solltest

Fehler bei wichtigen URLs, viele Zugriffe auf Parameter-URLs oder Weiterleitungen und Tage ganz ohne Besuche von Google. Vergleiche die am häufigsten gecrawlten URLs mit den Seiten, die du tatsächlich im Index haben willst.

Smartphone und Desktop

Der Crawler-Typ wird am User-Agent erkannt: Googlebot/2.1 mit einem mobilen Browser-String ist Googlebot Smartphone, ohne ihn Googlebot Desktop. Andere Tokens wie Googlebot-Image oder Google-InspectionTool werden separat ausgewiesen.

Nächster Schritt

Fehler behoben? Lass die aktualisierten Seiten erneut crawlen, damit Google die Änderungen früher sieht.

Fragen und Antworten

Wird das Log hochgeladen?

Nein. Die Datei wird in deinem Browser gelesen; von dieser Website wird nur Googles öffentliche IP-Liste geladen.

Welche Logformate funktionieren?

Die Formate common und combined von Apache und Nginx, die die meisten Server standardmäßig verwenden.

Wie aktuell ist die IP-Liste?

Sie wird bei jedem Update dieser Website aus Googles veröffentlichter Datei übernommen. Lässt sie sich nicht laden, weist das Tool darauf hin und überspringt die Prüfung.

Wie groß darf das Log sein?

Das hängt vom Arbeitsspeicher deines Geräts ab. Sehr große Logs analysierst du am besten tageweise oder Datei für Datei.

Quellen

Verifying Googlebot and other Google crawlers — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot
Googlebot — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/googlebot
Google's common crawlers — Google Search Central: https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers

Weitere kostenlose Tools

URL-Inspection-DecoderFüge einen URL-Inspection-Bericht ein und sieh sofort, was jedes Feld bedeutet und was du zuerst beheben solltest.Page-Indexing-AnalyzerGruppiere exportierte „not indexed“-URLs nach Grund, Ordner und URL-Muster und erhalte eine Liste der URLs, die sich erneut zu prüfen lohnen.URL-Listen-BereinigerEntferne Duplikate und Tracking-Parameter und bring eine chaotische Linkliste in eine einheitliche Form.Backlink-PriorisierungBehalte pro verweisender Domain nur den besten Link und markiere Links, die einen zweiten Blick verdienen.Drip-Feed-PlanerVerteile neue Links in gleichmäßigem Tempo auf mehrere Tage und exportiere den Zeitplan.Robots.txt-TesterPrüfe, welche URLs eine robots.txt für den Googlebot blockiert und welche Zeile den Ausschlag gibt.Sitemap-GeneratorMach aus einer URL-Liste gültige XML-Sitemaps – automatisch aufgeteilt gemäß den Google-Limits.Weiterleitungs-GeneratorMach aus Alt→Neu-URL-Paaren Weiterleitungsregeln für Apache oder Nginx – Ketten werden automatisch aufgelöst.