--- title: "Wie benutze ich Screaming Frog – auch mit KI? | SEO" url: https://iliyan-hristov.de/seo/screaming-frog-einfach-erklaert/ source: SEO Einfach Kapiert language: de published: 2026-10-26T13:50:08.000Z modified: 2026-10-26T13:50:08.000Z --- # Wie benutze ich Screaming Frog – auch mit KI? 📊 Messen & Verbessern · Messen & Verbessern · Deutsch · Quer · 866 Sek. ## Kurz gesagt Der Screaming Frog SEO Spider Schritt für Schritt erklärt, am Beispiel von iliyan-hristov.de: der erste Crawl mit Start-URL und den Modi Liste, SERP, Vergleichen und APIs, die Übersicht und der Probleme-Reiter, die wichtigsten Tabs und Filter für Antwort-Codes, externe Links, HTTPS, URLs, Seitentitel, Meta Descriptions, SERP-Vorschau, H1, H2, Inhalt, Canonicals, Direktiven, Bilder, Links, Inlinks und Sitestruktur. Dazu die Konfiguration mit Sitemaps, HTML speichern, JavaScript-Rendering, Einschränkungen, Einbeziehen und Ausschließen, Geschwindigkeit, User-Agent, robots.txt und Login, Massenexporte und Berichte, Visualisierungen und der Crawl-Vergleich. Im KI-Teil: API-Zugang zu OpenAI, Gemini, Anthropic und Ollama, bis zu 100 Prompts, Embeddings, Semantisch ähnlich, Inhalte mit geringer Relevanz und semantische Suche. Für Fortgeschrittene: eigenes JavaScript, OpenAI-Embeddings für interne Links nach Gus Pelogia, Google-NLP-Entitäten nach Chris Lever, Extraktion per XPath, CSS und Regex, rohes gegen gerendertes HTML, eigene Suche und MCP. Von der Redaktion „Iliyan Hristov“ · veröffentlicht am 26. Oktober 2026 ## Worum geht's? Crawl starten, Statuscodes, Titel, Canonicals und Links prüfen, Konfiguration, Exporte, Visualisierungen, Crawl-Vergleich, KI-Prompts, Ollama, Embeddings, XPath und eigenes JavaScript – Schritt für Schritt **Zum Nachlesen: Was im Video sagt** **Einleitung:** Der Screaming Frog SEO Spider Schritt für Schritt erklärt, am Beispiel von iliyan-hristov.de: der erste Crawl mit Start-URL und den Modi Liste, SERP, Vergleichen und APIs, die Übersicht und der Probleme-Reiter, die wichtigsten Tabs und Filter für Antwort-Codes, externe Links, HTTPS, URLs, Seitentitel, Meta Descriptions, SERP-Vorschau, H1, H2, Inhalt, Canonicals, Direktiven, Bilder, Links, Inlinks und Sitestruktur. Dazu die Konfiguration mit Sitemaps, HTML speichern, JavaScript-Rendering, Einschränkungen, Einbeziehen und Ausschließen, Geschwindigkeit, User-Agent, robots.txt und Login, Massenexporte und Berichte, Visualisierungen und der Crawl-Vergleich. Im KI-Teil: API-Zugang zu OpenAI, Gemini, Anthropic und Ollama, bis zu 100 Prompts, Embeddings, Semantisch ähnlich, Inhalte mit geringer Relevanz und semantische Suche. Für Fortgeschrittene: eigenes JavaScript, OpenAI-Embeddings für interne Links nach Gus Pelogia, Google-NLP-Entitäten nach Chris Lever, Extraktion per XPath, CSS und Regex, rohes gegen gerendertes HTML, eigene Suche und MCP. **Intro:** Hey, schön, dass du da bist! Heute geht's um den Screaming Frog SEO Spider. Der klappert eine Website ab wie Google und zeigt dir jedes technische SEO-Problem. Am Ende schauen wir uns auch die KI-Funktionen an: Prompts, Embeddings und Quelltext-Analyse. Als Beispiel crawle ich meine eigene Seite, iliyan-hristov.de. **Der erste Crawl:** Oben trägst du die Start-URL ein. Ein Crawl heißt: Das Programm ruft eine Seite auf, folgt allen Links und sammelt dabei Daten über jede gefundene Seite. Daneben wählst du den Umfang, hier Subdomain, und klickst auf Start. Die Reiter darunter sind Themen wie Antwort-Codes, Seitentitel oder H1, jeweils mit eigenen Filtern. Unter Modus wechselst du die Arbeitsweise. SEO Spider crawlt ab einer Start-URL über Links. Liste prüft nur URLs, die du vorgibst. Dazu kommen SERP, Vergleichen und APIs. Im Listenmodus lädst du URLs hoch: aus einer Datei, per Einfügen, aus einer XML-Sitemap oder einem Google Sheet. Perfekt, um nach einem Relaunch alle alten Adressen zu prüfen. Der Modus APIs holt für deine URL-Liste nur Daten von Schnittstellen, etwa aus der Search Console, PageSpeed Insights oder einer KI. Die Seiten selbst werden nicht gecrawlt. Kostenlos crawlst du bis zu 500 URLs. Für mehr, für gespeicherte Einstellungen, eigene Extraktion und die KI-Funktionen brauchst du eine Lizenz. So sieht's nach dem Crawl aus. Unten steht 620 von 620 abgeschlossen. Links im Reiter Intern alle URLs meiner Seite, fast überall Statuscode 200 und indexierbar. Rechts die Übersicht: 620 URLs gefunden, 218 intern und 402 extern. 211 interne sind indexierbar, dürfen also bei Google erscheinen. Ein Klick hier filtert die Tabelle links. Der Reiter Probleme ist deine To-do-Liste. Bei mir: ein Fehler, sieben Warnungen und zwölf Gelegenheiten. Ein Klick auf ein Problem filtert die Hauptansicht auf genau die betroffenen URLs. **Die wichtigsten Tabs und Filter:** Antwort-Codes zeigt die Statuscodes, also die Antwort des Servers. 200 heißt okay, 3xx Weiterleitung, 4xx nicht gefunden. Bei mir: 449 mal Erfolg, 155 Weiterleitungen und 15 kaputte externe Links. Unter Extern stehen alle Links auf fremde Seiten, 402 Stück, vor allem Bilder aus einem Speicher und Links zu YouTube oder GitHub. Kaputte externe Links findest du hier zuerst. Seitentitel zeigt den title jeder Seite, also die blaue Überschrift im Suchergebnis, samt Länge. Bei mir etwa: Iliyan Hristov, Freelancer für Tech-SEO, Full-Stack und KI. Die Filter melden fehlende, doppelte, zu lange oder zu kurze Titel, auch in Pixeln, denn Google schneidet nach Breite ab. Auffällig ist bei mir nur Gleich wie H1, bei 15 Seiten. Meta Description ist der graue Text unter dem Titel. Die Spalten Länge und Pixelbreite zeigen, wo du kürzen solltest. Zehn meiner Beschreibungen haben über 155 Zeichen. Der SERP-Ausschnitt zeigt die Google-Vorschau. Der Titel passt, bei der Beschreibung werden neun Zeichen abgeschnitten. Unten formulierst du direkt um und testest neu. H1 ist die Hauptüberschrift einer Seite. Jede Seite sollte genau eine haben, die zum Thema passt. Bei mir gibt's zehn Duplikate und zehn H1 über 70 Zeichen. Bei H2, den Zwischenüberschriften, meldet das Tool 179 Duplikate. Klingt schlimm, kommt aber von Vorlagen-Überschriften wie Worum geht's. Das ist meist harmlos. Inhalt zählt Wörter und Sätze und misst die Lesbarkeit. Mein Impressum hat nur 33 Wörter. Neun Seiten gelten als dünn, haben also weniger als 200 Wörter. Merk dir die Filter Semantisch ähnlich und Inhalte mit geringer Relevanz. Die stehen noch auf null, denn die füllt erst die KI. Dazu kommen wir später. Ein Canonical ist ein Hinweis im Code: Das ist die offizielle Adresse dieser Seite. So vermeidest du doppelte Inhalte. 185 meiner Seiten verweisen auf sich selbst, so soll's sein. Direktive zeigt die Robots-Anweisungen. index heißt bitte aufnehmen, noindex heißt bitte nicht. Hier prüfst du, ob nicht aus Versehen eine wichtige Seite auf noindex steht. Unter Bilder sortierst du nach Größe. Mein größtes hat 61,7 Kilobyte, keins liegt über 100. Bilder darüber würde ich komprimieren, das macht die Seite schneller. Im Diagramm: vier Bilder ohne Alt-Text. Der Alt-Text beschreibt ein Bild für Suchmaschinen und Screenreader. Den ergänze ich gleich nach dem Video. Links zeigt Crawltiefe und Link Score. Crawltiefe heißt: wie viele Klicks von der Startseite entfernt. Der Link Score ist eine Art interner PageRank. 188 Seiten haben nicht beschreibende Ankertexte wie mehr oder hier. Der Ankertext ist der klickbare Linktext. Besser sagt er, worum es auf der Zielseite geht. Im Panel Inlinks siehst du, wer auf eine Seite verlinkt. Meine Startseite hat 422 eingehende Links. Mit den Filtern grenzt du nach Linktyp oder Position ein, etwa nur Links im Inhalt. Sitestruktur zeigt die Ordner: 103 URLs unter videos, 81 unter seo. Dazu kommen kleinere Bereiche wie Checklisten und Tools. Darunter die Crawltiefe als Diagramm. Die meisten Seiten liegen auf Ebene drei. Wichtige Inhalte sollten höchstens drei Klicks von der Startseite entfernt sein. **Konfiguration:** Unter Konfiguration stellst du ein, was der Spider tun soll: Spider, Inhalt, Einbeziehen, Ausschließen, Geschwindigkeit, API-Zugang. Unter Profile speicherst du ganze Setups. Unter Spider, Crawl legst du fest, welchen Links er folgt. Crawlen heißt aufrufen, Speichern heißt im Bericht zeigen. Für schnelle Checks schaltest du externe Links einfach ab. Rechts trage ich meine Sitemaps ein, quasi Inhaltsverzeichnisse für Suchmaschinen. So findet der Spider auch Seiten, auf die kein Link mehr zeigt. Unter Extraktion bestimmst du, was pro Seite gespeichert wird: Titel, Description, H1, Wortanzahl, Robots. Strukturierte Daten wie JSON-LD hakst du hier extra an. Ganz wichtig für später: HTML speichern und Gerendertes HTML speichern. Ohne diese Haken haben KI-Prompts und Embeddings keinen Text zum Arbeiten. Mit JavaScript öffnet der Spider jede Seite in einem unsichtbaren Chrome, so wie Google. Das brauchst du für React, Vue oder Angular. Dauert länger. Voreingestellt ist Googlebot Smartphone. Unter Einschränkungen begrenzt du Menge und Tiefe, etwa nur 10.000 URLs oder drei Klickebenen. Bei großen Shops spart das Zeit, Speicher und später auch KI-Kosten. Unter Einstellungen stehen die Grenzwerte für Warnungen. Die Liste schwacher Ankertexte ist englisch, mit click here oder read more. Ergänz für deutsche Seiten hier, mehr und weiterlesen. Mit Einbeziehen crawlst du nur, was zu einem Muster passt, etwa slash blog slash. Ausschließen ist das Gegenstück. Das Muster ist ein Regex, eine Art Suchschablone für Text. Standard sind fünf Threads, also fünf Anfragen gleichzeitig. Bei schwachen Servern oder wenn du pro Seite eine KI fragst, begrenzt du auf ein bis zwei URLs pro Sekunde. Für Seiten mit Login gibt's die Authentifizierung. Wichtig ist die gelbe Warnung: Eingeloggt klickt der Spider jeden Link, auch Löschen. Solche Links schließt du vorher aus. **Exporte und Berichte:** Unter Massenexport ziehst du Daten über alle URLs auf einmal raus, als CSV, Excel oder Google Sheets. Für Linkaudits ist Alle-Inlinks der wichtigste Export. Bei Antwort-Codes wählst du etwa Client-Fehler 4xx-Inlinks. Dann bekommst du jeden Link auf eine 404-Seite mit Quelle und Ziel. Das ist deine Reparaturliste. Unter Web exportierst du alle Seitenquelltexte, den gesamten Seitentext, PDFs und HTTP-Header. Futter für eigene Skripte oder eine KI. Dafür muss HTML speichern an sein. Berichte sind fertige Auswertungen. Die Problemübersicht listet alles nach Priorität, Umleitungsketten zeigen Weiterleitungen über mehrere Stationen. Im Menü Datei findest du Planung. Damit läuft ein Crawl automatisch, etwa jeden Montag, samt Export. So merkst du Probleme, bevor Google sie merkt. **Visualisierungen:** Der Crawlbaumgraph zeigt den kürzesten Klickpfad zu jeder Seite. Grün ist indexierbar, rot nicht. Hier fächert alle-videos in viele einzelne Video-Seiten auf. Im Verzeichnisbaum fährst du mit der Maus über einen Knoten. Bei Wasserzeichen für KI-Inhalte: Crawltiefe drei, sechs Inlinks, 452 Wörter. Alles auf einen Blick. In 3D sieht's noch cooler aus. Rechts stellst du ein, wonach die Kugeln wachsen, zum Beispiel nach Link Score, und wie viele Ebenen aufgeklappt werden. Die Wortwolke zeigt die Ankertexte, mit denen auf eine Seite verlinkt wird. Bei meiner Startseite dominiert mein Name. Gut fürs Branding, für Keywords bräuchte es andere Linktexte. **Crawl-Vergleich:** Für jede Kennzahl siehst du, was hinzugekommen, neu, entfernt oder fehlend ist. Meine zwei Crawls sind identisch, alles bei null Prozent. Nach einem Relaunch sähe das anders aus. Das Balkendiagramm zeigt alt gegen neu. So prüfst du nach jeder größeren Änderung, ob plötzlich Seiten fehlen, Titel weg sind oder noindex dazugekommen ist. **KI-Funktionen:** Jetzt wird's spannend! Unter API-Zugang verbindest du Datenquellen: Google Analytics, Search Console, PageSpeed Insights und Backlink-Tools wie Ahrefs. Darunter die KI-Anbieter OpenAI, Gemini und Ollama. Eine API ist eine Schnittstelle, über die zwei Programme miteinander reden. Dafür brauchst du einen API-Schlüssel. Laut Screaming Frog kam die direkte KI-Anbindung mit Version 21, neben OpenAI und Gemini auch für Anthropic. Den Schlüssel gibst du einmal ein, und die KI läuft in jedem Crawl-Modus. Du legst bis zu 100 Prompts an, also Anweisungen an die KI, etwa: Schreib einen Alt-Text. Vorlagen gibt's unter Add from Library. Als Daten wählst du den Seitentext, das HTML oder eine Extraktion. Damit Text ankommt, muss HTML speichern an sein. Mit dem Play-Symbol testest du einen Prompt vorab an einer einzigen URL. Erst wenn die Antwort passt, lässt du ihn auf alle Seiten los. Ollama ist besonders spannend: Damit läuft ein Sprachmodell lokal auf deinem Rechner. Kein API-Schlüssel, keine Kosten pro Anfrage, und deine Daten bleiben bei dir. Jetzt zu Embeddings. Die aktivierst du unter Konfiguration, Inhalt, Einbettungen. Ein Embedding verwandelt einen Text in eine lange Zahlenreihe, die seine Bedeutung beschreibt. Texte mit ähnlicher Bedeutung bekommen ähnliche Zahlen, auch wenn sie ganz andere Wörter benutzen. So misst ein Programm, wie nah sich zwei Seiten thematisch sind. Laut Screaming Frog nimmst du am besten Gemini, braucht aber eine bezahlte Lizenz. Hak beide HTML-Speicher an: Nur Text nutzt rohes HTML, JavaScript-Rendering das gerenderte. Semantisch ähnlich und geringe Relevanz rechnet der Spider erst nach dem Crawl aus, in der Crawl-Analyse. Ohne sie bleiben die Filter leer. Hak am besten Automatische Analyse nach dem Crawl an. Danach füllt sich Semantisch ähnlich. Der Filter findet Seiten mit gleichem Thema, aber anderer Formulierung. Das ist Kannibalisierung: Deine Seiten machen sich Konkurrenz. Für geringe Relevanz wird laut Screaming Frog aus allen Seiten ein Mittelpunkt berechnet, der Centroid. Seiten weit davon weg passen thematisch nicht zum Rest deiner Website. Mit Version 22 kam außerdem die semantische Suche. Du gibst eine Frage ein, und der Spider sortiert alle Seiten nach Bedeutungsnähe, ganz ohne exakte Keywords. Unter Massenexport, Inhalt exportierst du die Paare aus Semantisch ähnlich als Tabelle. Das ist deine Liste mit Kandidaten zum Zusammenlegen oder klarer Abgrenzen. Und das Inhalts-Cluster-Diagramm unter Visualisierungen zeigt deine Themen als Gruppen. Ausreißer siehst du sofort, weil sie weit weg von allen anderen liegen. **Fortgeschritten: Quelltext und eigene Skripte:** Für Fortgeschrittene gibt's den Bereich Eigene: eigene Suche, benutzerdefinierte Extraktion, eigene Linkpositionen und eigenes JavaScript. Das Herzstück der Quelltext-Analyse. Eigenes JavaScript kam laut Screaming Frog mit Version 20. Dabei läuft während des Crawls ein kleines Skript auf jeder Seite. Dafür muss JavaScript-Rendering an sein. In der Bibliothek gibt's fertige Snippets: Alt-Texte per KI, Scrollen für Lazy Loading, Sprachanalyse oder Embeddings mit ChatGPT. Die Ergebnisse landen im Reiter Custom JavaScript. Gus Pelogia berichtet im Screaming-Frog-Blog, wie er so OpenAI-Embeddings für jede Seite holt. In Google Colab findet er dann zu jeder URL verwandte Seiten für interne Links. Laut ihm kosteten 50.000 URLs unter fünf Dollar. Sein Rat: Zeilen ohne Embedding löschen, etwa Bilder oder 404er, und langsamer crawlen, wenn OpenAI Fehler meldet. Chris Lever zeigt, wie er die Google Natural Language API anbindet. Die findet Entitäten, also Dinge wie Personen, Orte oder Marken, die Google in einem Text erkennt. Weil diese API ein Dienstkonto braucht, schaltet er einen kleinen PHP-Proxy dazwischen. Der Schlüssel bleibt auf seinem Server. Zurück kommen Stimmung, wichtigste Entität und Themenkategorie. Mit der benutzerdefinierten Extraktion ziehst du Daten aus dem Quelltext, laut Screaming Frog mit bis zu 100 Extraktoren. Per XPath, CSS-Pfad oder Regex, etwa für JSON. XPath ist eine Wegbeschreibung durchs HTML. Slash body, slash header heißt: im body, dann im header. Genau so einen Pfad siehst du hier unten im Test. Damit holst du zum Beispiel das Veröffentlichungsdatum aus einem Meta-Tag. Oder du zählst mit count, Klammer auf, zwei Slashes, h1, wie viele H1 jede Seite hat. Wichtig ist der Unterschied zwischen rohem und gerendertem HTML. Roh ist, was der Server schickt. Gerendert ist, was nach JavaScript im Browser steht. Extrahiert wird standardmäßig aus dem rohen. Zum Selbstvergleichen exportierst du unter Massenexport, Web alle Seitenquelltexte. Steht etwa der Titel nicht im rohen HTML, übersehen ihn manche KI-Crawler. Eigene Suche prüft jede Seite auf enthält oder enthält nicht. Etwa: Wo fehlt das Google-Tag-Manager-Snippet? Oder wo steht noch nicht vorrätig? Das geht als Text oder Regex. **MCP:** Ganz neu ist das Menü MCP, kurz für Model Context Protocol. Damit startest du einen lokalen Server, über den KI-Assistenten wie Claude direkt mit dem Spider reden. Die KI kann dann Crawls starten und Daten abfragen, etwa: Welche Seiten haben keinen Alt-Text? Noch ganz frisch, aber ein spannender Ausblick. **Was du dir merken solltest:** Fang nach dem Crawl mit dem Reiter Probleme an. Prüf Titel und Beschreibungen auch in Pixeln. Für KI und Embeddings brauchst du HTML speichern. Starte die Crawl-Analyse, sonst bleiben die semantischen Filter leer. Vergleich rohes und gerendertes HTML. Und vergleich deine Crawls regelmäßig. Probier's einfach mal aus! Mehr einfach erklärt auf iliyan-hristov.de. Bis bald! **Intro:** Hey, schön, dass du da bist! Heute geht's um den Screaming Frog SEO Spider. Der klappert eine Website ab wie Google und zeigt dir jedes technische SEO-Problem. Am Ende schauen wir uns auch die KI-Funktionen an: Prompts, Embeddings und Quelltext-Analyse. Als Beispiel crawle ich meine eigene Seite, iliyan-hristov.de. **Der erste Crawl:** Oben trägst du die Start-URL ein. Ein Crawl heißt: Das Programm ruft eine Seite auf, folgt allen Links und sammelt dabei Daten über jede gefundene Seite. Daneben wählst du den Umfang, hier Subdomain, und klickst auf Start. Die Reiter darunter sind Themen wie Antwort-Codes, Seitentitel oder H1, jeweils mit eigenen Filtern. Unter Modus wechselst du die Arbeitsweise. SEO Spider crawlt ab einer Start-URL über Links. Liste prüft nur URLs, die du vorgibst. Dazu kommen SERP, Vergleichen und APIs. Im Listenmodus lädst du URLs hoch: aus einer Datei, per Einfügen, aus einer XML-Sitemap oder einem Google Sheet. Perfekt, um nach einem Relaunch alle alten Adressen zu prüfen. Der Modus APIs holt für deine URL-Liste nur Daten von Schnittstellen, etwa aus der Search Console, PageSpeed Insights oder einer KI. Die Seiten selbst werden nicht gecrawlt. Kostenlos crawlst du bis zu 500 URLs. Für mehr, für gespeicherte Einstellungen, eigene Extraktion und die KI-Funktionen brauchst du eine Lizenz. So sieht's nach dem Crawl aus. Unten steht 620 von 620 abgeschlossen. Links im Reiter Intern alle URLs meiner Seite, fast überall Statuscode 200 und indexierbar. Rechts die Übersicht: 620 URLs gefunden, 218 intern und 402 extern. 211 interne sind indexierbar, dürfen also bei Google erscheinen. Ein Klick hier filtert die Tabelle links. Der Reiter Probleme ist deine To-do-Liste. Bei mir: ein Fehler, sieben Warnungen und zwölf Gelegenheiten. Ein Klick auf ein Problem filtert die Hauptansicht auf genau die betroffenen URLs. **Die wichtigsten Tabs und Filter:** Antwort-Codes zeigt die Statuscodes, also die Antwort des Servers. 200 heißt okay, 3xx Weiterleitung, 4xx nicht gefunden. Bei mir: 449 mal Erfolg, 155 Weiterleitungen und 15 kaputte externe Links. Unter Extern stehen alle Links auf fremde Seiten, 402 Stück, vor allem Bilder aus einem Speicher und Links zu YouTube oder GitHub. Kaputte externe Links findest du hier zuerst. Seitentitel zeigt den title jeder Seite, also die blaue Überschrift im Suchergebnis, samt Länge. Bei mir etwa: Iliyan Hristov, Freelancer für Tech-SEO, Full-Stack und KI. Die Filter melden fehlende, doppelte, zu lange oder zu kurze Titel, auch in Pixeln, denn Google schneidet nach Breite ab. Auffällig ist bei mir nur Gleich wie H1, bei 15 Seiten. Meta Description ist der graue Text unter dem Titel. Die Spalten Länge und Pixelbreite zeigen, wo du kürzen solltest. Zehn meiner Beschreibungen haben über 155 Zeichen. Der SERP-Ausschnitt zeigt die Google-Vorschau. Der Titel passt, bei der Beschreibung werden neun Zeichen abgeschnitten. Unten formulierst du direkt um und testest neu. H1 ist die Hauptüberschrift einer Seite. Jede Seite sollte genau eine haben, die zum Thema passt. Bei mir gibt's zehn Duplikate und zehn H1 über 70 Zeichen. Bei H2, den Zwischenüberschriften, meldet das Tool 179 Duplikate. Klingt schlimm, kommt aber von Vorlagen-Überschriften wie Worum geht's. Das ist meist harmlos. Inhalt zählt Wörter und Sätze und misst die Lesbarkeit. Mein Impressum hat nur 33 Wörter. Neun Seiten gelten als dünn, haben also weniger als 200 Wörter. Merk dir die Filter Semantisch ähnlich und Inhalte mit geringer Relevanz. Die stehen noch auf null, denn die füllt erst die KI. Dazu kommen wir später. Ein Canonical ist ein Hinweis im Code: Das ist die offizielle Adresse dieser Seite. So vermeidest du doppelte Inhalte. 185 meiner Seiten verweisen auf sich selbst, so soll's sein. Direktive zeigt die Robots-Anweisungen. index heißt bitte aufnehmen, noindex heißt bitte nicht. Hier prüfst du, ob nicht aus Versehen eine wichtige Seite auf noindex steht. Unter Bilder sortierst du nach Größe. Mein größtes hat 61,7 Kilobyte, keins liegt über 100. Bilder darüber würde ich komprimieren, das macht die Seite schneller. Im Diagramm: vier Bilder ohne Alt-Text. Der Alt-Text beschreibt ein Bild für Suchmaschinen und Screenreader. Den ergänze ich gleich nach dem Video. Links zeigt Crawltiefe und Link Score. Crawltiefe heißt: wie viele Klicks von der Startseite entfernt. Der Link Score ist eine Art interner PageRank. 188 Seiten haben nicht beschreibende Ankertexte wie mehr oder hier. Der Ankertext ist der klickbare Linktext. Besser sagt er, worum es auf der Zielseite geht. Im Panel Inlinks siehst du, wer auf eine Seite verlinkt. Meine Startseite hat 422 eingehende Links. Mit den Filtern grenzt du nach Linktyp oder Position ein, etwa nur Links im Inhalt. Sitestruktur zeigt die Ordner: 103 URLs unter videos, 81 unter seo. Dazu kommen kleinere Bereiche wie Checklisten und Tools. Darunter die Crawltiefe als Diagramm. Die meisten Seiten liegen auf Ebene drei. Wichtige Inhalte sollten höchstens drei Klicks von der Startseite entfernt sein. **Konfiguration:** Unter Konfiguration stellst du ein, was der Spider tun soll: Spider, Inhalt, Einbeziehen, Ausschließen, Geschwindigkeit, API-Zugang. Unter Profile speicherst du ganze Setups. Unter Spider, Crawl legst du fest, welchen Links er folgt. Crawlen heißt aufrufen, Speichern heißt im Bericht zeigen. Für schnelle Checks schaltest du externe Links einfach ab. Rechts trage ich meine Sitemaps ein, quasi Inhaltsverzeichnisse für Suchmaschinen. So findet der Spider auch Seiten, auf die kein Link mehr zeigt. Unter Extraktion bestimmst du, was pro Seite gespeichert wird: Titel, Description, H1, Wortanzahl, Robots. Strukturierte Daten wie JSON-LD hakst du hier extra an. Ganz wichtig für später: HTML speichern und Gerendertes HTML speichern. Ohne diese Haken haben KI-Prompts und Embeddings keinen Text zum Arbeiten. Mit JavaScript öffnet der Spider jede Seite in einem unsichtbaren Chrome, so wie Google. Das brauchst du für React, Vue oder Angular. Dauert länger. Voreingestellt ist Googlebot Smartphone. Unter Einschränkungen begrenzt du Menge und Tiefe, etwa nur 10.000 URLs oder drei Klickebenen. Bei großen Shops spart das Zeit, Speicher und später auch KI-Kosten. Unter Einstellungen stehen die Grenzwerte für Warnungen. Die Liste schwacher Ankertexte ist englisch, mit click here oder read more. Ergänz für deutsche Seiten hier, mehr und weiterlesen. Mit Einbeziehen crawlst du nur, was zu einem Muster passt, etwa slash blog slash. Ausschließen ist das Gegenstück. Das Muster ist ein Regex, eine Art Suchschablone für Text. Standard sind fünf Threads, also fünf Anfragen gleichzeitig. Bei schwachen Servern oder wenn du pro Seite eine KI fragst, begrenzt du auf ein bis zwei URLs pro Sekunde. Für Seiten mit Login gibt's die Authentifizierung. Wichtig ist die gelbe Warnung: Eingeloggt klickt der Spider jeden Link, auch Löschen. Solche Links schließt du vorher aus. **Exporte und Berichte:** Unter Massenexport ziehst du Daten über alle URLs auf einmal raus, als CSV, Excel oder Google Sheets. Für Linkaudits ist Alle-Inlinks der wichtigste Export. Bei Antwort-Codes wählst du etwa Client-Fehler 4xx-Inlinks. Dann bekommst du jeden Link auf eine 404-Seite mit Quelle und Ziel. Das ist deine Reparaturliste. Unter Web exportierst du alle Seitenquelltexte, den gesamten Seitentext, PDFs und HTTP-Header. Futter für eigene Skripte oder eine KI. Dafür muss HTML speichern an sein. Berichte sind fertige Auswertungen. Die Problemübersicht listet alles nach Priorität, Umleitungsketten zeigen Weiterleitungen über mehrere Stationen. Im Menü Datei findest du Planung. Damit läuft ein Crawl automatisch, etwa jeden Montag, samt Export. So merkst du Probleme, bevor Google sie merkt. **Visualisierungen:** Der Crawlbaumgraph zeigt den kürzesten Klickpfad zu jeder Seite. Grün ist indexierbar, rot nicht. Hier fächert alle-videos in viele einzelne Video-Seiten auf. Im Verzeichnisbaum fährst du mit der Maus über einen Knoten. Bei Wasserzeichen für KI-Inhalte: Crawltiefe drei, sechs Inlinks, 452 Wörter. Alles auf einen Blick. In 3D sieht's noch cooler aus. Rechts stellst du ein, wonach die Kugeln wachsen, zum Beispiel nach Link Score, und wie viele Ebenen aufgeklappt werden. Die Wortwolke zeigt die Ankertexte, mit denen auf eine Seite verlinkt wird. Bei meiner Startseite dominiert mein Name. Gut fürs Branding, für Keywords bräuchte es andere Linktexte. **Crawl-Vergleich:** Für jede Kennzahl siehst du, was hinzugekommen, neu, entfernt oder fehlend ist. Meine zwei Crawls sind identisch, alles bei null Prozent. Nach einem Relaunch sähe das anders aus. Das Balkendiagramm zeigt alt gegen neu. So prüfst du nach jeder größeren Änderung, ob plötzlich Seiten fehlen, Titel weg sind oder noindex dazugekommen ist. **KI-Funktionen:** Jetzt wird's spannend! Unter API-Zugang verbindest du Datenquellen: Google Analytics, Search Console, PageSpeed Insights und Backlink-Tools wie Ahrefs. Darunter die KI-Anbieter OpenAI, Gemini und Ollama. Eine API ist eine Schnittstelle, über die zwei Programme miteinander reden. Dafür brauchst du einen API-Schlüssel. Laut Screaming Frog kam die direkte KI-Anbindung mit Version 21, neben OpenAI und Gemini auch für Anthropic. Den Schlüssel gibst du einmal ein, und die KI läuft in jedem Crawl-Modus. Du legst bis zu 100 Prompts an, also Anweisungen an die KI, etwa: Schreib einen Alt-Text. Vorlagen gibt's unter Add from Library. Als Daten wählst du den Seitentext, das HTML oder eine Extraktion. Damit Text ankommt, muss HTML speichern an sein. Mit dem Play-Symbol testest du einen Prompt vorab an einer einzigen URL. Erst wenn die Antwort passt, lässt du ihn auf alle Seiten los. Ollama ist besonders spannend: Damit läuft ein Sprachmodell lokal auf deinem Rechner. Kein API-Schlüssel, keine Kosten pro Anfrage, und deine Daten bleiben bei dir. Jetzt zu Embeddings. Die aktivierst du unter Konfiguration, Inhalt, Einbettungen. Ein Embedding verwandelt einen Text in eine lange Zahlenreihe, die seine Bedeutung beschreibt. Texte mit ähnlicher Bedeutung bekommen ähnliche Zahlen, auch wenn sie ganz andere Wörter benutzen. So misst ein Programm, wie nah sich zwei Seiten thematisch sind. Laut Screaming Frog nimmst du am besten Gemini, braucht aber eine bezahlte Lizenz. Hak beide HTML-Speicher an: Nur Text nutzt rohes HTML, JavaScript-Rendering das gerenderte. Semantisch ähnlich und geringe Relevanz rechnet der Spider erst nach dem Crawl aus, in der Crawl-Analyse. Ohne sie bleiben die Filter leer. Hak am besten Automatische Analyse nach dem Crawl an. Danach füllt sich Semantisch ähnlich. Der Filter findet Seiten mit gleichem Thema, aber anderer Formulierung. Das ist Kannibalisierung: Deine Seiten machen sich Konkurrenz. Für geringe Relevanz wird laut Screaming Frog aus allen Seiten ein Mittelpunkt berechnet, der Centroid. Seiten weit davon weg passen thematisch nicht zum Rest deiner Website. Mit Version 22 kam außerdem die semantische Suche. Du gibst eine Frage ein, und der Spider sortiert alle Seiten nach Bedeutungsnähe, ganz ohne exakte Keywords. Unter Massenexport, Inhalt exportierst du die Paare aus Semantisch ähnlich als Tabelle. Das ist deine Liste mit Kandidaten zum Zusammenlegen oder klarer Abgrenzen. Und das Inhalts-Cluster-Diagramm unter Visualisierungen zeigt deine Themen als Gruppen. Ausreißer siehst du sofort, weil sie weit weg von allen anderen liegen. **Fortgeschritten: Quelltext und eigene Skripte:** Für Fortgeschrittene gibt's den Bereich Eigene: eigene Suche, benutzerdefinierte Extraktion, eigene Linkpositionen und eigenes JavaScript. Das Herzstück der Quelltext-Analyse. Eigenes JavaScript kam laut Screaming Frog mit Version 20. Dabei läuft während des Crawls ein kleines Skript auf jeder Seite. Dafür muss JavaScript-Rendering an sein. In der Bibliothek gibt's fertige Snippets: Alt-Texte per KI, Scrollen für Lazy Loading, Sprachanalyse oder Embeddings mit ChatGPT. Die Ergebnisse landen im Reiter Custom JavaScript. Gus Pelogia berichtet im Screaming-Frog-Blog, wie er so OpenAI-Embeddings für jede Seite holt. In Google Colab findet er dann zu jeder URL verwandte Seiten für interne Links. Laut ihm kosteten 50.000 URLs unter fünf Dollar. Sein Rat: Zeilen ohne Embedding löschen, etwa Bilder oder 404er, und langsamer crawlen, wenn OpenAI Fehler meldet. Chris Lever zeigt, wie er die Google Natural Language API anbindet. Die findet Entitäten, also Dinge wie Personen, Orte oder Marken, die Google in einem Text erkennt. Weil diese API ein Dienstkonto braucht, schaltet er einen kleinen PHP-Proxy dazwischen. Der Schlüssel bleibt auf seinem Server. Zurück kommen Stimmung, wichtigste Entität und Themenkategorie. Mit der benutzerdefinierten Extraktion ziehst du Daten aus dem Quelltext, laut Screaming Frog mit bis zu 100 Extraktoren. Per XPath, CSS-Pfad oder Regex, etwa für JSON. XPath ist eine Wegbeschreibung durchs HTML. Slash body, slash header heißt: im body, dann im header. Genau so einen Pfad siehst du hier unten im Test. Damit holst du zum Beispiel das Veröffentlichungsdatum aus einem Meta-Tag. Oder du zählst mit count, Klammer auf, zwei Slashes, h1, wie viele H1 jede Seite hat. Wichtig ist der Unterschied zwischen rohem und gerendertem HTML. Roh ist, was der Server schickt. Gerendert ist, was nach JavaScript im Browser steht. Extrahiert wird standardmäßig aus dem rohen. Zum Selbstvergleichen exportierst du unter Massenexport, Web alle Seitenquelltexte. Steht etwa der Titel nicht im rohen HTML, übersehen ihn manche KI-Crawler. Eigene Suche prüft jede Seite auf enthält oder enthält nicht. Etwa: Wo fehlt das Google-Tag-Manager-Snippet? Oder wo steht noch nicht vorrätig? Das geht als Text oder Regex. **MCP:** Ganz neu ist das Menü MCP, kurz für Model Context Protocol. Damit startest du einen lokalen Server, über den KI-Assistenten wie Claude direkt mit dem Spider reden. Die KI kann dann Crawls starten und Daten abfragen, etwa: Welche Seiten haben keinen Alt-Text? Noch ganz frisch, aber ein spannender Ausblick. **Was du dir merken solltest:** Fang nach dem Crawl mit dem Reiter Probleme an. Prüf Titel und Beschreibungen auch in Pixeln. Für KI und Embeddings brauchst du HTML speichern. Starte die Crawl-Analyse, sonst bleiben die semantischen Filter leer. Vergleich rohes und gerendertes HTML. Und vergleich deine Crawls regelmäßig. Probier's einfach mal aus! Mehr einfach erklärt auf iliyan-hristov.de. Bis bald! **Zum Schluss:** Nach dem Crawl mit dem Reiter Probleme anfangen, Titel und Descriptions auch in Pixeln prüfen, für KI-Prompts und Embeddings HTML speichern aktivieren, die Crawl-Analyse starten, rohes und gerendertes HTML vergleichen und Crawls regelmäßig gegenüberstellen. Vereinfacht erklärt, ohne Gewähr. ## Auf YouTube Dieses Video gibt es auch auf unserem Kanal. [▶ Auf YouTube ansehen](https://youtu.be/pLhs0DR0Zr4)[Kanal abonnieren](https://www.youtube.com/channel/UCfypwm7ZTtZY-VOODNVW0Zw?sub_confirmation=1) ## Mehr zum Thema Messen & Verbessern alle ansehen - [Wie prüfe ich strukturierte Daten richtig?](https://iliyan-hristov.de/seo/strukturierte-daten-pruefen-rich-results-test/) – 📊 Messen & Verbessern · ▶ YouTube · 596 Sek. - [Wie benutze ich die Chrome DevTools?](https://iliyan-hristov.de/seo/chrome-devtools-einfach-erklaert/) – 📊 Messen & Verbessern · ▶ YouTube · 676 Sek. - [Wie finde ich heraus, mit welcher Technik eine Website gebaut ist?](https://iliyan-hristov.de/seo/wappalyzer-einfach-erklaert/) – 📊 Messen & Verbessern · ▶ YouTube · 550 Sek.