Crawling bezeichnet das automatisierte Entdecken und Abrufen von Webressourcen durch Suchmaschinen-Crawler wie Googlebot. Crawler folgen unter anderem Links, verarbeiten bekannte URLs und können Sitemaps als zusätzliche Entdeckungsquelle nutzen. Crawling ist eine Voraussetzung für Verarbeitung, aber nicht gleichbedeutend mit Indexierung.
Was ist Crawling?
Suchmaschinen kennen nicht automatisch jede URL im Web. Crawler – auch Spider oder Bots genannt – rufen bekannte Seiten ab und entdecken über Links weitere Ressourcen. Google bezeichnet diesen ersten Verarbeitungsschritt als Crawling.
Crawling bedeutet noch nicht, dass eine Seite im Suchindex landet. Nach dem Abruf folgen weitere Verarbeitung und Indexierungsentscheidungen.
Wie entdeckt ein Crawler URLs?
Typische Entdeckungsquellen sind:
- interne Links auf bereits bekannten Seiten,
- externe Links von anderen Websites,
- XML-Sitemaps,
- bereits bekannte URLs aus früheren Crawls,
- weitere technische Signale und Plattformquellen.
Deshalb ist eine crawlbare interne Navigation so wichtig. Eine Seite, die nur über eine interne Suchfunktion erreichbar ist und nirgendwo verlinkt wird, ist schwerer systematisch zu entdecken.
Crawling und HTTP
Ein Crawler ist technisch ein HTTP-Client. Der Server antwortet mit Statuscodes und Inhalten. Diese Signale beeinflussen die weitere Verarbeitung:
- 200: Ressource wurde erfolgreich geliefert.
- 301/308: permanente Weiterleitung.
- 404/410: Ressource existiert nicht beziehungsweise wurde entfernt.
- 5xx: Serverfehler.
Falsche Statuscodes können Crawling und Indexierung erschweren. Eine Fehlerseite, die technisch 200 zurückgibt, ist beispielsweise ein sogenannter Soft-404-Kandidat.
robots.txt
Die Datei robots.txt kann Crawlern Regeln für den Abruf bestimmter Pfade mitteilen. Wichtig ist die Abgrenzung: Eine robots.txt-Sperre ist kein verlässlicher Mechanismus, um eine bereits bekannte URL aus dem Suchindex zu entfernen. Wird Crawling blockiert, kann ein Crawler gerade die noindex-Anweisung auf der Seite nicht lesen.
XML-Sitemap
Eine Sitemap ist eine zusätzliche Entdeckungs- und Priorisierungshilfe. Sie ersetzt keine interne Verlinkung und garantiert keine Indexierung. Gute Sitemaps enthalten bevorzugt kanonische, indexierbare URLs und werden aktuell gehalten.
Crawl Budget
Bei sehr großen Websites wird relevant, wie viele URLs eine Suchmaschine sinnvoll crawlen kann und will. Bei kleinen Unternehmenswebsites ist „Crawl Budget“ selten das Hauptproblem. Häufig wichtiger sind technische Endlosschleifen, Filterparameter, unnötige URL-Varianten oder schlechte interne Verlinkung.
SEO sollte hier nicht künstlich Komplexität erzeugen, wo sie nicht existiert.
JavaScript und Rendering
Moderne Suchmaschinen können JavaScript verarbeiten, aber serverseitig direkt verfügbares HTML bleibt für kritische Inhalte robust. Wenn Navigation, Canonical-Tags oder Hauptinhalte erst nach komplexen Client-Skripten erscheinen, steigen Abhängigkeiten und Fehlermöglichkeiten.
Wie erkennt man Crawling-Probleme?
- Google Search Console URL-Prüfung,
- Page Indexing Reports,
- Server-Logfiles,
- SEO-Crawler für interne Tests,
- Prüfung von robots.txt, Sitemaps und Statuscodes.
Server-Logs sind besonders aussagekräftig, weil sie zeigen, welche URLs ein Bot tatsächlich angefragt hat.
Crawling vs. Indexierung
Crawling bedeutet „abrufen“. Indexierung bedeutet „analysieren und gegebenenfalls in den Suchindex aufnehmen“. Eine Seite kann gecrawlt werden, ohne indexiert zu werden. Umgekehrt kann eine URL unter Umständen bekannt und indexiert sein, obwohl der aktuelle Abruf eingeschränkt ist.
Interne Linktiefe ist eine Architekturfrage
Strategisch wichtige Seiten sollten nicht nur in einer Sitemap existieren, sondern über nachvollziehbare Navigation und kontextuelle Links erreichbar sein. Tiefe, isolierte Seiten senden sowohl Nutzern als auch Crawlern ein anderes Signal als sauber in Themencluster eingebundene Inhalte.
Für ein Glossar heißt das: Indexseite, Kategorien, verwandte Begriffe und Fachartikel sollten echte Linkpfade bilden. Dadurch wird Crawling zugleich zu einem Nebenprodukt guter Informationsarchitektur.
Fazit
Crawling ist die technische Entdeckungs- und Abrufphase der Suche. Eine saubere URL-Struktur, interne Links, korrekte Statuscodes und kontrollierte Crawler-Regeln sorgen dafür, dass relevante Seiten effizient erreichbar sind. Erst danach stellt sich die Frage, ob der Inhalt indexiert und für Suchanfragen ausgewählt wird.
Passende Leistungen von Wils Solutions
Häufige Fragen
Was ist ein Webcrawler?
Ein Webcrawler ist ein automatisiertes Programm, das URLs entdeckt und Webressourcen abruft.
Ist Crawling dasselbe wie Indexierung?
Nein. Crawling ist das Entdecken und Abrufen. Indexierung ist die anschließende Analyse und mögliche Speicherung im Suchindex.
Garantiert eine XML-Sitemap Crawling oder Indexierung?
Nein. Eine Sitemap hilft bei der URL-Entdeckung, garantiert aber weder Abruf noch Indexierung.
Verhindert robots.txt eine Indexierung?
Nicht zuverlässig. robots.txt steuert primär Crawling. Für Indexierungssteuerung sind andere Mechanismen wie noindex vorgesehen.