Der Unterschied zwischen Crawlability und Indexability
Es herrscht oft Verwirrung über diese beiden Konzepte. Crawlability bedeutet, dass der Googlebot eine URL technisch erreichen kann. Indexierbarkeit (Indexability) bedeutet, dass die Erlaubnis und die qualitativen Voraussetzungen vorliegen, diese URL dauerhaft in die Datenbank aufzunehmen.
Ihre Website kann perfekt crawlbar sein, aber wenn im Quellcode ein vergessenes <meta name="robots" content="noindex"> aus der Staging-Umgebung steht, bleibt die Seite unsichtbar. In der B2B-Praxis sind die Fehler meist subtiler und teurer: Falsch gesetzte Canonical-Tags verweisen auf fehlerhafte Versionen einer Seite, oder hreflang-Tags in mehrsprachigen Setups provozieren massive Konflikte, die zum Ausschluss wichtiger Zielmärkte führen.
JavaScript als Barriere für die Indexierung
Eine wachsende Bedrohung für die Indexierbarkeit im Jahr 2026 sind Single Page Applications (SPAs) oder Frameworks (wie React oder Angular), die nicht korrekt für Suchmaschinen konfiguriert sind.
Wenn der Server an den Crawler nur ein leeres HTML-Dokument (<div id="root"></div>) sendet und erwartet, dass das JavaScript die Seite aufbaut, vertrauen Sie auf den Web Rendering Service von Google. Dieser rendert jedoch zeitverzögert und oft unvollständig. Fehlen im initialen HTML harte Links und Strukturdaten (JSON-LD), kann die Seite nicht in den Entitäten-Graphen aufgenommen werden.
Die forensische Prüfung des Fundaments
Die Lösung dieser Probleme erfordert tiefes technisches Verständnis, keine Textoptimierung. Im 250-Euro-Strategiegespräch (netto) analysieren wir die harten Direktiven Ihrer Domain.
Robots-Direktiven: Wir prüfen X-Robots-Tags im HTTP-Header und Meta-Robots im Quellcode. Widersprechen sich Anweisungen? Werden wichtige Paginierungen oder PDF-Whitepapers ungewollt blockiert?
Canonical-Hygiene: Verweisen Produktvarianten auf eine saubere Hauptversion, oder entstehen Endlosschleifen, die Google zwingen, die Seite wegen Duplicate Content abzuwerten?
Rendering-Pfade: Wir simulieren den Bot und prüfen das gerenderte DOM gegen den initialen Quelltext. Fehlen wichtige Preisinformationen oder Spezifikationen, wenn JavaScript deaktiviert ist?
Eine saubere Indexierbarkeit ist keine Option, sie ist die physische Voraussetzung für digitale Marktanteile in der klassischen Suche und in Answer Engines.
Warum sind unsere PDF-Dateien nicht im Google-Index?
PDFs werden oft serverseitig über HTTP-Header (X-Robots-Tag) auf noindex gesetzt oder durch die robots.txt vom Crawling ausgeschlossen. Wenn sie indexierbar sind, fehlt ihnen oft eine klare semantische Einbettung durch umliegende HTML-Links.
Löst eine XML-Sitemap alle Indexierungsprobleme?
Nein. Eine Sitemap ist lediglich eine Landkarte für den Crawler. Wenn die URLs in der Sitemap durch Noindex-Tags blockiert sind, auf 404-Fehler laufen oder mangelhafte Qualität aufweisen, ignoriert Google die Empfehlung der Sitemap.
Was ist ein Canonical-Tag und warum ist er wichtig?
Das Canonical-Tag (rel="canonical") sagt der Suchmaschine, welche Version einer Seite die "Originalversion" ist, falls derselbe Inhalt unter mehreren URLs erreichbar ist (z.B. durch Tracking-Parameter ?campaign=x). Es schützt vor Duplicate Content.
Kann eine Seite indexiert sein, obwohl sie in der robots.txt blockiert wird?
Ja. Das ist ein häufiges Paradoxon. Die robots.txt verbietet das Crawlen, nicht das Indexieren. Wenn externe Seiten auf Ihre gesperrte URL verlinken, kann Google sie indexieren – allerdings meist ohne Beschreibung (Snippet), da der Bot den Inhalt nicht lesen durfte.