Eine Liste aller Seiten einer Website zu erstellen, scheint eine einfache Aufgabe zu sein. In der Praxis reicht jedoch keine einzige Methode aus, um eine vollständige Abdeckung zu gewährleisten. Zwischen den Seiten, die aus der internen Verlinkung ausgeschlossen sind, den durch JavaScript generierten Inhalten und den von Suchmaschinen ignorierten URLs bleibt ein umfassendes Inventar ein schwer erreichbares Ziel, ohne mehrere Datenquellen zu kombinieren.
Verwaiste Seiten und JavaScript-Rendering: die blinden Flecken eines Website-Inventars
Die meisten Leitfäden zu diesem Thema empfehlen, die XML-Sitemap zu konsultieren oder einen Crawl interner Links zu starten. Diese beiden Ansätze decken einen großen Teil der URLs ab, teilen jedoch einen Nachteil: Sie finden nur das, was verlinkt oder deklariert ist.
Ergänzende Lektüre : Entdecken Sie, wie die Luftaufnahme den Immobiliensektor in Paris revolutioniert
Die verwaisten Seiten (solche, die auf dem Server existieren, aber von keiner anderen Seite verlinkt sind) entgehen jedem Crawl, der auf der Navigation basiert. Sie können alte Inhalte, Testseiten oder nach einer Kampagne vergessene Landing Pages darstellen.
Der andere blinde Fleck betrifft moderne Websites, die ihren Inhalt über JavaScript laden. Ein klassischer Crawler sendet eine HTTP-Anfrage und liest das vom Server zurückgegebene rohe HTML. Wenn die Links oder Seiten erst nach der Ausführung des Skripts im Browser angezeigt werden, erkennt der einfache Crawl sie überhaupt nicht. Neuere Empfehlungen betonen die Notwendigkeit, einen Rendering-Schritt im Browser in den Crawl-Prozess einzufügen, um diese unsichtbaren URLs zu erfassen.
Ebenfalls empfehlenswert : Die neuesten Modetrends, die Sie entdecken sollten, um Ihren Stil in dieser Saison aufzufrischen
Ein Verzeichnis wie das, das alle Seiten der Voiloo-Website auflistet, veranschaulicht einen Ansatz, bei dem die Sitemap öffentlich zugänglich ist und zentral aktualisiert wird, was das Risiko fehlender Seiten für die Besucher verringert.
XML-Sitemap und Google-Indexierung: warum die offizielle Liste unvollständig bleibt
Die Datei sitemap.xml wird oft als Referenzquelle für alle URLs einer Website präsentiert. Ihre Rolle besteht darin, den Suchmaschinen die Seiten zu signalisieren, die der Eigentümer indiziert sehen möchte. Sie spiegelt jedoch nicht die Gesamtheit dessen wider, was online ist.
Mehrere Situationen führen zu einer Diskrepanz zwischen der Sitemap und der Realität:
- Seiten können auf dem Server vorhanden, aber nicht in der Sitemap aufgeführt sein, entweder aufgrund eines Aktualisierungsvergessens oder aus bewusster Entscheidung (Seiten im Noindex, interne Ressourcen).
- Google kann entscheiden, bestimmte im Sitemap deklarierten URLs nicht zu indizieren, wenn es sie für dupliziert, von geringer Wertigkeit oder technisch problematisch hält.
- Dynamisch generierte URLs (Suchfilter, Sortierparameter, paginierte Versionen) können existieren, ohne jemals in der Sitemap oder in den Suchergebnissen aufzutauchen.
Die Sitemap bleibt ein nützlicher Ausgangspunkt, aber sie stellt keinen Beweis für Vollständigkeit dar. Sie zeigt, was der Webmaster deklariert, nicht was die Website tatsächlich enthält.
Der Operator site: in Google und seine Grenzen
„site:mondomaine.fr“ in Google einzugeben, zeigt die indizierten Seiten an. Diese Methode bietet einen schnellen Überblick, aber die angezeigte Anzahl schwankt von Anfrage zu Anfrage und entspricht nicht der tatsächlichen Gesamtzahl der indizierten Seiten. Google garantiert nicht, dass die Gesamtheit seines Index für eine bestimmte Domain angezeigt wird.
Neu veröffentlichte Seiten können mehrere Tage benötigen, um sichtbar zu werden. Von der Indizierung ausgeschlossene oder vom Algorithmus gefilterte Seiten erscheinen nicht mehr, auch wenn sie weiterhin über ihre direkte URL zugänglich sind. Der Operator site: misst die Sichtbarkeit in Google, nicht die Existenz der Seiten.
Eine umfassende Liste von Seiten erstellen: der schichtweise Ansatz
Die zuverlässigste Methode zur Erstellung eines vollständigen Inventars basiert auf der Kombination mehrerer Quellen, wobei jede die Lücken der anderen ausgleicht. Diese Logik aufeinanderfolgender Schichten ist die einzige, die es ermöglicht, einem umfassenden Ergebnis näher zu kommen.
Die erste Schicht besteht darin, die Datei robots.txt und die deklarierten Sitemaps abzurufen. Die robots.txt kann ganze Verzeichnisse offenbaren, die der Eigentümer der Website vor den Bots verbergen möchte, die jedoch tatsächlich existieren.
Die zweite Schicht ist der Crawl interner Links. Ein Tool durchläuft jede von der Startseite aus zugängliche Seite und folgt allen Links. Dieser Schritt identifiziert die tatsächliche Navigationsstruktur der Website und alle miteinander verbundenen Seiten.
Die dritte Schicht fügt das JavaScript-Rendering hinzu. Anstatt nur das statische HTML zu lesen, führt der Crawler den JavaScript-Code jeder Seite aus, um die dynamisch geladenen Links und Inhalte zu entdecken. Dieser Schritt ist auf Websites, die mit Frameworks wie React, Vue oder Angular erstellt wurden, unerlässlich geworden.
Die vierte Schicht zielt auf die verwaisten Seiten ab. Um sie zu finden, muss die durch den Crawl erhaltene Liste mit anderen Quellen verglichen werden: Server-Logs, Google Search Console, frühere Versionen der Website über die Wayback Machine oder Exporte aus dem CMS.
Deduplication und Stabilität der Liste
Auf großen Websites generiert der Crawl oft Tausende von URLs, die auf denselben Inhalt mit unterschiedlichen Parametern verweisen. Die Erfahrungsberichte betonen die Notwendigkeit, URLs zu deduplizieren und das Crawling-Tempo zu begrenzen, um eine stabile und verwertbare Liste zu erhalten.
Ohne Deduplication kann dasselbe Produktblatt unter Dutzenden von Varianten erscheinen (Sortierung nach Preis, nach Bewertungen, nach Farbe). Die endgültige Liste bläht sich künstlich auf und verliert jede Nützlichkeit für ein Audit oder eine Migration.
Fall von Schaufenster-Websites und kleinen Websites: ein einfacheres, aber nicht gefahrloses Inventar
Auf einer Schaufenster-Website mit einigen Dutzend Seiten scheint das Problem weniger akut zu sein. Die Sitemap deckt in der Regel den gesamten Inhalt ab, und ein schneller Crawl reicht aus, um alles zu durchlaufen. Es gibt jedoch trotzdem Fallstricke.
Die von Erweiterungen erstellten Seiten (Kontaktformulare, Dankesseiten, automatisch generierte Datenschutzseiten) werden häufig in manuellen Inventaren übersehen. Kaputte Weiterleitungen oder alte URLs, die noch zugänglich sind, können ebenfalls die Zählung verfälschen.
Ein Eigentümer einer Schaufenster-Website, der sein Inventar überprüfen möchte, spart Zeit, indem er die Sitemap mit einem sogar einfachen Crawl vergleicht. Der Vergleich zwischen den beiden Listen hebt die Abweichungen in wenigen Minuten hervor.
Keine Methode garantiert allein eine perfekte Liste. Die Kombination von Quellen bleibt der einzige Ansatz, der den technischen blinden Flecken standhält, unabhängig von der Größe der Website.