Een lijst opstellen van alle pagina’s van een website lijkt een eenvoudige operatie. In de praktijk is er echter geen enkele methode die voldoende is om een volledige dekking te garanderen. Tussen de pagina’s die zijn uitgesloten van de interne linkstructuur, de inhoud die door JavaScript wordt gegenereerd en de URL’s die door zoekmachines worden genegeerd, blijft een uitgebreide inventaris een moeilijk te bereiken doel zonder verschillende gegevensbronnen te combineren.
Weespagina’s en JavaScript-rendering: de blinde vlekken van een site-inventaris
De meeste gidsen over dit onderwerp raden aan om de XML-sitemap te raadplegen of een crawl van interne links te starten. Beide benaderingen dekken een groot deel van de URL’s, maar ze delen een tekortkoming: ze vinden alleen wat is gelinkt of verklaard.
Verder lezen : Ontdek innovatieve zakelijke oplossingen om de groei van uw bedrijf te versnellen
De weespagina’s (pagina’s die op de server bestaan zonder dat ze vanaf een andere pagina zijn gelinkt) ontsnappen aan elke crawl die op navigatie is gebaseerd. Ze kunnen oude inhoud, testpagina’s of vergeten landingspagina’s na een campagne vertegenwoordigen.
De andere blinde vlek betreft moderne sites die hun inhoud via JavaScript laden. Een klassieke crawler stuurt een HTTP-verzoek en leest de ruwe HTML die door de server wordt teruggestuurd. Als de links of pagina’s pas na uitvoering van het script aan de browserzijde worden weergegeven, detecteert de eenvoudige crawl ze helemaal niet. Recente aanbevelingen benadrukken de noodzaak om een browser-rendering stap aan het crawlproces toe te voegen om deze onzichtbare URL’s vast te leggen.
Lees ook : Ontdek alle essentiële trends en analyses van de zakenwereld
Een directory zoals die welke alle pagina’s van de Voiloo-site opsomt, illustreert een aanpak waarbij de sitemap openbaar wordt weergegeven en centraal wordt bijgewerkt, wat het risico van ontbrekende pagina’s voor bezoekers vermindert.
XML-sitemap en Google-indexering: waarom de officiële lijst incompleet blijft
Het bestand sitemap.xml wordt vaak gepresenteerd als de referentiebron om alle URL’s van een site te kennen. De rol ervan is om zoekmachines te signaleren welke pagina’s de eigenaar geïndexeerd wil zien. Het weerspiegelt niet de totaliteit van wat online is.
Verschillende situaties creëren een discrepantie tussen de sitemap en de werkelijkheid:
- Pagina’s kunnen op de server aanwezig zijn maar ontbreken in de sitemap, hetzij door vergetelheid bij de update, hetzij door een bewuste keuze (pagina’s in noindex, interne bronnen).
- Google kan besluiten bepaalde URL’s die in de sitemap zijn verklaard niet te indexeren als het deze als gedupliceerd, van lage waarde of technisch problematisch beschouwt.
- Dynamisch gegenereerde URL’s (zoekfilters, sorteervariabelen, gepagineerde versies) kunnen bestaan zonder ooit in de sitemap of in de zoekresultaten te verschijnen.
De sitemap blijft een nuttig startpunt, maar het vormt geen bewijs van volledigheid. Het geeft aan wat de webmaster verklaart, niet wat de site daadwerkelijk bevat.
De site:-operator in Google en zijn beperkingen
Typ “site:mondomaine.fr” in Google om de geïndexeerde pagina’s weer te geven. Deze methode biedt een snel overzicht, maar het weergegeven aantal fluctueert van de ene zoekopdracht naar de andere en komt niet overeen met het werkelijke totale aantal geïndexeerde pagina’s. Google garandeert niet dat het de volledige index voor een bepaald domein weergeeft.
Recent gepubliceerde pagina’s kunnen meerdere dagen nodig hebben om te verschijnen. Pagina’s die zijn gede-indexeerd of gefilterd door het algoritme verschijnen niet meer, zelfs als ze nog steeds toegankelijk zijn via hun directe URL. De site:-operator meet de zichtbaarheid in Google, niet het bestaan van de pagina’s.
Een uitgebreide lijst van pagina’s opstellen: de gelaagde aanpak
De meest betrouwbare methode om een volledige inventaris op te stellen, is gebaseerd op het combineren van verschillende bronnen, waarbij elke bron de tekortkomingen van de andere compenseert. Deze logica van opeenvolgende lagen is de enige die het mogelijk maakt om een uitgebreid resultaat te benaderen.
De eerste laag bestaat uit het ophalen van het robots.txt-bestand en de verklaarde sitemaps. Het robots.txt-bestand kan hele directories onthullen die de eigenaar van de site voor robots wil verbergen, maar die wel degelijk bestaan.
De tweede laag is de crawl van interne links. Een tool doorloopt elke pagina die toegankelijk is vanaf de homepage door alle links te volgen. Deze stap identificeert de werkelijke navigatiestructuur van de site en alle pagina’s die met elkaar zijn verbonden.
De derde laag voegt de JavaScript-rendering toe. In plaats van alleen de statische HTML te lezen, voert de crawler de JavaScript-code van elke pagina uit om de links en inhoud die dynamisch worden geladen te ontdekken. Deze stap is onmisbaar geworden op sites die zijn gebouwd met frameworks zoals React, Vue of Angular.
De vierde laag richt zich op de weespagina’s. Om ze te vinden, moet de lijst die door de crawl is verkregen worden vergeleken met andere bronnen: serverlogs, Google Search Console, oude versies van de site via de Wayback Machine, of exports vanuit het CMS.
Deduplicatie en stabiliteit van de lijst
Op grote sites genereert de crawl vaak duizenden URL’s die naar dezelfde inhoud verwijzen met verschillende parameters. Ervaringen benadrukken de noodzaak om de URL’s te dedupliceren en het crawltempo te beperken om een stabiele en bruikbare lijst te verkrijgen.
Zonder deduplicatie kan eenzelfde productfiche onder tientallen varianten verschijnen (sorteren op prijs, op beoordeling, op kleur). De uiteindelijke lijst wordt kunstmatig opgeblazen en verliest alle nut voor een audit of migratie.
Geval van vitrinesites en kleine sites: een eenvoudigere inventaris maar niet zonder valkuilen
Op een vitrinesite met enkele tientallen pagina’s lijkt het probleem minder urgent. De sitemap dekt doorgaans de volledige inhoud, en een snelle crawl is voldoende om alles te doorlopen. Toch bestaan er valkuilen.
Pagina’s die door extensies zijn gemaakt (contactformulieren, bedankpagina’s, automatisch gegenereerde privacybeleidpagina’s) worden vaak vergeten in handmatige inventarissen. Gebroken omleidingen of oude URL’s die nog toegankelijk zijn kunnen ook de telling verstoren.
Een eigenaar van een vitrinesite die zijn inventaris wil controleren, bespaart tijd door de sitemap te combineren met een zelfs basale crawl. De vergelijking tussen de twee lijsten maakt de verschillen in enkele minuten zichtbaar.
Geen enkele methode garandeert op zichzelf een perfecte lijst. Het combineren van bronnen blijft de enige aanpak die bestand is tegen technische blinde vlekken, ongeacht de grootte van de site.