Compilare l’elenco di tutte le pagine di un sito web sembra un’operazione semplice. In pratica, nessun metodo unico è sufficiente a garantire una copertura completa. Tra le pagine escluse dal linking interno, i contenuti generati da JavaScript e gli URL ignorati dai motori di ricerca, un inventario esaustivo rimane un obiettivo difficile da raggiungere senza incrociare più fonti di dati.
Pagine orfane e rendering JavaScript: i punti ciechi di un inventario di sito
La maggior parte delle guide sull’argomento raccomanda di consultare la sitemap XML o di avviare un crawl dei link interni. Questi due approcci coprono una larga parte degli URL, ma condividono un difetto: trovano solo ciò che è collegato o dichiarato.
Leggi anche : Tutte le soluzioni per attivare e forzare facilmente la sincronizzazione di OneDrive
Le pagine orfane (quelle che esistono sul server senza essere collegate da nessun’altra pagina) sfuggono a qualsiasi crawl basato sulla navigazione. Possono rappresentare contenuti obsoleti, pagine di test o landing page dimenticate dopo una campagna.
L’altro punto cieco riguarda i siti moderni che caricano i loro contenuti tramite JavaScript. Un crawler classico invia una richiesta HTTP e legge l’HTML grezzo restituito dal server. Se i link o le pagine vengono visualizzati solo dopo l’esecuzione dello script lato browser, il crawl semplice non li rileva affatto. Le raccomandazioni recenti insistono sulla necessità di aggiungere una fase di rendering del browser al processo di crawl per catturare questi URL invisibili.
Vedi anche : Scopri come scegliere l'auto ideale tra i modelli disponibili nel 2024
Un elenco come quello che raccoglie tutte le pagine del sito Voiloo illustra un approccio in cui la sitemap è esposta pubblicamente e aggiornata in modo centralizzato, riducendo il rischio di pagine mancanti per i visitatori.
Sitemap XML e indicizzazione Google: perché l’elenco ufficiale rimane incompleto
Il file sitemap.xml è spesso presentato come la fonte di riferimento per conoscere tutti gli URL di un sito. Il suo ruolo è segnalare ai motori di ricerca le pagine che il proprietario desidera vedere indicizzate. Non riflette la totalità di ciò che è online.
Varie situazioni creano un divario tra la sitemap e la realtà:
- Alcune pagine possono essere presenti sul server ma assenti dalla sitemap, sia per dimenticanza di aggiornamento, sia per scelta volontaria (pagine in noindex, risorse interne).
- Google può decidere di non indicizzare alcuni URL dichiarati nella sitemap se li giudica duplicati, di scarso valore o tecnicamente problematici.
- URL generate dinamicamente (filtri di ricerca, parametri di ordinamento, versioni paginate) possono esistere senza mai apparire nella sitemap né nei risultati di ricerca.
La sitemap rimane un punto di partenza utile, ma non costituisce una prova di esaustività. Indica ciò che il webmaster dichiara, non ciò che il sito contiene realmente.
L’operatore site: in Google e i suoi limiti
Digitare “site:mondomaine.fr” in Google mostra le pagine indicizzate. Questo metodo fornisce una panoramica rapida, ma il numero visualizzato fluttua da una richiesta all’altra e non corrisponde al totale reale delle pagine indicizzate. Google non garantisce la visualizzazione della totalità del suo indice per un dominio dato.
Le pagine pubblicate di recente possono impiegare diversi giorni per apparire. Le pagine disindicizzate o filtrate dall’algoritmo non appaiono più, anche se sono ancora accessibili tramite il loro URL diretto. L’operatore site: misura la visibilità in Google, non l’esistenza delle pagine.
Costruire un elenco esaustivo di pagine: l’approccio a strati
Il metodo più affidabile per redigere un inventario completo si basa sull’incrocio di più fonti, ciascuna delle quali compensa le lacune delle altre. Questa logica di strati successivi è l’unica che permette di avvicinarsi a un risultato esaustivo.
Il primo strato consiste nel recuperare il file robots.txt e le sitemap dichiarate. Il robots.txt può rivelare interi directory che il proprietario del sito desidera nascondere ai robot, ma che esistono realmente.
Il secondo strato è il crawl dei link interni. Uno strumento percorre ogni pagina accessibile dalla homepage seguendo tutti i link. Questa fase identifica la struttura di navigazione reale del sito e tutte le pagine collegate tra loro.
Il terzo strato aggiunge il rendering JavaScript. Invece di leggere solo l’HTML statico, il crawler esegue il codice JavaScript di ogni pagina per scoprire i link e i contenuti caricati dinamicamente. Questa fase è diventata indispensabile sui siti costruiti con framework come React, Vue o Angular.
Il quarto strato mira alle pagine orfane. Per trovarle, è necessario confrontare l’elenco ottenuto dal crawl con altre fonti: log del server, Google Search Console, versioni precedenti del sito tramite la Wayback Machine, o esportazioni dal CMS.
Deduplicazione e stabilità dell’elenco
Su siti di grandi dimensioni, il crawl genera spesso migliaia di URL che puntano allo stesso contenuto con parametri diversi. I feedback degli utenti insistono sulla necessità di deduplicare gli URL e limitare il ritmo di crawl per ottenere un elenco stabile e utilizzabile.
Senza deduplicazione, una stessa scheda prodotto può apparire sotto decine di varianti (ordinamento per prezzo, per recensioni, per colore). L’elenco finale si gonfia artificialmente e perde ogni utilità per un audit o una migrazione.
Il caso dei siti vetrina e dei piccoli siti: un inventario più semplice ma non senza insidie
Su un sito vetrina di alcune decine di pagine, il problema sembra meno acuto. La sitemap copre generalmente la totalità del contenuto, e un crawl rapido è sufficiente a percorrere tutto. Tuttavia, le insidie esistono comunque.
Le pagine create da estensioni (moduli di contatto, pagine di ringraziamento, pagine di politica sulla privacy generate automaticamente) vengono frequentemente dimenticate negli inventari manuali. Le reindirizzamenti rotti o le vecchie URL ancora accessibili possono anche falsare il conteggio.
Un proprietario di sito vetrina che desidera verificare il suo inventario risparmia tempo incrociando la sitemap con un crawl, anche basilare. Il confronto tra le due liste evidenzia le discrepanze in pochi minuti.
Nessun metodo garantisce da solo un elenco perfetto. L’incrocio di fonti rimane l’unico approccio che resiste ai punti ciechi tecnici, indipendentemente dalle dimensioni del sito.