La documentazione “Infrastruttura di scansione” recentemente aggiornata di Google include “Ottimizza il tuo budget di scansione“, una sezione con indicazioni su come i siti Web possono esporre più pagine ai bot del gigante della ricerca. L’argomento è importante, poiché le pagine devono essere sottoposte a scansione per apparire nell’indice di Google e nei risultati di ricerca.
La documentazione risponde alla necessità di un “budget” dato l’enorme numero di URL globali. Un sito web mal organizzato richiederà probabilmente più tempo per la scansione e quindi ne avrà meno pagine indicizzate.
Ecco i punti salienti delle nuove linee guida.
Linee guida di Google
Ogni nuovo sito inizia con un budget di scansione “conservativo”. Quando avvii un sito, inizia con un numero modesto di pagine per garantire che “Google possa coprire tutti i contenuti importanti senza sovraccaricare i tuoi server”.
Nel tempo, il budget di scansione aumenta in base alle dimensioni e agli aggiornamenti del sito. Aggiornamenti regolari (soprattutto se inclusi automaticamente nelle sue sitemap XML) incoraggiano Googlebot a ritornare e probabilmente aumentano il budget di scansione nel tempo.
Aggiorna il tuo inventario dei prodotti e il tuo blog regolarmente e gradualmente. Ad esempio, invece di lanciare 100 prodotti in un giorno, considerane tre al giorno per un mese, all’incirca.
Migliorare il tempo di caricamento del tuo sito può aumentarne il budget di scansione. Sappiamo da tempo che i siti web più veloci vengono sottoposti a scansione in modo migliore. Monitora il tuo prestazioni del sitoe sforzarsi di farlo migliorarne la velocità.
Le pagine popolari ricevono scansioni più frequenti. Googlebot esegue la scansione delle pagine con molti link in entrata (esterno E interno) più frequentemente.
Altri modi per migliorare la frequenza e la velocità di scansione:
- Usa il non consentire comando dentro robots.txt per bloccare le pagine che non desideri indicizzare o nelle SERP. Esempi potrebbero essere pagine per accessi privati, carrelli della spesa e pagine generate dinamicamente.
- Evita le pagine soft 404 (pagine cancellate che restituiscono un codice 200) poiché Googlebot continuerà a scansionarle. Restituisci risposte 404 o 410 se le pagine non esistono più.
- Evita catene di reindirizzamento (più reindirizzamenti per una singola pagina)
- Utilizza Search Console rapporto sulle statistiche di scansione (Impostazioni > Statistiche di scansione) per monitorare la velocità di scansione e i problemi riscontrati da Googlebot.
Il rapporto “Statistiche di scansione” di Search Console rivela la frequenza di scansione e gli eventuali problemi. Fare clic sull’immagine per ingrandirla.
Attenzione alla “cache degli URL”
Google ha aggiunto alle linee guida una nuova raccomandazione di “caching degli URL”:
Supporta i codici di stato HTTP 304 (non modificati). Se una pagina non è cambiata dall’ultima scansione di Google, la restituzione di un codice 304 indica a Google di riutilizzare la versione memorizzata nella cache, risparmiando larghezza di banda e risorse del server.
La mia esperienza è di seguire questa raccomandazione solo per le pagine non importanti, come i prodotti scaduti e le pagine delle norme. Dire a Google tramite un codice 304 che una pagina è obsoleta potrebbe influire sulla sua visibilità nelle SERP o persino sul suo stato di indice.
