Googlebot è il crawler della Ricerca Google: scopre gli URL, li scarica e li passa ai sistemi che costruiscono l’indice. Recupera, non indicizza, e non assegna posizioni. Esiste in due varianti, Googlebot Smartphone e Googlebot Desktop, e quasi tutte le richieste arrivano da quella mobile. Quello che Googlebot non riesce a leggere non entra nell’indice.
Che cos’è Googlebot e cosa significa crawling
Googlebot è il nome generico di due web crawler della Ricerca Google. Entrambi recuperano pagine e risorse via HTTP e rispondono allo stesso token nel robots.txt, quindi non se ne può puntare uno solo con una regola di esclusione.
Crawling: significato in informatica
Il crawling è la scansione automatica del web: un programma scarica pagine e segue i link che vi trova. Un web crawler parte da un elenco di URL noti, richiede ogni risorsa al server, estrae i collegamenti dal codice ricevuto e aggiunge i nuovi indirizzi alla coda.
Spider, crawler, robot e bot: cosa cambia
Nella pratica sono sinonimi: indicano la stessa classe di software. Spider è il termine più antico e nasce dall’immagine del ragno che percorre la propria tela di filo in filo, come il programma passa di link in link. Googlebot non è un sinonimo: è il nome proprio del crawler di un’azienda per un suo prodotto.
Come funziona Googlebot dalla scoperta all’indicizzazione
Fra la scoperta di un URL e la sua comparsa nei risultati ci sono quattro passaggi distinti, gestiti da sistemi diversi: scansione, rendering, indicizzazione e pubblicazione. Googlebot si occupa del primo e alimenta il secondo. Confondere gli stadi manda fuori strada la diagnosi.
Come Googlebot scopre un URL nuovo
Googlebot trova nuovi indirizzi seguendo i link delle pagine già scansionate, leggendo le sitemap XML e processando i redirect. I collegamenti interni pesano quanto quelli esterni. Una sitemap è un elenco di URL candidati, non un percorso da seguire, e non garantisce né scansione né indicizzazione.
La coda di rendering e il JavaScript
Dopo la scansione dell’HTML la pagina entra in una coda di rendering, dove un’istanza di Chromium sempre aggiornata esegue il JavaScript. Ci finiscono tutte le pagine che rispondono 200, non solo quelle costruite in JavaScript, e l’attesa può durare pochi secondi o molto di più. Ogni risorsa richiamata viene recuperata a parte: se il robots.txt blocca CSS o script, il rendering avviene senza.
Googlebot smartphone e Googlebot desktop
Googlebot Smartphone simula un dispositivo mobile, Googlebot Desktop un computer. Google dichiara di indicizzare principalmente la versione mobile e che da lì arriva la parte prevalente delle richieste: è la ragione per cui le best practice per l’indicizzazione mobile-first non sono un capitolo a parte.
Come riconoscere e verificare Googlebot
Lo user agent di Googlebot è spesso “falsificato” da altri crawler e da solo non prova nulla: chiunque può impostarlo in una richiesta HTTP. Prima di aprire o chiudere un accesso serve una verifica che non dipenda dal client.
User agent e token nel file robots.txt
Lo user agent è l’intestazione con cui il crawler si presenta al server e distingue Smartphone da Desktop nei log. Il token del robots.txt è un’altra cosa: è il nome con cui si scrivono le regole, e per entrambe le varianti vale lo stesso token Googlebot.
Indirizzi IP e verifica con DNS inverso
Googlebot non usa un indirizzo fisso. I due metodi documentati sono la ricerca DNS inversa sull’IP di origine, seguita da una ricerca diretta di conferma, e il confronto con gli intervalli pubblicati da Google: la procedura è nella pagina su come verificare che una richiesta provenga davvero da Googlebot. Google registra il traffico soprattutto da indirizzi statunitensi e, se un sito blocca gli Stati Uniti, può tentare la scansione da altri paesi.
Vuoi sapere quali pagine Googlebot sta ignorando sul tuo sito?
Log del server e report di scansione mostrano quali URL il crawler richiede e quali salta. Richiedi l’analisi SEO gratuita di SEO Leader.
Come controllare la scansione senza confondere crawling e indicizzazione
Bloccare la scansione e togliere una pagina dai risultati sono due operazioni diverse. Usare la prima aspettandosi la seconda è l’errore che lascia online gli URL che si volevano nascondere.
robots.txt: impedisce la scansione, non l’indicizzazione
Una regola disallow dice a Googlebot di non richiedere quell’URL. Non impedisce però che l’indirizzo compaia nei risultati, perché Google può conoscerlo da link esterni. Il noindex dentro il robots.txt non è supportato: Google lo ignora.
noindex: la regola che toglie la pagina dai risultati
Il noindex funziona solo se il crawler riesce a leggerlo. Si applica con un meta tag robots nell’HTML o con l’intestazione HTTP X-Robots-Tag. Se la pagina è anche bloccata dal robots.txt, Googlebot non la richiede, non vede la regola e l’URL può restare nei risultati. Prima si lascia scansionare la pagina con il noindex, poi si valuta se bloccarla.
Serve un controllo del robots.txt prima di pubblicare?
Una riga sbagliata in un file di poche righe può togliere dalla ricerca una sezione intera. Scopri i servizi di SEO tecnica di SEO Leader per una verifica delle direttive prima della messa online.
Crawl budget: da cosa dipende quanto passa Googlebot
Il crawl budget è l’insieme degli URL che Google può e vuole scansionare su un sito e nasce da due grandezze: il limite di capacità di scansione e la domanda di scansione. Google lo calcola per nome host, quindi due sottodomini dello stesso dominio ne hanno due distinti.
Limite di capacità di scansione e domanda di scansione
Il limite di capacità dipende dal server: sale se i tempi di risposta restano stabili o migliorano, scende se la latenza cresce o arrivano errori 5xx e risposte 429. La domanda dipende da altro: quanti URL Google ritiene esistano sul sito, quanto sono popolari e da quanto tempo non cambiano. Sul primo dei tre si può intervenire. Il limite di capacità è condiviso fra tutti i crawler di Google, quindi la domanda alta di uno riduce lo spazio per gli altri.
Tre sprechi ricorrenti:
- pagine soft 404, richieste di continuo senza produrre nulla;
- URL duplicati da filtri e ordinamenti, da accorpare e non da bloccare;
- pagine in noindex, che Googlebot richiede comunque per leggere la regola.
Gli altri crawler e token di Google da conoscere
Nei log non compare solo Googlebot. Googlebot-Image e Googlebot-Video hanno un token proprio e rispondono anche a quello generico; Google-InspectionTool è il crawler degli strumenti di test di Search Console, quindi se compare dopo un controllo URL non è traffico anomalo.
Google-Extended non è un crawler
Google-Extended viene descritto quasi ovunque come il crawler AI di Google, ma non ha uno user agent proprio e non effettua richieste: è un token del robots.txt che decide se i contenuti già scansionati possano alimentare l’addestramento dei modelli Gemini. Bloccarlo non toglie il sito dalla Ricerca e non incide sul ranking. Diverso il discorso per i crawler delle AI di altri operatori, che hanno user agent propri.
Dalla scansione alle funzioni AI di Google
Le funzioni generative della Ricerca non scansionano il web per conto proprio: recuperano documenti dall’indice, lo stesso che la scansione di Googlebot alimenta. La catena resta questa: scansione, rendering, indicizzazione, recupero. Una pagina che Googlebot non legge non arriva agli stadi successivi. Su cosa accada dopo il recupero, cioè su come le AI Overview selezionano i contenuti e su come una domanda venga scomposta in sotto-query parallele con il query fan-out, esistono modelli operativi utili, distinti da una descrizione certificata dell’architettura di Google.
Vuoi sapere dove si ferma la catena fra scansione e visibilità?
Letti insieme ai log, Statistiche di scansione e Indicizzazione delle pagine dicono quale stadio si è fermato: sui report di Search Console che cambiano una decisione c’è il metodo. Parla con SEO Leader se preferisci che l’analisi la faccia un consulente.
Domande frequenti su Googlebot
Che cos’è Googlebot?
Googlebot è il programma con cui la Ricerca Google scopre gli URL e ne scarica il contenuto, che poi altri sistemi valutano per l’indice. Ne esistono due varianti, smartphone e desktop, con netta prevalenza della prima. Non indicizza e non assegna posizioni.
Come si verifica che una visita sia davvero di Googlebot?
Con una ricerca DNS inversa sull’IP di origine, seguita da una ricerca diretta di conferma, oppure confrontando l’IP con gli intervalli pubblicati da Google. Lo user agent non basta: è un valore scrivibile dal client e viene falsificato di frequente.
Si può bloccare Googlebot?
Sì, con una regola disallow nel robots.txt, che però impedisce la scansione e non l’indicizzazione: l’URL può restare nei risultati se altre pagine lo collegano. Lo stesso vale per i firewall, da configurare dopo aver verificato l’identità del crawler.
Googlebot esegue il JavaScript?
Sì. Dopo la scansione dell’HTML la pagina entra in una coda di rendering dove un’istanza di Chromium sempre aggiornata esegue il codice. Ci finiscono tutte le pagine che rispondono 200. L’attesa varia con le risorse disponibili e non ha durata dichiarata.
Ogni quanto Googlebot torna sulla stessa pagina?
Non esiste una frequenza fissa. Dipende dalla domanda di scansione, che nasce da quanti URL Google ritiene esistano sul sito, da quanto sono popolari e da quanto tempo non cambiano, e dal limite di capacità che il server riesce a sostenere.
