I crawler AI sono i bot e i fetcher con cui ChatGPT, Claude e Gemini scoprono e recuperano i contenuti del tuo sito. Se questi bot non ti conoscono, per le persone che ormai chiedono alle AI invece che a Google il tuo brand semplicemente non esiste.
Lo vedo accadere ogni settimana nei log dei siti che seguo: aziende che hanno lavorato anni per conquistare la prima pagina di Google scoprono che ChatGPT consiglia un concorrente. Non per demerito, ma perché nessuno ha detto alle AI dove guardare, e con quali regole.
La parte incoraggiante è che quelle regole sono pubbliche, documentate dai vendor e verificabili nei log del tuo server. Questa è la mappa dei crawler di OpenAI, Anthropic e Google, degli indici da cui ogni assistente recupera le fonti e delle leve per accelerare la scoperta di un URL o di un brand. Con i dati che ho raccolto sul mercato italiano e il metodo che applico sui progetti SEO Leader.
Cosa sono i crawler AI e quale ruolo hanno nella citazione
Un crawler AI è un software che scansiona il web per conto di un sistema di intelligenza artificiale, con tre funzioni distinte: raccogliere contenuti per l’addestramento dei modelli, alimentare l’indice di ricerca e aprire pagine su richiesta dell’utente. Ogni funzione ha un user agent dedicato e controllabile. Il crawler non decide da solo chi viene citato: rende una pagina disponibile agli indici e ai sistemi di retrieval che, query per query, selezionano le fonti.
Qui serve una distinzione che chiarisce quasi tutti gli equivoci: modello, crawler, indice e fetch non sono la stessa cosa. Il modello interpreta la domanda e genera la risposta; il crawler acquisisce contenuti; l’indice organizza i candidati recuperabili; il fetch apre un URL mirato quando serve una verifica. ChatGPT, Claude e Gemini non partono dalla tua homepage per scandagliare il dominio: prima avviene il retrieval (query, candidati, ranking) e solo dopo l’apertura selettiva delle pagine utili. Il crawling è un prerequisito, non una garanzia di citazione.
Quanto pesa questo tema? La crescita dell’adozione dell’intelligenza artificiale generativa documentata da Statista si riflette anche nelle ricerche: dai dati DataForSEO che ho estratto a luglio 2026 per il mercato italiano, la query “crawler ai” genera circa 50 ricerche mensili su Google ma 156 sugli AI engine, un rapporto di tre a uno. È un tema che le persone chiedono direttamente alle AI, prima ancora che a Google.
Il quadro d’insieme, prima del dettaglio:
| Funzione | OpenAI | Anthropic | Perplexity | |
| Ricerca / indice | OAI-SearchBot | Claude-SearchBot | Googlebot | PerplexityBot |
| Training | GPTBot | ClaudeBot | Google-Extended (token) | non separato |
| Fetch su richiesta | ChatGPT-User | Claude-User | live fetch / Google-Agent | Perplexity-User |
I crawler di OpenAI: GPTBot, OAI-SearchBot e ChatGPT-User
OpenAI separa le funzioni in tre user agent, descritti nella documentazione ufficiale dei crawler. GPTBot raccoglie contenuti pubblici che possono essere usati per addestrare i modelli: bloccarlo esclude il sito dai dataset futuri, senza effetti sulla ricerca. OAI-SearchBot è il crawler che conta per la visibilità: alimenta ChatGPT Search e, se viene bloccato, il sito sparisce dai riepiloghi citati (può restare il solo link nudo). ChatGPT-User visita una pagina quando è l’utente a chiederlo, senza crawling sistematico.
Un dettaglio operativo che sfugge spesso: OpenAI avverte che ChatGPT-User, essendo guidato da un’interazione umana, può non applicare rigorosamente i blocchi del robots.txt. Le modifiche al file vengono invece recepite dai crawler automatici in circa 24 ore. Esiste anche OAI-AdsBot, dedicato alla verifica delle landing page pubblicitarie in ChatGPT.
I crawler di Anthropic: ClaudeBot, Claude-SearchBot e Claude-User
Anthropic replica lo schema a tre livelli. ClaudeBot gestisce la raccolta dati per l’addestramento; Claude-SearchBot indicizza il web pubblico per alimentare le risposte di ricerca di Claude e supporta la direttiva Crawl-delay; Claude-User apre una pagina solo su richiesta esplicita dell’utente. La differenza pratica rispetto a OpenAI: Anthropic dichiara che tutti e tre i bot rispettano robots.txt, incluso il fetcher su richiesta.
Se nei log trovi gli user agent Claude-Web o Anthropic-AI, sono identificativi storici ormai dismessi. Esiste inoltre lo user agent claude-code, generato quando uno sviluppatore fa aprire un URL a Claude Code. Per la visibilità AEO il bot da presidiare è Claude-SearchBot: bloccarlo è la scelta più costosa in termini di citabilità.
I crawler di Google: Googlebot, Google-Extended e il grounding di Gemini
Google organizza il controllo in modo diverso, e qui si annida l’errore più frequente che incontro negli audit. Lo spider che conta resta Googlebot (se vuoi ripassare come funziona Googlebot ne ho scritto in dettaglio): è lui ad alimentare l’indice di Google Search da cui Gemini, le AI Overviews e l’AI Mode recuperano i contenuti. Google-Extended non è un crawler: è un token di controllo in robots.txt che governa se i contenuti già raccolti da Googlebot possono essere usati per l’addestramento e il grounding di Gemini.
La conseguenza pratica: bloccare Google-Extended ti esclude dal training di Gemini senza toccare il ranking, ma non ti toglie dalle AI Overviews, che leggono il normale indice Search. Per limitare quello che le funzionalità AI di Search possono mostrare restano i controlli classici sulle anteprime (nosnippet, data-nosnippet, max-snippet, fino al noindex), ognuno con un prezzo in visibilità: l’esclusione totale dalla ricerca AI di Google coincide, di fatto, con l’uscita da Google Search. Il grounding di Gemini, per come lo descrive lo stesso ecosistema Google, lavora a due fasi: prima la cache dell’indice, poi un fetch live di fallback per URL specifici o pagine troppo recenti. Trattala come funzionamento dichiarato, non come specifica verificabile dall’esterno. Completano la flotta GoogleOther, per ricerca e sviluppo interni, e gli agenti come Project Mariner per i task autonomi.
E Perplexity? Il quarto ecosistema da presidiare
Perplexity merita un capitolo a parte, anche solo per i numeri: il brand genera in Italia oltre 360.000 ricerche mensili (dati DataForSEO, luglio 2026). La struttura è a due livelli: PerplexityBot indicizza il web per alimentare il motore di risposta, Perplexity-User apre le pagine quando è l’utente a chiederlo. Come per gli altri ecosistemi, l’indice è proprietario: una quarta superficie di audit. Il lato positivo per chi produce contenuti è che Perplexity cita le fonti in ogni risposta, con un potenziale di traffico referral superiore alla media.
C’è però un caso di scuola sul fronte del controllo. La documentazione di Perplexity dichiara il rispetto di robots.txt per il crawler, avvertendo che le regole generalmente non si applicano a Perplexity-User; nell’agosto 2025 Cloudflare ha però pubblicato evidenze di crawler non dichiarati che aggiravano le direttive, rimuovendo Perplexity dal programma Verified Bots. La lezione operativa è doppia: chi vuole escludere Perplexity non può affidarsi al solo robots.txt e deve lavorare a livello di WAF; chi vuole esserci deve puntare su contenuti citabili, perché l’accesso, di fatto, avviene comunque.
Quale indice usa ogni AI: perché essere primi su Google non basta
Qui arriva il dato che cambia le strategie. Gli assistenti non attingono allo stesso serbatoio: le citazioni di Claude coincidono con i primi risultati organici di Brave Search nell’86,7 per cento dei casi (analisi Profound, significatività statistica p < 0,0001), mentre ChatGPT combina l’indice di Bing con un indice proprio e provider esterni, con un overlap con i top Bing di appena il 26,7 per cento. Gemini legge nativamente l’indice di Google, e Perplexity interroga il suo.
Tradotto: puoi essere primo su Google e invisibile su Claude, perché il tuo dominio non è nell’indice Brave. Quattro indici diversi richiedono audit separati. Il controllo più rapido, e quasi sempre trascurato, è digitare site:tuodominio.it su search.brave.com: se le pagine non compaiono, nessuna ottimizzazione dei contenuti potrà farti citare da Claude.
Dal crawler alla citazione: come l’AI sceglie tra i candidati
Essere nell’indice ti mette in gara, non ti fa vincere. Quando arriva una domanda complessa, il sistema la spezza in sotto-intenti paralleli (la query fan-out di cui sopra) e recupera i candidati per ciascuno. La selezione vera avviene poi su due filtri in sequenza, e conviene chiamarli con il loro nome.
Il primo è la pertinenza semantica, che risponde alla domanda “quanto sei vicino all’argomento?”: viene misurata nello spazio vettoriale degli embeddings, dove contano i significati e non la ripetizione della keyword. Governa il recall, cioè il passaggio del primo filtro. Il secondo è la rilevanza contestuale, che risponde a “rispondi davvero alla domanda?”: un reranker valuta query e documento insieme e premia risposte dirette, dati, range ed esempi. Governa la precision, cioè l’essere scelti. Un articolo generico è pertinente ma non rilevante: supera il primo filtro e cade sul secondo. Ho analizzato il meccanismo passo per passo in come l’AI Overview seleziona i contenuti.
La risposta ai due filtri è la topical authority: coprire l’intero grappolo semantico del tema con una pillar page e pagine cluster dedicate ai sotto-intenti, contenuti organizzati in blocchi autonomi ed estraibili, segnali di esperienza dimostrabili. Chi copre tutto il grappolo batte chi ha una sola pagina sul tema, per geometria dello spazio vettoriale prima ancora che per autorevolezza. È il principio con cui è costruito questo stesso articolo e il cluster che lo circonda.
Vuoi sapere se i crawler AI leggono il tuo sito?
Un’analisi dei log, del robots.txt e della copertura sui tre indici risponde in poche ore a una domanda che vale clienti: le AI ti vedono? È il primo passo del lavoro di un consulente SEO AI: scrivimi e verifichiamo insieme la situazione del tuo dominio.
Robots.txt per i crawler AI: cosa controlli e cosa no
La configurazione che consiglio nella maggior parte dei casi è “massima visibilità AI, decisione separata sul training”: consenti i bot di ricerca e di fetch, e scegli in autonomia se contribuire ai dataset. Ogni bot richiede la sua direttiva, nessuno eredita dalle altre. Un esempio di base (attenzione non fare copia incolla):
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: GPTBot
Disallow: / # scelta editoriale
User-agent: ClaudeBot
Disallow: / # scelta editoriale
User-agent: Google-Extended
Disallow: / # non tocca Search
Tre avvertenze dalla pratica. Primo: robots.txt non serve a tenere una pagina fuori dall’indice Google, per quello esistono noindex e i controlli sugli snippet. Secondo: il blocco via IP è sconsigliato da tutti i vendor, perché i bot usano indirizzi di cloud provider condivisi e potresti impedire perfino la lettura del robots.txt. Terzo: i firewall applicativi e le protezioni anti bot di CDN come Cloudflare possono bloccare i crawler AI a monte, prima che il tuo file venga letto. Se un user agent non compare mai nei log, cerca il blocco lì, non nel robots. Una nota sul file llms.txt: è una convenzione emergente per orientare i sistemi AI sui contenuti prioritari, non ancora uno standard formale; il costo di adozione è basso, ma va trattato come integrazione del robots.txt, mai come sostituto.
Come accelerare la scoperta di un URL e del tuo brand
Nessun vendor documenta un submit diretto ai modelli: si lavora sugli indici a monte, ognuno con il suo strumento. Per ChatGPT il canale è l’ecosistema Bing: Bing Webmaster Tools per sitemap e invio URL, e il protocollo IndexNow per il push immediato a ogni pubblicazione o aggiornamento, con tempi di recepimento tipici di 24-72 ore. Lo stesso indice, peraltro, alimenta Copilot e le campagne Microsoft Ads: il lavoro fatto su Bing vale due volte, in visibilità AI e in advertising.
Per Claude la leva è la submission a Brave tramite i suoi strumenti per webmaster: cinque minuti che quasi tutti saltano, mentre l’indicizzazione passiva di un sito nuovo può richiedere mesi. Per Gemini vale la SEO tecnica di sempre: Search Console, sitemap con lastmod credibili e link interni dalle pagine forti; se hai problemi di copertura, riparti dai fondamentali dell’indicizzazione Google.
Due condizioni valgono per tutti e tre. La prima è tecnica: un’analisi condotta da Vercel e MERJ su oltre mezzo miliardo di richieste di GPTBot non ha trovato alcuna esecuzione di JavaScript, e lo stesso vale per ClaudeBot e gli altri crawler AI. Se il contenuto principale viene generato solo lato client, la maggior parte dei crawler AI non lo recupera; Googlebot è l’eccezione, con capacità di rendering JavaScript, ma per le informazioni che devono essere trovate conviene comunque HTML server-side o pre-renderizzato. La seconda è semantica: il brand deve essere un’entità riconoscibile, con schema Organization e Person, profili sameAs coerenti, dati e date verificabili. Per gli ecommerce aggiungo sempre la cura del feed su Google Merchant Center: i dati di prodotto strutturati sono la materia prima con cui gli assistenti costruiscono i confronti d’acquisto.
E la misurazione? Log del server filtrati per user agent, tempo alla prima visita dopo la pubblicazione, citazioni nelle risposte AI sui prompt di categoria e referral con utm_source=chatgpt.com. Chi ha accesso ai log può ricavare la prima fotografia con un filtro da terminale:
grep -E “GPTBot|OAI-SearchBot|ClaudeBot|Claude-SearchBot|PerplexityBot” access.log | awk ‘{print $1, $4, $7}’
Chi non lavora da terminale ottiene lo stesso risultato scaricando i log dal pannello del hosting (in cPanel si chiamano Raw Access Logs) e aprendoli con Screaming Frog Log File Analyser. I referral dai motori AI, invece, si isolano in Google Analytics 4 con una configurazione dedicata dei canali.
AI slop: il rischio che azzera crawler, indici e citazioni
Fin qui abbiamo parlato di accesso e di indici, ma esiste un modo per vanificare tutto dall’interno: produrre contenuti generati senza cura, quello che la ricerca chiama AI slop. Chiariamo il punto con i fatti: Google non penalizza l’uso dell’intelligenza artificiale in sé (posizione ufficiale dal 2023, contano qualità e utilità per le persone), ma dal 2024 le policy antispam includono lo scaled content abuse, la produzione massiva a basso sforzo, senza originalità né revisione, chiunque la firmi. E le linee guida per i quality rater assegnano la valutazione più bassa ai contenuti generati senza apporto umano. Il rischio, nei fatti, non è una penalizzazione: è la mancata indicizzazione, che per certi versi è peggio. Una pagina fuori dall’indice non esiste per Google, e quindi nemmeno per gli indici che alimentano ChatGPT, Claude e Gemini.
La direzione è leggibile anche nella ricerca: un paper di Google Research del 2026 descrive S-CTS, un sistema che individua lo slop a livello di cluster attraverso i pattern semantici ricorrenti del testo generato. È nato per le piattaforme video e non è un sistema confermato in Search, quindi va trattato come indicatore di rotta, non come fattore di ranking. I segnali però sono già misurabili su quattro livelli: il lessico (intensificatori vaghi e parole dal finto peso concettuale, i vari “cruciale” e “strategico” messi ovunque), i ritardatori semantici (“non è solo X ma anche Y”, le formule di chiusura che occupano spazio senza aggiungere nulla), la struttura (paragrafi tutti della stessa lunghezza, elenchi puntati dove servirebbe prosa) e i residui nel codice: markdown non convertito, parametri utm_source copiati dall’interfaccia del modello, apostrofi dritti e curvi mescolati. Nessun segnale da solo condanna un testo, è la ricorrenza a classificarlo.
La contromisura non è rinunciare all’AI ma governarla: brief solidi, fonti fornite al modello, revisione con vincoli espliciti (“segnala solo i refusi, non alterare quanto ho scritto”, perché altrimenti il modello normalizza la voce verso il registro medio) e responsabilità editoriale firmata. Nel metodo AUREA le fasi di redazione ed editing restano umane per questa ragione: la cura è il segnale che nessun classificatore può simulare.
GEO, AEO e SEO: che differenza c’è
La GEO (Generative Engine Optimization) è l’insieme di pratiche per far selezionare e citare i tuoi contenuti dai motori generativi; l’AEO (Answer Engine Optimization) ottimizza per le risposte dirette; la SEO resta la base tecnica e semantica che rende tutto possibile. Non sono alternative: senza un sito scansionabile e comprensibile, nessuna AI potrà rintracciarti e citarti.
I numeri dicono che il tema è esploso anche in Italia: la query “geo seo” è passata da 140 a quasi 600 ricerche mensili in un anno (+436 per cento su dati DataForSEO), “seo ai” viaggia a 480 ricerche al mese con un costo per clic superiore ai 17 euro, il segnale di una domanda di servizi, non di sola curiosità. Nel mio intervento per Asseprim Confcommercio, “Dalla Posizione 1 alla Citazione”, ho sintetizzato così il passaggio: il ranking ti rende trovabile, la citazione ti rende la risposta.
Il metodo: fatti ufficiali, evidenze sperimentali, inferenze
Su questi temi circolano molte certezze di seconda mano, e le piattaforme cambiano in fretta. Per questo nei progetti SEO Leader classifico ogni informazione su tre livelli: fatto ufficiale (documentazione vendor: ruoli dei crawler, robots.txt, IndexNow), evidenza sperimentale (l’overlap Claude-Brave, i test sui log: solidi ma da riverificare nel tempo) e inferenza operativa (le leve non dichiarate dai vendor, da trattare come ipotesi da testare). Una strategia è affidabile solo se sa dichiarare il proprio grado di certezza. Vale anche per questo articolo: verifica sempre sui log e sulle fonti primarie, non sulle risposte dei modelli.
Trasforma la visibilità AI in domanda commerciale: porta il tuo brand nelle risposte di ChatGPT, Claude e Gemini
Il passaggio dal ranking alla citazione è al centro del mio webinar per Asseprim Confcommercio ed è la stessa dinamica raccontata da Il Mattino: aziende sempre più visibili su Google che ricevono meno click, con la partita che si sposta dentro le risposte delle AI. Se vuoi un percorso strutturato per il tuo brand, contattami dalla pagina dedicata: la prima ora di confronto è gratuita.
Domande frequenti sui crawler AI
I crawler AI rispettano il file robots.txt?
In gran parte sì, con due eccezioni sui fetcher su richiesta: ChatGPT-User può non applicare le regole e Perplexity-User generalmente non le applica. Anthropic dichiara invece il rispetto delle direttive anche per Claude-User. Ogni bot richiede comunque una direttiva separata nel file.
Bloccare GPTBot o ClaudeBot fa perdere posizioni su Google?
No, bloccare i crawler di training non influisce sul posizionamento Google né sulla visibilità nella ricerca AI. GPTBot e ClaudeBot raccolgono contenuti solo per l’addestramento dei modelli: la ricerca usa bot separati, OAI-SearchBot e Claude-SearchBot, da gestire con direttive autonome.
ChatGPT usa l’indice di Google per le sue risposte?
No, ChatGPT Search combina l’indice di Bing con un indice proprio di OpenAI e con provider esterni. La visibilità su Google non si trasferisce automaticamente: la porta d’ingresso resta Bing Webmaster Tools con il protocollo IndexNow, recepimento tipico in 24-72 ore.
Quale motore di ricerca usa Claude?
Le citazioni di Claude coincidono con i primi risultati organici di Brave Search nell’87 per cento dei casi, secondo l’analisi di Profound. Anthropic non dichiara l’architettura, ma l’evidenza è solida: verifica la presenza del tuo dominio con site: su search.brave.com.
Come verifico se i crawler AI visitano il mio sito?
Filtra i log del server per user agent: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User e Googlebot. Controlla anche gli status HTTP: risposte 403 o 429 indicano blocchi di WAF o CDN che impediscono la scansione senza che tu lo sappia.
Esiste un submit diretto per apparire su ChatGPT?
No, nessun vendor documenta un invio diretto di URL ai modelli: si lavora sugli indici a monte. Per ChatGPT la leva è Bing Webmaster Tools con IndexNow, per Claude la submission a Brave, per Gemini la normale Search Console.
