Generatore di robots.txt - Regole Allow, Disallow e Sitemap
Generatore di robots.txt
I primi tre sostituiscono i tuoi gruppi. Il pulsante IA aggiunge un gruppo con nomi di crawler IA pubblicati comunemente e mantiene il resto; l’elenco cambia nel tempo, ricontrollalo ogni tanto.
Importa un robots.txt esistente
* indica tutti i crawler. Separa più nomi con virgole per dare loro le stesse regole.
I percorsi iniziano con / e distinguono le maiuscole. * corrisponde a qualsiasi sequenza di caratteri e $ indica la fine dell’URL: /*.pdf$ blocca ogni PDF. Google ignora Crawl-delay (secondi tra una richiesta e l’altra); alcuni altri motori lo rispettano.
Nessun problema rilevato.
Caricalo come robots.txt nella radice dell’host, ad esempio https://example.com/robots.txt. Ogni sottodominio richiede un file proprio.
Prova un URL
Controlla il robots.txt qui sopra come lo legge Google. Un gruppo che nomina esattamente il crawler prevale su User-agent: *, i gruppi con lo stesso nome si uniscono e un crawler senza gruppo proprio ricade su *, non su un nome simile (Googlebot-Image non usa un gruppo Googlebot). Nel gruppo decide la regola corrispondente più lunga e, a parità, vince Allow. Di un URL completo contano solo percorso e query.
Il robots.txt è una richiesta pubblica, non una serratura. Chiunque può leggerlo e i bot scorretti lo ignorano, quindi non elencarci mai percorsi segreti. Non rimuove nemmeno le pagine dai risultati: un URL bloccato può comunque essere indicizzato tramite i link. Per tenere una pagina fuori dalla ricerca usa un tag noindex lasciandola scansionabile; per proteggerla, una password.
Come funziona il robots.txt
Prima di scansionare un sito, i bot corretti scaricano /robots.txt e cercano il gruppo con il proprio nome, altrimenti User-agent: *. Nel gruppo, Disallow elenca i percorsi da saltare e Allow ritaglia eccezioni al loro interno. Il file controlla la scansione, non l’indicizzazione, e vale solo per i bot che scelgono di rispettarlo.
Come si usa
- 1 Scegli un modello o modifica l’esempio: un gruppo per crawler (o * per tutti), con righe Disallow e Allow.
- 2 Aggiungi l’indirizzo della sitemap e leggi i controlli: un percorso senza barra iniziale o una sitemap senza https:// vengono segnalati subito.
- 3 Copia il testo o scarica robots.txt, caricalo nella radice del sito e apri tuosito/robots.txt per verificare che si apra.
Quale regola vince
I grandi motori non leggono le regole dall’alto in basso. Per ogni URL scelgono la corrispondenza più specifica, cioè il percorso più lungo; se Allow e Disallow hanno la stessa lunghezza vince Allow. Quindi Disallow: /admin/ con Allow: /admin/help/ lascia scansionabili le pagine di aiuto in qualunque ordine. Inoltre un crawler segue un solo gruppo: se esiste un gruppo Googlebot, Googlebot ignora del tutto il gruppo *.
Bloccare non equivale a noindex
Un URL bloccato nel robots.txt può comunque comparire nei risultati, di solito come link nudo senza descrizione, perché altre pagine lo linkano. Peggio: se metti un tag noindex e blocchi anche la pagina, il crawler non la scarica mai e non vede mai il tag. Per togliere una pagina dalla ricerca consenti la scansione e usa noindex; bloccala solo dopo che è uscita dall’indice.
Errori che bloccano più del previsto
Le regole sono prefissi: Disallow: /blog blocca anche /blog-tips/ e /blogger.html; scrivi /blog/ se intendi la cartella. Disallow: / da solo blocca tutto il sito, un classico residuo del server di staging. Bloccare le cartelle CSS e JavaScript impedisce ai motori di visualizzare bene le pagine. E i percorsi distinguono le maiuscole: /Admin/ non copre /admin/. Per vedere come viene trattato un URL preciso, inseriscilo nel riquadro di prova sotto il risultato: indica il gruppo e la regola che decidono.
Crawler IA e token di controllo
Diverse aziende di IA pubblicano i nomi user-agent con cui raccolgono dati di addestramento e indicano il robots.txt come modo per escludersi. Alcuni nomi non sono crawler separati ma token di controllo: Google-Extended e Applebot-Extended non scaricano pagine, stabiliscono solo se i contenuti già raccolti dal crawler di ricerca possono servire ad addestrare i modelli di IA (per Google, anche come fonte per le risposte di Gemini). Bloccarli non incide sul posizionamento, ma non esclude nemmeno le tue pagine dalle funzioni IA della ricerca: AI Overviews e AI Mode di Google usano Googlebot e si controllano con nosnippet o noindex, non con Google-Extended. I nomi cambiano e ne arrivano di nuovi: usa il modello come punto di partenza e consulta la documentazione aggiornata di ogni fornitore.