Generatore di robots.txt - Regole Allow, Disallow e Sitemap

Strumenti / Strumenti SEO / Generatore di robots.txt

Generatore di robots.txt

Modello

I primi tre sostituiscono i tuoi gruppi. Il pulsante IA aggiunge un gruppo con nomi di crawler IA pubblicati comunemente e mantiene il resto; l’elenco cambia nel tempo, ricontrollalo ogni tanto.

Importa un robots.txt esistente

I percorsi iniziano con / e distinguono le maiuscole. * corrisponde a qualsiasi sequenza di caratteri e $ indica la fine dell’URL: /*.pdf$ blocca ogni PDF. Google ignora Crawl-delay (secondi tra una richiesta e l’altra); alcuni altri motori lo rispettano.

Controlli

Nessun problema rilevato.

robots.txt

            

Caricalo come robots.txt nella radice dell’host, ad esempio https://example.com/robots.txt. Ogni sottodominio richiede un file proprio.

Prova un URL

    Controlla il robots.txt qui sopra come lo legge Google. Un gruppo che nomina esattamente il crawler prevale su User-agent: *, i gruppi con lo stesso nome si uniscono e un crawler senza gruppo proprio ricade su *, non su un nome simile (Googlebot-Image non usa un gruppo Googlebot). Nel gruppo decide la regola corrispondente più lunga e, a parità, vince Allow. Di un URL completo contano solo percorso e query.

    Il robots.txt è una richiesta pubblica, non una serratura. Chiunque può leggerlo e i bot scorretti lo ignorano, quindi non elencarci mai percorsi segreti. Non rimuove nemmeno le pagine dai risultati: un URL bloccato può comunque essere indicizzato tramite i link. Per tenere una pagina fuori dalla ricerca usa un tag noindex lasciandola scansionabile; per proteggerla, una password.

    Come funziona il robots.txt

    Prima di scansionare un sito, i bot corretti scaricano /robots.txt e cercano il gruppo con il proprio nome, altrimenti User-agent: *. Nel gruppo, Disallow elenca i percorsi da saltare e Allow ritaglia eccezioni al loro interno. Il file controlla la scansione, non l’indicizzazione, e vale solo per i bot che scelgono di rispettarlo.

    Come si usa

    1. 1 Scegli un modello o modifica l’esempio: un gruppo per crawler (o * per tutti), con righe Disallow e Allow.
    2. 2 Aggiungi l’indirizzo della sitemap e leggi i controlli: un percorso senza barra iniziale o una sitemap senza https:// vengono segnalati subito.
    3. 3 Copia il testo o scarica robots.txt, caricalo nella radice del sito e apri tuosito/robots.txt per verificare che si apra.

    Quale regola vince

    I grandi motori non leggono le regole dall’alto in basso. Per ogni URL scelgono la corrispondenza più specifica, cioè il percorso più lungo; se Allow e Disallow hanno la stessa lunghezza vince Allow. Quindi Disallow: /admin/ con Allow: /admin/help/ lascia scansionabili le pagine di aiuto in qualunque ordine. Inoltre un crawler segue un solo gruppo: se esiste un gruppo Googlebot, Googlebot ignora del tutto il gruppo *.

    Bloccare non equivale a noindex

    Un URL bloccato nel robots.txt può comunque comparire nei risultati, di solito come link nudo senza descrizione, perché altre pagine lo linkano. Peggio: se metti un tag noindex e blocchi anche la pagina, il crawler non la scarica mai e non vede mai il tag. Per togliere una pagina dalla ricerca consenti la scansione e usa noindex; bloccala solo dopo che è uscita dall’indice.

    Generatore di meta tag →

    Errori che bloccano più del previsto

    Le regole sono prefissi: Disallow: /blog blocca anche /blog-tips/ e /blogger.html; scrivi /blog/ se intendi la cartella. Disallow: / da solo blocca tutto il sito, un classico residuo del server di staging. Bloccare le cartelle CSS e JavaScript impedisce ai motori di visualizzare bene le pagine. E i percorsi distinguono le maiuscole: /Admin/ non copre /admin/. Per vedere come viene trattato un URL preciso, inseriscilo nel riquadro di prova sotto il risultato: indica il gruppo e la regola che decidono.

    Crawler IA e token di controllo

    Diverse aziende di IA pubblicano i nomi user-agent con cui raccolgono dati di addestramento e indicano il robots.txt come modo per escludersi. Alcuni nomi non sono crawler separati ma token di controllo: Google-Extended e Applebot-Extended non scaricano pagine, stabiliscono solo se i contenuti già raccolti dal crawler di ricerca possono servire ad addestrare i modelli di IA (per Google, anche come fonte per le risposte di Gemini). Bloccarli non incide sul posizionamento, ma non esclude nemmeno le tue pagine dalle funzioni IA della ricerca: AI Overviews e AI Mode di Google usano Googlebot e si controllano con nosnippet o noindex, non con Google-Extended. I nomi cambiano e ne arrivano di nuovi: usa il modello come punto di partenza e consulta la documentazione aggiornata di ogni fornitore.

    Domande sul robots.txt

    No, ferma solo la scansione. Se altri siti linkano l’URL, può restare indicizzato senza descrizione. Per rimuoverlo lascialo scansionare con un meta tag noindex o un’intestazione X-Robots-Tag, oppure eliminalo o mettilo dietro un login.
    Nuovo
    Generatore UTM Crea link di campagna con UTM in pochi secondi. Mantiene i parametri e le #ancore esistenti, codifica correttamente i valori e avvisa di maiuscole e spazi.
    Popolare Oggi
    Verificatore di densità delle parole chiave Analizzatore di densità delle parole chiave gratuito: incolla testo o URL e vedi quante volte ricorre ogni parola o frase, in percentuale.

    Altri strumenti SEO

    Verificatore di densità delle parole chiave Analizzatore di densità delle parole chiave gratuito: incolla testo o URL e vedi quante volte ricorre ogni parola o frase, in percentuale.
    Generatore di Slug Trasforma qualsiasi titolo in uno slug URL pulito. La ü tedesca diventa ue, quella turca u, il cirillico viene traslitterato: la lingua la scegli tu.
    Generatore di meta tag Inserisci titolo, descrizione, URL e immagine per generare i meta tag HTML, il markup Open Graph e Twitter Card, e guarda come apparirà la pagina nei risultati Google, su Facebook e su X prima di pubblicare.
    Anteprima SERP Guarda come appaiono title e meta description nei risultati di ricerca su desktop e mobile. Taglio in base ai pixel, contatori di caratteri e pixel.
    Generatore UTM Crea link di campagna con UTM in pochi secondi. Mantiene i parametri e le #ancore esistenti, codifica correttamente i valori e avvisa di maiuscole e spazi.

    Altri strumenti che potrebbero piacerti

    Word in PDF Converti Word in PDF gratis: carica un file DOC, DOCX, ODT o RTF e scarica un PDF ben formattato in pochi secondi, senza filigrana.
    PDF in Word Converti PDF in Word gratis: carica un PDF e scarica un DOCX modificabile in pochi secondi - senza registrazione e senza filigrana.
    Generatore MD5 Generatore MD5 gratuito: trasforma testo o file in un checksum MD5 nel browser - utile per verifiche di integrità e confronti rapidi.
    Codificatore & Decodificatore Base64 Encoder e decoder Base64 gratuito: converti testo o file in Base64 e viceversa, tutto nel browser e senza caricare nulla.
    Contatore di parole Contatore di parole gratuito: incolla un testo per contare parole, caratteri, frasi e paragrafi e vedere il tempo di lettura, senza caricare nulla.