Contattami

Robots.txt: cos’è e come usarlo per la SEO del tuo sito WordPress

Pubblicato il di Renè MartignagoSEO
Portatile sulla scrivania con una dashboard di grafici e statistiche del sito

Il file robots.txt è tra le cose più sottovalutate di un sito. È piccolo, si legge in pochi secondi, ma un errore può nascondere l’intero sito ai motori di ricerca. Vediamo cos’è, come si scrive e come comportarsi con WordPress.

Cos’è il robots.txt

È un semplice file di testo che sta nella cartella principale del sito, all’indirizzo tuosito.it/robots.txt. Contiene istruzioni per i crawler, i programmi che visitano le pagine: dove possono andare e dove no. Sono indicazioni, non una barriera: i crawler seri le rispettano, ma non è uno strumento di sicurezza.

Come è fatto

Le istruzioni usano poche parole chiave:

  • User-agent: a quale crawler si riferisce la regola (l’asterisco vale per tutti);
  • Disallow: percorsi che non vuoi far visitare;
  • Allow: eccezioni dentro un percorso bloccato;
  • Sitemap: indirizzo della mappa del sito.

Un esempio tipico per un sito WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.tuosito.it/sitemap_index.xml

WordPress e robots.txt

WordPress genera un robots.txt virtuale se non ne carichi uno. Con un plugin SEO come Rank Math puoi modificarlo dal pannello, senza toccare i file del server. Controlla sempre il risultato aprendo l’indirizzo nel browser.

Gli errori più comuni

  • Lasciare Disallow: / dopo la messa online. Succede quando si copia il file del sito di prova: blocca tutto il sito.
  • Pensare che blocchi l’indicizzazione. Il robots.txt impedisce la visita, non la presenza nei risultati: una pagina bloccata può comparire lo stesso se altri siti la linkano. Per tenerla fuori serve il meta tag noindex.
  • Bloccare CSS e JavaScript. I motori di ricerca devono poter vedere la pagina come la vedono le persone.
  • Dimenticare la sitemap. Indicarla aiuta i motori a trovare le pagine importanti.

E per le risposte AI?

Esistono crawler dichiarati da alcune aziende di AI, per esempio GPTBot di OpenAI o Google-Extended di Google, che puoi consentire o bloccare con regole dedicate. È una scelta da fare con consapevolezza: bloccarli può limitare l’uso dei tuoi contenuti, ma non è una garanzia in nessuna direzione, e i sistemi cambiano. Se vuoi che il sito sia capito anche dalle risposte AI, in genere non ha senso chiuderlo a priori.

Come controllare

  1. Apri tuosito.it/robots.txt e leggi cosa c’è scritto.
  2. Verifica che non ci sia Disallow: / sotto User-agent: *.
  3. Controlla che la sitemap indicata esista.
  4. Dopo ogni modifica, guarda il rapporto sulle pagine in Google Search Console.

Se hai dubbi sul file del tuo sito, scrivimi: lo controlliamo insieme.

Articoli correlati