Sapevate che se Google non è in grado di scansionare il file robots.txt interromperà la scansione del sito?
Oggi voglio parlarvi di una case history inerente lo status code del robots.txt che ha causato la rimozione dall’indice di Google del sito.
Se durante la richiesta del file robots.txt lo status code è diverso dal 200 (status ok) o dal 404/410 (pagina non trovata o rimossa definitivamente) Google farà de-indicizzare il sito dai motori di ricerca.
Il grafico che vi ritroverete all’interno del Google Webmaster Tools sarà molto simile a questo:
un crollo delle visite repentino, dato dallo status code 500 del file robots.txt.
Monitorare il robots.txt dei vostri siti o dei siti che seguite è essenziale per garantire l’incolumità e la visibilità all’interno dei motori di ricerca degli stessi.
Esistono soluzioni che ci consentono di monitorare il robots.txt dei nostri siti?
Certo! Vi consiglio l’utilizzo di robotto, un tool che vi avvisa prontamente se vi sono cambi di status code all’interno del vostro robots.txt.
Robotto vi consente di tener monitorato diverse cose, come ad esempio:
- duplicazione di contenuti dati dal www/not www
- aggiunta o rimozione di nuove righe all’interno del robots.txt
- responso http del vostro file
- vi informa su potenziali malware presenti nel sito
- scadenza del dominio
- tempo di caricamento della pagina: vi avvisa se ritenuto troppo lento
- altro..
Nel mio caso la situazione si è risolta dopo aver risolto la problematica (cambio hosting) ed aver così ripristinato lo status code 200 del robots.txt.
Ecco di seguito il grafico con la ripresa:
Tenete quindi sempre ben monitorato il file robots.txt dei vostri siti!
