Il file robots.txt contiene delle regole utilizzate dagli spider dei motori di ricerca per applicare restrizioni di analisi sulle pagine di un sito internet. I crawler, nella prima fase di analisi di un sito web controllano l'esistenza del file robots.txt per vedere se il webmaster ha imposto determinate restrizioni all'indicizzazione del sito.

Scopri come usare il file robots.txt!
VAI ALL'ARTICOLO