Una breve guida per comprende a cosa serve il file robots.txt e quali sono le voci basilari da impostare in questo file. Le direttive contenute in questo file comunque non sono vincolanti per i bot che visitano il sito. Di norma il file contiene poche istruzioni per evitare che blocchi contenuti che devono esssere scansionati e quindi indicizzati. Entra nel sito per una visita e lascia un tuo commento.