User-agent: *
Disallow:
#Disallow:/ Permet d'exclure toutes les pages du serveur (aucune aspiration possible). 
#Disallow: Permet de n'exclure aucune page du serveur (aucune contrainte). 
#Un fichier robots.txt vide ou inexistant aura une conséquence identique. 
#User-Agent : fast Permet d'identifier un robot particulier (ici, celui des moteur Lycos et Fast/Alltheweb). 
#User-agent: fast
#Disallow:
#User-agent: * 
#Disallow:/  Permet au spider d'Alltheweb et de Lycos (dont l'index est également fourni par Fast) de tout aspirer, mais refuse les autres robots.