#Alle Roboter einladen 
#Eine leere Datei erfüllt den gleichen Zweck 

User-agent: *
Disallow:

#Alle Roboter von bestimmten Verzeichnissen fernhalten

User-agent: *
Disallow: /webalizer/
Disallow: /cgi-bin/