#Dateien oder Ordner, die nicht von Such-robots indiziert werden sollen

#alle bots
User-agent: *
Disallow: /Bandwithtester/
Disallow: /auktion/
Disallow: /doc/
Disallow: /forum/
Disallow: /fg/_notes/
Disallow: /fg/forms/
Disallow: /fg/graph/
Disallow: /fg/secured/
Disallow: /gaestebuch/
Disallow: /ip/
Disallow: /logs/




#HELP:
#User-agent gibt an, an welche Robots sich der Befehl richtet.* = Wildcard, was bedeutet, dass er sich an alle Robots richtet, die die Datei robot.txt aufrufen. Disallow:/suchmaschinen/ bedeutet, dass das Unterverzeichnis /suchmaschinen/ nicht indiziert werden darf (Achtung: Es ist darauf zu achten, dass stehts ein Slash ("/") vor und nach dem Verzeichnisnamen gesetzt wird).Um die Indizierung der kompletten Website mit allen Unterverzeichnissen zu verbieten, wird lediglich ein Slash gesetzt.