robots.txt - Empfehlungen

[nico]

Ich mache mir zur Zeit Gedanken über den Inhalt meiner robots.txt, insbesondere um zu verhindern, dass bestimmte Seiten von den Spidern erfasst werden.
Wie habt ihr Eure robots.txt definiert und was sollte Eurer Meinung da unbedingt rein?
[Mir fiel z.B. eben auf, dass Google die kompletten Profile aller User erfasst  /uploads/emoticons/icon_e_surprised.gif.a005678239f11b45b64b526b2c82e9a1.gif\" alt=\":o\" /> .....]

[Powie]

Meine sieht so aus:
User-agent: ia_archiver
Disallow: /
 
das war alles

[Mir fiel z.B. eben auf, dass Google die kompletten Profile aller User erfasst [Erstaunt]  .....][/quote]Das ist nichts neues, siehe http://www.powie.de/cms/forum/showthread.php?id=19797\" rel=\"external nofollow\">diesen Thread   /uploads/emoticons/icon_e_biggrin.gif.1a84f5257b36e14b36d04985314f877f.gif\" alt=\":-D\" />
Eine meiner robots.txt sieht so aus:

# robots.txt für http://www.drachenforum.net
User-agent: *
Disallow: /krimskrams/
Disallow: /design/
Disallow: /counter/
User-agent: Slurp
Crawl-delay: 3600
User-agent: msnbot
Crawl-delay: 3600
User-agent: Googlebot
Crawl-delay: 3600