User-agent: *
Disallow: /images		# No permitir la indexación de imágenes
Request-rate: 1/30		# Indexar 1 página cada 30 segundos
Crawl-Delay: 30
Visit-time: 0000-0600	# Visitar entre 12:00 AM y 6:00 AM UT (GMT)

User-agent: Slurp		# Ralentizar a Yahoo Slurp
Crawl-delay: 60

User-Agent: msnbot		# Ralentizar a msnbot
Crawl-Delay: 60