############################### # # addresses all robots by using wild card * # User-agent: * # list folders robots are not allowed to index Disallow: /actions_admin/ Disallow: /actions_client/ Disallow: /admin/ Disallow: /config/ Disallow: /core/ Disallow: /db/ Disallow: /FCKeditor/ Disallow: /files/ Disallow: /js/ Disallow: /lang/ Disallow: /libraries/ Disallow: /plugins/ Disallow: /templates/ Disallow: /keskustelu/admin/ Disallow: /keskustelu/config/ Disallow: /keskustelu/core/ Disallow: /keskustelu/db/ Disallow: /keskustelu/files/ Disallow: /keskustelu/js/ Disallow: /keskustelu/lang/ Disallow: /keskustelu/libraries/ Disallow: /keskustelu/plugins/ Disallow: /keskustelu/templates/ Disallow: /monitoring/ Allow: /templates/img/ #Disallow: / # # list specific files robots are not allowed to index # #Disallow: /tutorials/meta_tags.html #Disallow: /tutorials/custom_error_page.html # # muutetaan Yahoo delay aikaa: # User-agent: Slurp Crawl-delay: 0.5 # # End of robots.txt file # ###############################