# robots.txt for http:www.autextrem.de # Gibt an, welche Unterverzeichnisse nicht durch Crawler durchsucht werden sollen # Disallow: /admincp/ # #User-agent: * User-Agent: Googlebot Disallow: /admincp/ Disallow: /modcp/ Disallow: /printthread.php Disallow: /search.php Disallow: /showthread,p- Disallow: /showthread.php?p= Disallow: /announcement,f- Disallow: /announcement.php?f= Disallow: ‎/member.php?u=‎ Allow: / User-agent: Mediapartners-Google* Disallow: # http://www.autoextrem.de/showthread.php?p=65 # http://www.autoextrem.de/showthread,p-65.htm #User-agent: ia_archiver #Disallow: / #User-agent: ia_archiver/1.6 #Disallow: / #User-agent: IRLbot # #Disallow: /