# Allow all robots to anywhere User-agent: * Allow: /itglobalindia/ Allow: /crunchyweb/ User-agent: * # Disallows robots to locations Disallow: /images/ Disallow: /itglobalindia/images/ Disallow: /cgi-bin/ Disallow: /itglobalindia/anystaff/ Disallow: /itglobalindia/connor/ Disallow: /itglobalindia/user/ Disallow: /itglobalindia/temp/ Disallow: /itglobalindia/lf/ Disallow: /itglobalindia/lf1/ Disallow: /itglobalindia/home/ Disallow: /itglobalindia/email/ Disallow: /itglobalindia/costa_/ Disallow: /itglobalindia/aj/ Disallow: /itglobalindia/mail/ Disallow: /itglobalindia/rank/ Disallow: /itglobalindia/temp/ Disallow: /itglobalindia/user1 Disallow: /itglobalindia/g Disallow: /itglobalindia/g/p Disallow: /itglobalindia/test/ Disallow: /itglobalindia/test/health