товарисчи вы по моему немного не правы, ограничиваясь командой
User-agent: *
теряется весь смысл страницы
links.html
Ведь наличие обратной ссылки проверяют так же боты (представляете если бы админы или модеры каталогов проверяли вручную обратки
)
поэтому в списке запрещенных ботов должны быть только те боты от которых необходимо закрыть страницу- боты глобальных поисковиков
вот так по моему должен он выглядеть:
Код HTML:
User-Agent: Googlebot
mediapartners
http://www.google.com/bot.html
GoogleSpider2
Disallow: /links.html
User-Agent: Scooter
Disallow: /links.html
User-Agent: AltaVista-Intranet
Disallow: /links.html
User-Agent: Yandex
Disallow: /links.html
User-Agent: SEARCH.COM.UA
Disallow: /links.html
User-Agent: StackRambler
Disallow: /links.html
User-Agent: Aport
Disallow: /links.html
User-Agent: Yandex/1.01.001 (compatible; Win16; I)
Disallow: /links.html
User-Agent: Yandex/1.01.001 (compatible; Win16; H)
Disallow: /links.html
User-Agent: Yandex/1.01.001 (compatible; Win16; P)
Disallow: /links.html
User-Agent: Yandex/1.01.001 (compatible; Win16; M)
Disallow: /links.html
User-Agent: Yandex/1.03.003 (compatible; Win16; D)
Disallow: /links.html
User-Agent: WebAlta Crawler
Disallow: /links.html
User-Agent: Yahoo-MMCrawler
Disallow: /links.html
User-Agent: MS Search
Disallow: /links.html
User-Agent: Scumbot
Disallow: /links.html
User-Agent: OrangeSpider
Disallow: /links.html
User-Agent: W3CRobot
Disallow: /links.html
User-Agent: yacybot
Disallow: /links.html
User-Agent: googelbot
Disallow: /links.html
User-Agent: SEO[.AG]
Disallow: /links.html
User-Agent: UASEARCH.KIEV.UA
Disallow: /links.html