Цитата:
Возможно, я ошибаюсь, но Google, по-моему, вообще не обращает внимание на robots txt. Последний больше нужен для Яндекса... Но, безусловно, не раньше самого сайта.
|
Ошибаетесь. В панели вебмастера, гугл, указывая на ошибки сканирования, показывает на закрытые от индексации страницы в robots.