Тема: что должно быть прописано в файле robots
Показать сообщение отдельно
Старый 03.06.2009, 12:28   #3
De.MakaRz
Пользователь
 
Регистрация: 09.04.2009
Сообщений: 10
Вы сказали Спасибо: 0
Поблагодарили 2 раз(а) в 1 сообщении
По умолчанию
Они и так все будут прекрастно индексировать.

В robots.txt запрещаеться к индексации определенные страницы сайта.

Например нам надо запретить админку и скрипт постов, пишим:

User-agent: *
Disallow: site.ru/admin
Disallow: site.ru/poster.php
De.MakaRz вне форума   Ответить с цитированием