Работает ли robots.txt?
 

В данное время поисковые роботы яндекса и гугла 100% не заходят в папки, указанные в robots.txt?
Например сделаю папку для запрета поисковых ботов к файлу обраток:
User-agent: *
Disallow: /links/

Это 100% скроет мою линкпомойку от поисковых роботов?

ну а как же )) от робота скроет ) от платона нет.

Как же платон без роботов найдёт линкпомойку?
Как правильно запретить доступ к папке только яндексу и гуглу?
Для яндекса нашел, а для гугла нет.

Не найдёт, но если по стуку, то без проблем.
Насчёт гугла, насколько помню вроде бы GoogleBot или просто Google в юзер агенте прописывать.

Могу сказать точно что роботы заходят и читают файл robots.txt проверил буквально недавно .
Я для более качественной индексации сайта(так как он открывался не достаточно быстро) прописал как положено:
User-agent: *
Crawl-delay: 10(время ожидания до открытия сайта)
и Вы знаете был поражен на следующий день прибавилось прилично страниц в индексе!!!
Причем проверил на двух сайтах и эффект одинаковый!
Естественно в зависимости от скорости открытия сайта величину выставляет каждый свою но перебарщивать естественно не советую!!!

Я бы на Вашем месте просто все линки бы порезал. От того что каждый тут оставил свою ссылку, ему большого плюса нет, а Вам "удар" по сайту.

Это последнее сообщение кому адресованно?