Сеть недоступна
 

Какого чёрта бот гугля тупит? Он весь месяц не может прочитать роботс.тхт!! "Сеть недоступна: Невозможно получить доступ к файлу robots.txt". У других вебмастеров такие случаи тоже бываю. Атрибуты на чтение стоят. Яндекс читает файл - всё нормально. Я в браузере тоже. А гугль нифига. Заметил в логах, что гугль как-то хитро его читает. grep robots.txt:
ip - - [28/Jun/2008:19:22:13 -0500] "GET /robots.txt HTTP/1.0" 200 357
[...]
ip - - [30/Jun/2008:16:13:59 -0500] "GET /robots.txt HTTP/1.0" 200 357
[...]
ip - - [25/Jun/2008:13:24:52 -0500] "GET /robots.txt HTTP/1.0" 200 402
Все нормальные боты трансферят 357 байт (1е две вырезки), а гугль-бот - 402 байта. Мне что - снифить пакеты от гугля? Что он там передает такого лишнего? Как решить проблему?

Попробуй в техподдержку гугла написать.