27.07.2008, 01:54 | #1 |
Гость
Сообщений: n/a
|
Сеть недоступна
Какого чёрта бот гугля тупит? Он весь месяц не может прочитать роботс.тхт!! "Сеть недоступна: Невозможно получить доступ к файлу robots.txt". У других вебмастеров такие случаи тоже бываю. Атрибуты на чтение стоят. Яндекс читает файл - всё нормально. Я в браузере тоже. А гугль нифига. Заметил в логах, что гугль как-то хитро его читает. grep robots.txt:
ip - - [28/Jun/2008:19:22:13 -0500] "GET /robots.txt HTTP/1.0" 200 357 [...] ip - - [30/Jun/2008:16:13:59 -0500] "GET /robots.txt HTTP/1.0" 200 357 [...] ip - - [25/Jun/2008:13:24:52 -0500] "GET /robots.txt HTTP/1.0" 200 402 Все нормальные боты трансферят 357 байт (1е две вырезки), а гугль-бот - 402 байта. Мне что - снифить пакеты от гугля? Что он там передает такого лишнего? Как решить проблему? |