22.10.2009, 16:37 | #1 |
Пользователь
Регистрация: 21.10.2009
Адрес: г. Алматы
Сообщений: 12
Вы сказали Спасибо: 2
Поблагодарили 1 раз в 1 сообщении
Репутация: 105
|
Robots.txt для Яндекса
Не могу разобраться с robots.txt
Вобщем моя цель склеить две страница с www и без www Создал файл robots.txt и там написал: User-Agent: Yandex Allow: Disallow: /print Disallow: /user/ Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /uploads/ Disallow: /autobackup.php Disallow: /admin.php Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Disallow: /statistics.html Host: mysite.ru Sitemap: [url]http://mysite.ru/sitemap.xml[/url] Теперь когда начинаю проверять сайт на cy-pr.com, он не показывает что страницы склеины. И пишет, что в файле robots.txt ОШИБКА 404 PLEASE подскажите, в чём может быть проблема?! |