Robots.txt для Яндекса
 

Не могу разобраться с robots.txt

Вобщем моя цель склеить две страница с www и без www

Создал файл robots.txt и там написал:

User-Agent: Yandex
Allow:
Disallow: /print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: mysite.ru
Sitemap: [url]http://mysite.ru/sitemap.xml[/url]

Теперь когда начинаю проверять сайт на cy-pr.com, он не показывает что страницы склеины. И пишет, что в файле robots.txt ОШИБКА 404

PLEASE подскажите, в чём может быть проблема?!

Ппопробуй такой:

#Main Section
User-agent:*
Crawl-delay: 15
Disallow: /backup/
Disallow: /chat/
Disallow: /cnstats/
Disallow: /cron/
Disallow: /download/
Disallow: /engine/
Disallow: /install/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /index.php?do=register
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=stats
Disallow: /index.php?do=lostpassword
# End Of Main ssection

# Sitemap Section
User-Agent: Yandex
Sitemap: sitemap.xml
# End Of Sitema Section

Cпасибо, но мне нужно ещё и склеить страницы с www и без www
Нужно чтобы главной была ссылка вида site.ru без www

кто нибудь знает в чём может быть проблема файла robots.txt?

Когда проверяю свой сайт на сайте cy-pr.com, пишет что ошибка 404 в файле robots.txt. Кто нибудь знает какие права нужно присвоить файлу robots.txt? может быть ошибка в этом... я присвоил права 755..
И как правильно прописать в robots.txt какой хост главный, мне нужна склейка, чтобы главным был сайт без www.

Яндекс склеит страницы с www и без если я пропишу так:

User-agent: *
Host: site.ru
Sitemap: [url]http://site.ru/sitemap.xml[/url]

Все уже сам разобрался. Только почему то Яндекс страницы с www и без www так и не склеил. Написал в тех поддержку Яндекса и Платон сказал что нужно подождать Яндекс их сам склеит.