|
|
22.10.2009, 16:37
|
#1 |
|
Пользователь
Регистрация: 21.10.2009
Адрес: г. Алматы
Сообщений: 12
Вы сказали Спасибо: 2
Поблагодарили 1 раз в 1 сообщении
Репутация: 105
|
Robots.txt для Яндекса
Не могу разобраться с robots.txt
Вобщем моя цель склеить две страница с www и без www Создал файл robots.txt и там написал: User-Agent: Yandex Allow: Disallow: /print Disallow: /user/ Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /uploads/ Disallow: /autobackup.php Disallow: /admin.php Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Disallow: /statistics.html Host: mysite.ru Sitemap: [url]http://mysite.ru/sitemap.xml[/url] Теперь когда начинаю проверять сайт на cy-pr.com, он не показывает что страницы склеины. И пишет, что в файле robots.txt ОШИБКА 404 PLEASE подскажите, в чём может быть проблема?! |
|
|
|
25.10.2009, 19:19
|
#2 | |
|
Пользователь
Регистрация: 05.11.2008
Адрес: Харьков
Сообщений: 149
Вы сказали Спасибо: 20
Поблагодарили 10 раз(а) в 8 сообщениях
Репутация: 709
|
Цитата:
#Main Section User-agent:* Crawl-delay: 15 Disallow: /backup/ Disallow: /chat/ Disallow: /cnstats/ Disallow: /cron/ Disallow: /download/ Disallow: /engine/ Disallow: /install/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /uploads/ Disallow: /index.php?do=register Disallow: /index.php?do=addnews Disallow: /index.php?subaction=newposts Disallow: /index.php?do=stats Disallow: /index.php?do=lostpassword # End Of Main ssection # Sitemap Section User-Agent: Yandex Sitemap: sitemap.xml # End Of Sitema Section
__________________
Для просмотра ссылок или изображений в подписях, у Вас должно быть не менее 30 сообщение(ий). Сейчас у Вас 0 сообщение(ий). |
|
|
|
|
|
28.10.2009, 14:19
|
#3 |
|
Пользователь
Регистрация: 21.10.2009
Адрес: г. Алматы
Сообщений: 12
Вы сказали Спасибо: 2
Поблагодарили 1 раз в 1 сообщении
Репутация: 105
|
Cпасибо, но мне нужно ещё и склеить страницы с www и без www
Нужно чтобы главной была ссылка вида site.ru без www кто нибудь знает в чём может быть проблема файла robots.txt? Когда проверяю свой сайт на сайте cy-pr.com, пишет что ошибка 404 в файле robots.txt. Кто нибудь знает какие права нужно присвоить файлу robots.txt? может быть ошибка в этом... я присвоил права 755.. И как правильно прописать в robots.txt какой хост главный, мне нужна склейка, чтобы главным был сайт без www. Яндекс склеит страницы с www и без если я пропишу так: User-agent: * Host: site.ru Sitemap: [url]http://site.ru/sitemap.xml[/url] |
|
|
|
|
19.11.2009, 16:49
|
#4 |
|
Пользователь
Регистрация: 21.10.2009
Адрес: г. Алматы
Сообщений: 12
Вы сказали Спасибо: 2
Поблагодарили 1 раз в 1 сообщении
Репутация: 105
|
Все уже сам разобрался. Только почему то Яндекс страницы с www и без www так и не склеил. Написал в тех поддержку Яндекса и Платон сказал что нужно подождать Яндекс их сам склеит.
|
|
|
|
Линейный вид
