Сео форум про методы раскрутки сайтов. Как раскрутить сайт и заработать в интернете.

Сео форум про методы раскрутки сайтов. Как раскрутить сайт и заработать в интернете. (http://forum-seo.net/index.php)
-   Вопросы сео новичков (http://forum-seo.net/forumdisplay.php?f=14)
-   -   прописать запрет на файл в robots.txt (http://forum-seo.net/showthread.php?t=3951)

iplex 06.02.2009 13:04

прописать запрет на файл в robots.txt
 
Сделал я файл с ссылками в формате html....щяс его вроде нужно будет залить в корень сайта. Что бы поисковики её не нашли нужно прописать этот файл (links.html) в robots.txt.....как это сделать?
зы....файл robots.txt тоже нужно создать? а то я его не нашёл((((( и куда его тогда нужно залить?

Seo-man 06.02.2009 14:27

Создаешь в корне файл robots.txt
создаешь папку папка, в неё заливаешь файл links.html

Содержимое robots.txt
User-Agent: *
Disallow: /папка/

shim 06.02.2009 15:34

не обязательно папку, можно и так:

User-agent: *
Disallow: /links.html

Seo-man 06.02.2009 23:38

Можно и так, по разному можно :)
Главное, чтобы роботы поисковые не проигнорировали этот файл.

neo-x 07.02.2009 12:58

товарисчи вы по моему немного не правы, ограничиваясь командой User-agent: *
теряется весь смысл страницы links.html
Ведь наличие обратной ссылки проверяют так же боты (представляете если бы админы или модеры каталогов проверяли вручную обратки :))
поэтому в списке запрещенных ботов должны быть только те боты от которых необходимо закрыть страницу- боты глобальных поисковиков
вот так по моему должен он выглядеть:
Код HTML:



User-Agent: Googlebot
mediapartners
http://www.google.com/bot.html
GoogleSpider2
Disallow: /links.html

User-Agent: Scooter
Disallow: /links.html

User-Agent: AltaVista-Intranet
Disallow: /links.html

User-Agent: Yandex
Disallow: /links.html

User-Agent: SEARCH.COM.UA
Disallow: /links.html

User-Agent: StackRambler
Disallow: /links.html

User-Agent: Aport
Disallow: /links.html

User-Agent: Yandex/1.01.001 (compatible; Win16; I)
Disallow: /links.html

User-Agent: Yandex/1.01.001 (compatible; Win16; H)
Disallow: /links.html

User-Agent: Yandex/1.01.001 (compatible; Win16; P)
Disallow: /links.html

User-Agent: Yandex/1.01.001 (compatible; Win16; M)
Disallow: /links.html

User-Agent: Yandex/1.03.003 (compatible; Win16; D)
Disallow: /links.html

User-Agent: WebAlta Crawler
Disallow: /links.html

User-Agent: Yahoo-MMCrawler
Disallow: /links.html

User-Agent: MS Search
Disallow: /links.html

User-Agent:  Scumbot
Disallow: /links.html

User-Agent: OrangeSpider
Disallow: /links.html

User-Agent: W3CRobot
Disallow: /links.html

User-Agent: yacybot
Disallow: /links.html

User-Agent: googelbot
Disallow: /links.html

User-Agent: SEO[.AG]
Disallow: /links.html

User-Agent: UASEARCH.KIEV.UA
Disallow: /links.html


Seo-man 07.02.2009 13:11

ТОгда в твоём примере лишняя первая строка
User-Agent: *
Disallow: /links.html

neo-x 07.02.2009 13:46

Цитата:

Сообщение от Seo-man (Сообщение 10807)
ТОгда в твоём примере лишняя первая строка
User-Agent: *
Disallow: /links.html

да точно - ошибся... Исправил! :)

iplex 07.02.2009 15:31

пасиба......надеюсь мою помойку ещё не нашли)))))

neo-x 08.02.2009 05:14

дополнительно [url]http://www.google.com/support/webmasters/bin/answer.py?answer=96569&cbid=-8hz56orfmpwi&src=cb&lev=answer[/url] и
это [url]http://www.google.com/support/webmasters/bin/answer.py?answer=66736&ctx=sibling[/url]


Часовой пояс GMT +3, время: 21:58.

Powered by vBulletin® Version 3.8.6
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd. Перевод: zCarot