robots и sitemap- штука полезная?
 

Доброго времени суток! Расскажу историю вкратце- в ряды админов сайтов я встал месяца 3 назад, обучаясь основам html по книге и только. Купил домен, разместил на хосте и начал по тихоньку писать статьи. Но чем дальше в лес, тем больше дров... Размещение форума стоило сильной головной боли- скрипты для меня китайская грамота. Вопрос: обязательно ли размещать на сайте файлы роботс.тхт и sitemap и на сколько они будут полезны. На их изучение уйдет много времени, которого мне и так не хватает. Кстати, Яндекс перестал индексировать новые страницы недели 3 назад, а гугл и яху выбрасывают их в поиск быстрее чем я их пишу.:go: Заранее спасибо.

robots.txt - обязательный файл для команд роботам ПС. Запрещает индексацию тех или иных разделов сайта, содержит информацию об основном домене сайта (с www или , без) а так же умеет делать еще несколько интересных вещей. Подробнее о файле роботсе для яндекса читайте [URL="http://help.yandex.ru/webmaster/"]тут[/URL].

sitemap - карта сайта, помогает быстрой и частой индексации сайта, большинство cms умеют генерировать ее сами, ее добавляют в ВМЯ. Про нее читайте там же.

Понятно... Надо будет заняться на досуге. Извиняюсь за глупый вопрос: помимо вышеуказанных файлов еще ставят какие либо подобные "примочки" или это стандартный набор?

Этим не на досуге нужно заниматься, а прямо сейчас, чтобы в дальнейшем проблем небыло. С тем же дублем контента и тегами.

sergeyu, на сайте, размещенном у тебя в подписи, есть инструмент для создания карт сайта. Таким девайсам можно доверять или лентяйка может не прокатить? Извиняюсь, это был последний глупый вопрос...

Не знаю если честно, не создавал, как то всегда cms сами генерировали, посмотреть нужно что там он создает, а вот html карту создавал [URL="http://www.seolib.ru/script/mapgenhtml/"]тут[/URL]

Да уж, ну и шума я поднял из-за 20 кб текста! Все сделал за полчаса + часа полтора на то что бы вкурить все это... sergeyu большое спасибо за помощь!