[Google] индексация сайта в Yandex и Google

индексация сайта в Yandex и Google

С чего начинается сайт? Конечно с имени и главной страницы, скажете вы. И будете не правы. Важно не то что видете вы, а важно сколько и кто видит ваш сайт. И начинается он совсем не с шаблона сайта, или доменного имени. Сайт начинается с файла robots txt. Именно robots txt, в первую очередь ищет поисковый робот Яндекса или Гугла. Почему Яндекс и Гугл? Дело в том, что доля остальных поисковиков, по сравнению с этими двумя гигантами, ничтожна мала. И создание файла robots txt, благодаря которому происходит эффективная индексация сайта, самая важная задача владельца ресурса. Дальше....

Бред какой-то. Сайт начинается именно с доменного имени. Затем идет выбор движка и шаблона под него. Затем выбор хостинга. И уже когда движок будет загружен на сайт, тогда приступаем к созданию файла robots.txt

прикольно, гугл индексирует содержимое doc ФАЙЛА В RAR архиве.

Возможно, я ошибаюсь, но Google, по-моему, вообще не обращает внимание на robots txt. Последний больше нужен для Яндекса... Но, безусловно, не раньше самого сайта.

robots.txt обрабтывается и Google и Yandex

Возможно, я ошибаюсь, но Google, по-моему, вообще не обращает внимание на robots txt. Последний больше нужен для Яндекса... Но, безусловно, не раньше самого сайта.

Нажмите для раскрытия...

Ошибаетесь. В панели вебмастера, гугл, указывая на ошибки сканирования, показывает на закрытые от индексации страницы в robots.

Лучше подскажите как без консоли проиндексировать страницы