Бот поисковика.
Как часто заходит бот поисковика на сайт и как это можно проследить?
Есть мысль поставить:
<meta name="revisit-after" content="2 days">
Инфа на сайте меняется практически каждый день, но очень незначительно, в основном цифры статистики. Более крупные изменения раз в 2-3 дня.
Но есть одно НО, если робот не заметит эти мини изменения и посчитает что его попусту приглашают каждые 2 дня, можно легко схлопотать бан.
Если нарисовать content="5 days" то возможно робот и сам чаще заходит.
1. Как часто заходят роботы и как это проследить?
2. Как чутко роботы замечают незначительные изменения на странице?
|