О том какую роль в оптимизации сайта играет robots.txt. Создание, настройка и тестирование файла. Примеры robots.txt для Wordpress и Joomla. Полное руководство.
https://www.rush-analytics.ru/blog/sozdanie-i-optimizaciya-robotstxt-kontroliruem-indeksaciyu-sayta?fbclid=IwAR0ognXOZN459k4mDD9ks6JLe4wwZZQr5Jg QJNC66AEgIYtQp0s3rife-Jg
