[Техничка] Google и Яндекс индексируют /misc/style-variation? Разбираем, почему nofollow не спасает и что можно сделать

[Moderator]

Сама история началась с настройки редиректов со старых URL на новые, а попутно решил почистить мусорные /misc/style-variation в консолях поисковиков.​

После того как я разобрался с легаси-урлами, в консолях была замечена отдельная проблема — уже не имеющая отношения к миграции с одного движка на другой. Дело в том, что XenForo генерирует ссылки на переключение светлой/тёмной вариации темы с уникальным CSRF-токеном на каждый рендер страницы (/misc/style-variation?reset=1&t=<unixtime>,<hash>). Для краулера это классическая ловушка бесконечного пространства URL — контент один и тот же, а адрес каждый раз новый.

Что не работало:

• Canonical-тег, предложенный как вариант — не подходит в принципе: это функциональный эндпоинт, а не страница с контентом, поэтому сама цель для канонизации («чистый» URL без токена) нерабочая сама по себе. К тому же canonical не останавливает сам обход — боту всё равно придётся скачать каждую версию с токеном, чтобы увидеть тег.
• rel="nofollow" на ссылках — сам по себе не гарантия: с 2019 года это для Google лишь подсказка, а не жёсткая директива, и на практике краулеры её нередко игнорируют (та же проблема массово обсуждается в комьюнити XenForo).

Что сделал я (переключатель стилей при этом остался рабочим для людей) — но, честно говоря, пока не удалось доказать на практике, что это полностью закрыло проблему, но просто по логике должно сработать:

Добавить rel="nofollow" на обе точки входа — на кнопку подтверждения и на каждую ссылку в цикле:

html
<a href="{{ link('misc/style', null, {...}) }}" rel="nofollow" class="menu-linkRow ...">

html
<xf:button href="{{ link('misc/style', null, {...}) }}" rel="nofollow" class="button--primary" icon="save" />

• rel="nofollow" всё же добавим на все точки входа — не панацея, но лишним не будет, особенно для Яндекса.
• Главный барьер — Disallow: /misc/ в robots.txt: реальная, а не рекомендательная директива, которая не даёт краулерам вообще заходить в служебный раздел, но никак не влияет на обычных посетителей (браузеры robots.txt не читают).
• <meta name="robots" content="noindex" />, который XenForo сам вписывает в этот шаблон — оставим как есть, как страховку на случай обхода через внешнюю ссылку.

Дадим этому решению настояться пару недель и посмотрим по логам/панелям вебмастеров, действительно ли обращения к этим URL прекратились — обновлю пост, если вылезут новые нюансы.

Спасибо за внимание и жду фидбека! Пока что остановимся на том, что для служебных экшн-урлов (переключение стиля, языка и т.п.) может оказаться эффективнее Disallow в robots.txt и скрытие ссылки для гостей, чем nofollow или canonical.

Ну и пару цифр на последок. По моим наблюдениям, в Search Console таких URL в разы больше, чем в Яндекс.Вебмастере , что довольно интересно. В основном Яндекс собирал у форумов только форму для обратной связи — https://forum-seo.net/misc/contact, но по текущему форуму в таблице нашлись ещё ссылки с misc.php. Но посмотрите сколько мусорных урлов насобирал Google! Больше 12к и цифра продолжает расти! Я в шоке.