Новый фильтр: 10 или 1

[Reriter]

Недавно появился новый фильтр - сайты, у которых все страницы долго были в индексе, после наложения этого фильтра - осталось 1 или 10 страниц в индексе. На форуме серча и сапы есть темы, но страниц там много и читать все не очень хочется, может здесь знает кто-нибудь как бороться с этим фильтром?

[Seo-man]

Тоже читал про этот фильтр. Под него попали даже очень трастовые сайты.
Имхо - писать в яндекс письма.
Пока неотменят фильтр.
Сыроват то он!

[Aktteon]

По мне так это нечто вроде песочницы от Гугла, в кривом исполнении Яндекса.
Не может такого быть чтобы на сайте было всего до 10 страниц "полезной инфы".

[Seo-man]

Вот интересная статья по теме:

Русская поисковая машина Яндекс целыми пачками выбрасывает сайты из своего индекса. Или, для тех кто не понимает оптимизаторского птичьего языка – Яндекс отказывается производить поиск по огромному количеству сайтов.
В настоящее время по некоторым интернет-отраслям количество таких «вылетевших» сайтов составляет десятки процентов, что, согласитесь, уже явный повод задуматься и забеспокоиться. Характерный симптом заболевшего сайта: вылетает он не целиком (как это бывает когда Яндекс «банит» вредоносный с его точки зрения сайт), в индексе всегда остается от 1 до 15 страниц, что позволяет службе поддержки Яндекса отвечать на недоуменные вопросы владельцев стандартной отпиской, дескать, что вы волнуетесь, ваш сайт все же присуствует в поиске, ну а то, что присуствует не все страницы – так вы это, типа, работайте, улучшайте сайт.
Итак, что такое этот самыЙ ФИЛЬТР?

1. Он представляет собой независимый процесс (робот, алгоритм, фильтр – не знаю как сказать правильно, я в терминологии не силен), работающий автономно по своим собственным правилам и – видимо – не обменивающийся или почти не обменивающийся информацией с другими процессами. АГС-17 пользуется базой страниц, который собрал робот-индексатор, но при этом не информирует индексатора, что нужно брать, а что не нужно брать в индекс. Индексатор загружает все. А АГС-17 чистит уже загруженные страницы и делает это несинхронно с индексацией. Если ваша страница попала в индекс сегодня, то АГС-17 может добраться до нее и сегодня, и завтра и через месяц. А может, кстати, при определенных условиях (например, если будете делать упомянутые ниже прививки) и вовсе не добраться.

2. АГС-17 видимо самонастраивающийся процесс, при этом не исключено, что он может корректировать свои алгоритмы и без участия человека. Например, была замечена совершенно четкая тенденция: если достаточно большое количество забракованных АГС-17 страниц на разных сайтах содержало в URI какой-то определенный шаблон, АГС-17 начинал браковать все страницы URI-которых попадал под этот шаблон. Так, например, в какой-то период времени из индекса выпадали все страницы сформированные джумловским компонентом «Аккокомент», независимо от их содержания, или страницы содержащие в URI параметр searchword.

3. АГС17 можно уподобить вирусу. Если он однажды прицепился к вашему сайту, то он будет теребить его бесконечно, поэтому тут уместно будет использовать выражение «сайт, зараженный АГС17». Как и от любого вируса, от АГС17 можно вылечиться, но об этом чуть позже.

4. Большая часть правил по которым АГС-17 выкидывает страницы – не вечна и живет ограниченный срок. Например в начале мая searchword получил реабилитацию. У некоторых моих коллег возникла версия (я не являюсь ее сторонником), что набор правил, по которым работает АГС-17, имеет ограниченный диапазон и новые «более важные» правила, вытесняют «менее важные» старые.

Главное и определяющее правило по которому АГС-17 обращает внимание на ваш сайт – это (нет, не продажные ссылочки) качество контента. Правил определения качества довольно много, и в них не разберется даже самый продвинутый аналитик. Но, в современных интернет-реалиях определяющий вес тут играет то, что называется «уникальностью» текстов. Причем под уникальностью подразумевается, не только уникальность ваших текстов в границах интернета, но и в границах самого вашего сайта. Если на вашем сайте есть достаточно большое количество идентичных или очень похожих текстов расположенных по разным адресам – вы привлечете внимает АГС-17, даже если на других сайтах эти тексты не встречаются. Если же вы прибегали ко всяким хитрым способат «получения уникальных текстов из неуникальных», вроде программ-синонимизаторов или генераторов, и считаете свои тексты уникальными, не факт, что алгоритм Янлекса будет того же мнения.

Само по себе наличие плохого контента на вашем сайте – это уже повод для того, чтобы АГС-17 вычистил ваши «некачественные» страницы из индекса. Именно поэтому под раздачу попали уже упоминавшиеся ранее New2.ru и министерство транспорта.

В первом случае это произошло очевидно потому, что все материалы на news2.ru представляют собой фрагменты других материалов, опубликованных ранее в интернете. Нормативные документы Минтранса – как и любые другие публичные госбумаги, тоже, увы, неуникальны.

Сейчас же наблюдается массовый вылет фотогаллерей, что тоже понятно – текст, состоящий из одной только подписи к картинке – слишком мал, чтобы пройти проверку на качество.

Однако, плохой контент является только фактором, запускающим интерес АГС-17 к вашему сайту. Как правило, помимо основного, «контентного критерия» срабатывает множество добавочных.

Если ваш сайт попал под раздачу по контентному критерию, то будьте готовы к тому, что АГС-17 начнет шерстить его по другим критериям, коих великое множество. Но SEO-сообщество больше всего интересует прежде всего один из этих критериев – а именно – наличие продажных SEO-ссылок. Скажу смело, господа, в ходе испытаний было достоверно и однозначно установлено, что сам факт наличия на вашем сайте продажных SEO-ссылок великому АГС-17 до глубокой балды. А вот то, как влияют эти ссылки на выдачу поисковки – не до балды. Если ваши ссылочки недопустимым образом искажают выдачу поисковки с точки зрения Яндекса – АГС-17 оправит ваш сайт прямиком в предбанник – именно так остроумно оценил состояние «15 страниц в индексе» участник одного из форумов. Еще не бан, но уже и не нормальное состояние.
Самое пакостное в логике работы АГС-17 это то, что оценивается, повторюсь, не наличие «плохих» ссылок и не их количество, а исключительно их влияние. Поэтому, если ваш сайт угодил в предбанник именно из-за плохого влияния на выдачу, то просто снятие ссылок с сайта вам уже не поможет.

[Seo-man]

Это всё ещё статья про фильтр яндекса:

Вам придется дождаться когда дурное влияние на выдачу, внесенное вашим сайтом сойдет на нет, а это может занять несколько месяцев.
После этого ваш сайт гарантировано вернется в индекс, чтобы спустя время вновь попасть под раздачу АГС-17 – по какому-нибудь другому критерию – помните, однажды заразив ваш сайт АГС-17 от него уже не отвяжется.
ВАЖНОЕ Примечание: Размещение «плохих» ссылок может привести к выпаду вашего сайта из индекса и при отличном, уникальном контенте. Но в этом случае выбрасывать ваш сайт из инекса будет уже не АГС-17, а другой алгоритм. И результатом будет скорее всего уже не предбанник, а бан. АГС-17 же всегда работает по принципу – «сначала контент и, при плохом контенте (только!), все другие критерии» и результатом его работы всегда является предбанник, а не бан. Так что если у вас в индексе остался десяток, плюс-минус несколько страниц, смотрите прежде всего на качество своего контента.
Профилактика, прививки и лечение

Как и от любой другой инфекции, не приводящей к смерти пациента, от поражения АГС-17 можно излечиться. От него можно сделать прививку. И в конце концов, простейшие профилактические меры также могут здорово помочь.

Собственно говоря, профилактические меры от заражения АГС-17 – ровно те же самые, что указаны на сайте Яндекса в рекомендациях вебмастерам, так что я ничего нового не скажу. Но, тем не менее, вдруг кто-то не знает, я повторюсь, извините за банальности.

1. Следите за тем, чтобы контент вашего сайта был уникальным, грамотно написанным (это тоже учитывается), и осмысленным (это тоже учитывается). Крайне желательно, чтобы этот контент привлекал какое-то количество (пусть даже совсем-совсем небольшое) «естественных» посетителей, и чтобы эти люди действительно посещали ваш сайт. Сайт который совсем не посещается или имитирует посещаемось (а АГС-17 ведомо и то и другое) вызовет сомнения в качестве своего контента.

2. Не перебарщивайте с внутренней перелинковкой. Я понимаю, это популярная мера по «оптимизации» сайта, но если АГС-17 при наличии 100 уникальных статей, обнаружит на вашем сайте 2000 страниц с этими текстами, или шестьсот ссылок с «морды» на внутренние страницы, он может вас не понять. Не заводите облако тегов на поисковые запросы. Всегда открывайте страницу сразу с комментариями, если они есть, и никогда не делайте два отдельный варианта – с комментариями и без. А если делаете, то без перезагрузки, чтобы URL страницы не менялся... впрочем, это все уже мелкие детали, кои все не перечислишь.

3. Если уж продаете ссылки со своего сайта, лягте костьми, но не допускайте на свой сайт некачественных продажных ссылок. Критерии некачественных ссылок много раз публиковались и обсуждались. В частности, это ссылки, перенасыщенные ключевыми словами, ссылки ведущие на криминальные с точки зрения поисковки (или закона) сайты, ссылки, тематика которых не соотвествует тематике сайтов, на которые они ведут.

4. Если уж продаете ссылки со своего сайта, не перебарщивайте с их количеством. Если с вашего сайта, в котором 100 страниц, будет вести 1000 коммерческих ссылок, он исказит выдачу по любому, даже если все ссылки будут качественными. Впрочем, в этом случае ваш сайт пойдет мыться в баню еще до того, как до него доберется АГС-17 со своим гуманным предбанником.

5. Да, и еще одна банальность. Следите, чтобы ваши тексты по возможности не тырили. Понимаю, почти нереально, но надо. Иначе, если ваши тексты будут маячить на достаточном количестве других сайтов и без ссылок на ваш сайт – они уже не будут уникальными. Прискорбно... но ситуация достаточно распространена.
Прививка

Как и от любой другой заразы, от АГС-17 можно сделать прививку. Если вы поняли из вышеописанного, что ваш сайт – кандидат на вылет, надо ее сделать. Эмпирическим путем установленно, что в качестве прививки может послужить следующее шаманское действие: периодический массированный (это ключевое слово) вброс на сайт хороших порций заведомо качественного контента. Подчеркну речь не идет о традиционном регулярном обновлении сайта, а именно о массированном вбросе. Не по одной статье в день на протяжении месяца, а все тридцать статей за один раз единовременно.

Я понимаю, что это смахивает на шарлатанство, но это работает. Если вы замените регулярное обновление сайта небольшими порциями на нерегулярное и крупными порциями, шансы на попадание в поле зрения АГС17 резко уменьшаться.

Регулярность и количество вбрасываемых статей зависят от общего количества статей на сайте. Чем их меньше, тем чаще и более мелкими порциями.

Для сайта с тысячей страниц достаточно вбрасывать раз в два месяца статей 40-50. Для сайта с несколькими сотнями страниц 10-30 раз в месяц. Для совсем новых или совсем маленьких сайтов не скажу, испытаний не проводилось.

Прививка эта помогает даже если сайт приторговывает ссылками, среди которых попадается небольшое количество некачественных. А вот большом количестве некачественных ссылок – не поможет, потому что вашим сайтом займется уже не АГС-17, а другой фильтр.

Также надо заметить, что прививка помогает, только если АГС-17 еще не добрался до вашего сайта. Если добрался, то надо уже не прививать, а лечить.
Лечение

Есть три способа лечения сайтов, пораженных АГС17.

Один «мягкий» способ, совершенно безвредный и безопасный для сайта, но довольно «долгий». И два «радикальных», позволяющих быстро избавиться от этой заразы, но при этом, надо быть готовым к некоторым потерям.

Мягкий способ по характеру действия сходен с прививкой и заключается в том, чтобы дождавшись возвращения сайта в индекс (напомню, сайты, пораженные АГС17 всегда возвращаются), единовременно залить на него очень большую порцию уникального качественного контента в объеме порядка 10% от уже имеющихся на сайте статей. Можно и больше. После этого, как правило АГС17 оставляет сайт в покое, и больше не возвращается. Хочу обратить внимание, что этот метод работает только в момент возвращения сайта в индекс, и работает в течение очень ограниченного времени. Ставить эту капельницу желательно именно в тот день, когда началось возвращение сайта в индекс. Позже будет малоэффективно. Раньше тем более. Бесполезно пытаться вернуть сайт в индекс таким образом. Помните, я говорил, что робот-индексатор и робот-мастурбатор действуют независимо и несогласованно. Сколько бы не находил индексатор новых страниц на вашем сайте, фильтр уже наложенный АГС17 будет продолжать действовать, до тех пор, пока не истечет срок карантина, но об этом, чуть позже.

Радикальные способы лечения направлены на то, чтобы вернуть ваш сайт в индекс в кратчайшие сроки. Первый из этих способов заключается в том, чтобы одномоментно поменять адреса всех страниц сайта. Коль скоро ваш сайт пребывает вне инекса, эта радикальная акция никак не повредит ему в глазах Яндекса. После этого сайт практически гарантированно возвращается в индекс в течение нескольких обновлений поисковой базы (как правило это занимает около месяца). Каким образом поменять адреса всех страниц – спросите у вашего программиста. Если движок вашего сайта поддерживает SEF, вы можете, к примеру, поменять обычные адреса страниц на «дружественные» или наоборот.

Перед этим крайне важно устранить на вашем сайте все, что по вашему мнению привело его к заражению АГС17. В момент возвращения сайта в индекс – обязательно провести лечение по вышеописанному мягкому способу.

К сожалению этот способ пригоден только в том случае, если вам принципиально важна индексация сайта именно в Яндексе. Потому как у Google и Yahho! могут отреагировать на смену адресов с недоумением. Кроме того, если раньше на какие-то конкретные страницы вашего сайта вели внешние ссылки, то после этой операции они будут вести в никуда. К счастью, многие сайтовые движки позволяет открывать страницы одновремено по обычному и SEF-адресу. Если у вас такой движок – вам повезло.

Другой радикальный способ является еще более радикальным и предназначен для тех случаев, когда вам важна инексация во всех поисковых машинах или вы не можете поменять адреса ваших страниц. Он заключается в имитации технической неисправности сайта и сводится к тому, чтобы заставить ваш веб-сервер вместе со страницей отдавать браузеру не стандартный код ответа (200 OK!), а код какой-нибудь неисправности, например 404 Not Found. В силу специфики своей работы браузеры будут корректно показывать такие страницы посетителям и те даже не будут знать о том, что код ответа сервера – неправильный. А вот поисковые машины получив такой код ответа, страницу загружать не будут и зафиксируют ошибку. В итоге спустя короткое время количество загруженых страниц вашего сайта станет равным нулю (это можно увидеть в панели вебмастера), и АГС17 от вашего сайта отлипнет. После чего вы можете смело возвращать на место код 200 OK! И ваш сайт заново проиндексируется с нуля.

Примечание: возможно вместо этого варварского способа сработает простой запрет индексации сайта в файле robots.txt. Или клоакинг. Такие способы не испытывались, и вы можете поэкспериментировать с ними на свой страх и риск.

[sexyledi]

Я в последнее время на яндекс не рассчитываю, уж очень он не надёжный и работает под настроение!
Сейчас оптимизировать пытаюсь под google, а ещё мне кажется перспективным новый поисковик bing.com, может кто знает под каким примерно алгоритмом он работает? И есть ли у него дыры?

[Seo-man]

Тут многие делают сайты под сапу, следовательно под яндекс выходит сайт.
Согласен что гугл стабильнее.
Все остальные поисковики - капля в русском траффе.

[Reriter]

Кто-нибудь пробывал способы из выше описаных? что реально помогает выйти сайту из АГС?