Наконец пришла пора подводить итоги моей работы по выводу моего первого сайта – DmitriyZhilin.ru из-под АГС фильтра Яндекса. Когда я брался за это дело, то не был уверен в успехе, так как фильтр казался очень страшным (на всех форумах вебмастера приходят от него в ужас). Забегая вперед, скажу, что мне все удалось, и я вывел сайт из-под АГС всего за 1 месяц, как я это сделал, расскажу сегодня.
Основной причиной, по которой я решил взяться за реанимацию этого домена была его брэндовость, я специально выбирал доменное имя для сайта созвучное с моим именем. Через него работает моя электронная почта, так что, бросать его не планировал.
Вопрос стоял лишь в том, будет ли он висеть мертвым грузом или я разберусь как вывести сайт под АГС и включу хоть какую-то монетизацию.
Тем более, что до наложения санкций на нем был кое-какой ТИЦ, так что, ту же продажу ссылок можно будет подключить снова.
Дополнительной мотивации мне придавал спортивный интерес – смогу или не смогу я вытащить ресурс из ямы. Это вопрос личных амбиций и престижа.
Читайте также: Как зарабатывать на досках объявлений на дому: особенности площадок, советы для начинающих и опытных продавцов, некоторые мошеннические схемы
Что такое АГС?
Прежде чем я расскажу о том, что я делал для вывода сайта из под фильтра, немного расскажу о самом АГС – что это такое и как понять, что ваш ресурс заболел таким недугом.
Все фильтры, накладываемые поисковыми системами, имеют определенные цели. Задача АГС – борьба с плохими сайтами. Дословно АГС – это Анти Говно Сайт, по одной расшифровке можно понять его назначение.
Интернет привлекает множество любителей халявы, жаждущих быстрой наживы – быстро создать сайт для заработка, наполнить его третьесортным контентом и включить на максимум рубильник монетизации (обычно, продажу ссылок). Яндекс пытается вычислить подобные ресурсы, не несущие никакой пользы для пользователей интернета, стереть их со своих серверов (освободить место) и удалить из выдачи (чтобы в ТОПе были только полезные документы).
Как правило, АГС накладывается на сайты:
- Имеющие контент низкого качества (неинформативные тексты, копипаст, низкокачественный рерайт, отсутствие форматирования, неудобные дизайн и т.д.).
- Чрезмерно увлекающиеся продажей ссылок разных сортов. Если основной источник дохода сайта – это продажа ссылок, значит, он создается для SEO ссылок, а не для людей.
Сам фильтр развивается и эволюционирует вместе с тем, как меняются принципы работы поисковых систем.
Были версии фильтра АГС-17, АГС-30, сейчас косит сайты АГС-40. Кардинальных изменений в их задачах нет, все они ищут среди белых и пушистых СДЛ (сайты для людей) заразу засоряющую поиск. Меняются только критерии оценки, количество и качество используемых для поиска признаков.
Фильтр АГС от Яндекса или «катастрофа» для оптимизатора. Теория
Фильтр АГС от Яндекса
Всем привет! Пока один из авторов (который Павел) сдаёт сессию, Михаил мне предложил написать в блог несколько гостевых статей. Правда предложил на самом деле я и платой за размещение будет ссылка на мой блог (кстати, он называется «Онлайн Хулиган»), но сейчас не об этом.
На общем собрании мы решили, что я попытаюсь рассказать про наиболее нашумевший фильтр от Яндекса под грозным именем АГС. А рассказать мне действительно есть о чём, ведь на моём счету порядка 15 попавших под АГС сайтов и несколько удачных и неудачных выводов из под него.
Намнём с предыстории.
Около 2-ух лет назад весь Рунет, в том числе его прекрасная половина (я имею в виду SEO блоггеров) клепали в бесконечном количестве сателлиты для одной единственной цели – заработке нескольких рублей в бирже Sape. Уже тогда были такие источники «белого заработка» как Блогун или Google AdSense, но именно Sape кормила большую часть веб-мастеров в Рунете. Лично я зарабатывал порядка 200 рублей в сутки (тогда для меня это было круто!).
Такой вид заработка, конечно же, значительно сказывался на внешнем облике ресурсов и их наполнении – чаще всего сателлиты выглядели как несколько сотен генерированных программами с публичным шаблоном (естественно на WordPress). Конечно же, на них сразу после индексации Яндексом ставилась Sape и на счёт начинали капать первые копейки. Естественно, за судьбу сайтов переживали и даже пытались их сделать более человечными, но дальше иконок для RSS или уникальной картинки в шапке дело не доходило. Тогда никто не верил, что Яндекс или даже гигант Google смогут научиться определять продажные ссылки и соответственно влиять на судьбу ресурса.
В один прекрасный момент случился настоящий шок!
Только за одну ночь из индекса Яндекса полностью или частично выпало порядка 30-40% всех сайтов в Рунете. Вы только вдумайтесь в эти цифры – это даже не десятки тысяч, а возможно миллионы ресурсов. SEO форумы, такие как Searchengines, сразу запестрели новыми темами про смену алгоритмов Яндекса и возможный глюк, который скоро исправят (у меня лично в первый день выпало 4 сайта).
Читайте также: Услуги создания группы вконтакте – сколько стоит создание группы в ВК у фрилансеров
Официальное объявление о запуске (скорее о «докрутке») нового фильтра появилось спустя неделю на блоге команды Яндекса. Именно тогда было названо имя АГС. Кто-то расшифровал эту аббревиатуру как «Анти Говно Сайт», кто-то «Анти Генерированные Страницы», а символом алгоритма стало смертоносное оружие Автоматический гранатомет АГС-17, которым снабжается пехота российской армии.
АГС-17
Действие данного фильтра можно сравнить с этим пулемётом: быстро, масштабно, без шансов для противника (уже тогда я потерял более 10 своих сайтов). А этим самым противником стало бесчисленное количество псевдо – сайтов, созданных для заработка на продаже ссылок. Как заявил Яндекс, эта мера была вынужденной, ведь численность сателлитов для Sape в то лето достигла огромных масштабов и поисковая выдача становилась «нечестной». Проще говоря, Яндексу стало сложно правильно ранжировать коммерческие поисковые запросы, да и растущий рынок купли – продажи ссылок в биржах стал угрозой для объёмов рынка РСЯ – Рекламной Сети Яндекса. Всем известно, что «косвенно» рынок SEO мешает продажам контекстной рекламы и наоборот (оптимизаторы для поисковых систем как паразит на теле человека, который мешает работать!).
SEO сообщество долгое время верило, что Яндекс не решится на дальнейшую войну и, скорее всего, вернёт все сайты в индекс, тем более, что под АГС в первое время попадали и явные СДЛ сайты (у меня таких было 2 под фильтром).
Симптомы АГС на сайте:
- Резкое снижение числа проиндексированных страниц поисковой системой Яндекс;
- Резкое падение трафика со стороны Яндекса;
- Ошибка при добавлении новой страницы в «аддурилку»;
Вот собственно и всё. Факторов мало, зато проблем для головы веб-мастера очень много!
Многие оптимизаторы заявляют, что главной причиной попадания под АГС является продажа ссылок в Sape или подобных биржах. Между тем, причин больше: некачественный контент на сайте (генерация программами, копипаст, большое количество грамматических ошибок, неправильное структурирование текста), большое количество дублей страниц (метки, архивы, страницы-копии с комментариями) и переоптимизированные под запросы страницы.
«Робот анализирует содержание всех страниц сайта и принимает решение о включении их в индекс. Какое количество страниц будет проиндексировано – зависит от многих факторов, в том числе от качества контента, интереса пользователей к ресурсу и соответствия сайта поисковой лицензии», – так прокомментировали работу АГС сами разработчики.
Несмотря на все надежды, Яндекс дорабатывает свой алгоритм и вслед за АГС-17 выходит АГС-30, который имеет все самые лучшие качества своего «младшего брата» и более обученный «ум». Опять же имя было заимствовано у пулемёта.
В настоящее время от АГС пострадало огромное количество сайтов (сателлитов, конечно же), что позволило Яндексу значительно улучшить качество поисковой выдачи и опередить Google в доле поискового рынка в Рунете. Конечно же, фильтр первое время не щадил и полноценные СДЛ ресурсы, но свою задачу на данный момент он выполняет: чистка Рунета от поискового мусора, которому нет места в выдаче.
На этом всё.
Спасибо Михаилу за отличную идею для поста, а уже в следующий раз попытаюсь научить вас бороться с этим самым АГС-30 и в первую очередь делать профилактику такого неприятного «заболевания» как фильтр от Яндекса (тем более, что за последний год я сумел вывести из под АГС порядка 3-4 сайтов).
До встречи на моём блоге тоже!
Как проверить сайт на АГС?
Ручное определение фильтра
Первое, что обнаружит владелец любой площадки, угодившей под фильтр – это резкая потеря трафика с Яндекса. Правда, не обязательно потеря трафика означает наложение АГС, причины могут быть и в другом.
Был в моей практике случай, когда мне показалось, что фильтр, а впоследствии я выяснил другую причину – писал про это тут.
Читайте также: Бонг своими руками: обзор самодельных бонгов
Второй момент, являющийся признаком – это выпадение из индекса поисковой системы значительного числа страниц (вплоть до полного). Может остаться только главная, а может и несколько сотен. Но вылетит много страниц, причем, без разбора – и хорошие и плохие. Это, кстати, и будет причиной проседания посещаемости.
Третий признак, присущий только АГС-40 (в предыдущих версиях его не было) – это обнуление ТИЦ (что такое ТИЦ читайте тут). Для площадок, имевших высокие показатели (30 и больше) – обнуление ТИЦ – в 99% это попадание под АГС.
Все эти признаки укладываются в концепцию АГС. Ссылки покупают для того, чтобы они проиндексировались поисковиком и передавали вес на сайт акцептор. Считается, что, чем выше ТИЦ, тем больше от ссылок пользы.
В данном случае – ссылки не будут индексироваться, так как не индексируются страницы сайта, а ТИЦ равен 0, соответственно, даже при индексации ссылок пользы от них нет.
Автоматическое определение фильтра
Многие процессы в сети автоматизированы, поэтому нет необходимости самому смотреть на характеристики ресурса, анализировать их и делать какие-то выводы.
Достаточно воспользоваться каким-либо сервисом или плагином для сеошников, чтобы за считанные секунды получить вердикт.
Я пользуюсь плагином для веб браузера RDS-Bar, он показывает наличие АГС фильтра на сайте. Можете себе тоже его поставить, там много других полезных функций имеется. Скрин в начале поста, кстати, сделан именно с этого плагина – он добавляет удобную панельку.
Если не хотите устанавливать плагин, то можно подсмотреть результаты в анализаторе сайтов xtool, я про него писал в статье «Как проверить траст сайта» – он, кстати, не только АГС, но и другие фильтры тоже покажет. Вот так там показывается:
Причины АГС
Поговорим о причинах которые могут привести к наложению АГС на сайт.
Фильтр накладывается за совокупность «нарушений». Попасть под АГС за какое-то одно неверное действие как правило очень сложно (я тут не говорю о грубых нарушениях вроде размещения на сайте ста тысяч ссылок на п..но сайты или размещения этого самого п.но контента). Итак основные причины:
- Неуникальный контент (в том числе неуникальность с самим собой — дубли страниц)
- Наличие поисковых нарушений и поискового спама на страницах сайта.
- Большой процент внешних ссылок с сайта по отношению к общему числу страниц сайта.
- Стук (при этом у сайта должны быть какие-то нарушения).
- Неуникальный шаблон и распространённая CMS.
Некоторые ложные факторы, которые вводят в заблуждение:
- Неуникальный контент — впринципе неуникальный контент яндексом допускается. Весь вопрос в его количестве. У меня растаскивали множество текстов по всему интернету, но мои растащенные страницы только поднимались наверх.
- Sape — как таковая торговля ссылками не ведет к наложению фильтра. Увлечение торговлей или резкое начало может разбудить и спровоцировать Зверя.
- Adsense — распространенный в последнее время миф. Четких доказательств этому нет. У меня в эксперименте не подтверждалось. При плохом качестве контента возможно может служить фактором запускающим процесс.
Почему мой сайт попал под фильтр
Ну а теперь к моему личному опыту, с теорией мы закончили, пришла пора смотреть на работу АГС и мою борьбу ним на примере реального сайта, под ним оказавшегося.
По моим предположениям причин наложения санкций на DmitriyZhilin.ru несколько:
- Низкое качество контента
Я изредка публиковал там статьи, но чисто для создания видимости его жизни. В статьях не было картинок, из оформления только разбивка на абзацы, качество статей поверхностное (правда, уникальные и тематичные).
Одним словом, для живых людей интереса было мало.
- Плохая навигация
Так как вся функция сайта была в главной странице, на которой была подписка на рассылку, все остальные разделы были скрыты, и с главной страницы на них вела единственная ссылка.
Все статьи публиковались всего в 2 раздела – про бизнес и обзоры (продажные).
- Внешние ссылки
Так как сайт имел пузомерки (ТИЦ=20 и PR=2), я использовал его для монетизации – размещал статьи с вечными ссылками biznessystem.ru/miralinks/. Хотя ссылок на сайте было не много, но в процентном отношении к количеству страниц это было весомо.
Также на сайте висели баннеры со сквозными ссылками на мой основной блог и во многих статьях были ссылки на него же.
- Отсутствие оптимизации
Не было файла Robots.txt (для WordPress это чувствительно), соответственно, не были закрыты от индексации страницы с дублированным контентом. Не было указано главное зеркало сайта.
- Отсутствие title и description
Почти все страницы не имели заполненных метаданных title и description. Раньше я их продвигать не собирался, поэтому не занимался этим вопросом совсем.
Как я выводил сайт из под АГС
- Удаление внешних ссылок
Те, что были в моей власти (на свои сайты) я удалил сразу. С вечными ссылками с Миралинкса было сложнее, так как удалять их без согласования с оптимизаторами нельзя. Все убрать не получилось, но часть ушла. Сделал следующее:
- Проверил на работоспособность все ссылки. Часть оказались уже не рабочими – через администрацию биржи получил разрешение на их удаление.
- Написал всем оптимизаторам письмо со словами «Мой сайт под АГС, пользы вам никакой (может даже вред), разрешите снять статьи». Несколько рекламодателей дали добро, так я избавился еще от нескольких ссылок.
- Оформление контента
Постарался по максимуму привести в порядок существующие статьи – добавил к ним картинки. Сделал внутри маркированные списки, оснастил подзаголовками h2, h3.
Прописал всем статьям title и description.
Читайте также: Что такое паблик и как создать паблик Вконтакте?
В целом сделал все так как рекомендую в своем собственном посте «Как правильно писать статьи, чтобы нравиться Яндексу».
- Навигация сайта
Сделал профилирующие рубрики и все статьи разложил в соответствующие им разделы.
Заменил домашнюю страницу со статичной на стандартную для блога ленту записей.
В сайдбаре вывел списки рубрик и архивов, а также, последние записи.
Добавил страницу об авторе.
Добавил карту сайта с помощью плагина WP DS Blog Map.
- Внутренняя оптимизация
Создал robots.txt, назначил в нем главным зеркалом сайт без www, прописал путь к файлу sitemap.xml (карта сайта для поисковиков). Сделал все по правилам, как написано в моей статье «Правильный Robots.txt для WordPress».
С помощью плагина All in One SEO Pack закрыл от индексации все дублирующие разделы.
- Новые посты
Начал регулярно публиковать новые посты. Добавил около 20 статей среднего уровня. Не то что бы супер, но вполне достойны для обычного блога – с картинками, форматированием, перелинковкой и т.д.
- Новый дизайн
На блоге стоял бесплатный шаблон из каталога. Ничего страшного в этом нет, но я все же сменил одёжку на другой – сделанный в свое время программой Artister для другого моего сайта, но переставший там использоваться. Не думаю, что данный элемент сыграл какое-то решающее значение, но все же – упомянуть о нем надо.
- Письмо Платону
Примерно через месяц после начала «причесывания» сайта я написал через Яндекс Вебмастер письмо в поддержку поисковика. В письме описал все косяки сайта, из-за которых я думаю, что он попал под АГС. Написал обо всех исправлениях, которые я внес. Покаялся и пообещал, что впредь буду развивать проект на пользу людям. В конце попросил рассмотреть возможность снятия АГС фильтра, так как считаю, что снимается он вручную.
Результаты
Ответ от поддержки Яндекса пришел очень быстро, буквально через пару дней. Он был кратким, но приятным. Вот он:
Все санкции были сняты. ТИЦ вернулся сразу, а статьи начали добавляться в индекс с каждым новым апдейтом поисковой базы. На данный момент проиндексированы почти все записи и даже начал поступать кое-какой трафик.
Могу сказать одно – фильтр АГС совсем не так страшен, как о нем пишут на многих форумах и вывести из под него сайт не сложно. Достаточно сделать из говно-сайта сайт для людей.
Если вам нужны будут советы по какому-то конкретному проекту, то спрашивайте, я постараюсь помочь, благо опыт уже есть.
Как выйти из-под фильтра АГС. Пошаговая инструкция
Некоторые вебмастера воспринимают попадание веб-сайта под фильтры поисковых систем как приговор, не подлежащий обжалованию. Например, если сайт попал под АГС, у них обычно начинается паника, в результате которой совершаются необдуманные действия вроде срочного переезда на другой домен.
В результате ряда наблюдений и проведения восстановительных работ с веб-ресурсами, оказавшимися в подобной ситуации, было выявлено, что снять фильтр АГС вполне реально. Нужно лишь устранить причины, по которым был применен фильтр Яндекса АГС и вывод сайта из-под него произойдет автоматически. Причем это не просто ничем не подтвержденные домыслы. Об этом упоминается в официальном Яндекс-блоге для вебмастеров.
