Первый раз когда пришла мысль закрыть сайт от поисковика Яндекс, это когда он зачищал поляну от ссылочных бирж, якобы чтобы улучшить выдачу (как показало время, она стала только хуже, и это просто был предлог). Для этого доноров отправляли в бан с помощью алгоритмов АГС, а раз от сайта осталось только морда, то зачем этот Яндекс нужен? Оптимизаторы побежали снимать ссылки с сайтов, если стояли вечные ссылки, они за деньги просили вебмастеров их удалить.
Остановило только то, что не все ссылки были сняты, и подставлять оптимизаторов которые рискнули оставить их на твоём сайте не хотелось. Да, и Яндекс быстро снял все фильтры и пессимизацию, забрав всю поляну и доходы с неё себе, и тут же сняв все ограничения с вебмастеров.
А кормилось этим большое количества народа... как говорил один из основателей биржи ссылок, вот забанишь вебмастера за нарушение правил (один сайт в нескольких биржах), а им окажется какой-нибудь инвалид с Камчатки у которого это единственный доход. Яндекс с головной компанией холдинга зарегистрированной в Нидерландах такими категориями просто не мыслит, их интересует только прибыль.
Первая причина пессимизации уже самого Яндекса как качественного поисковика, это то, что он на все запросы, тупо выкидывает на морду сайта, если внизу страницы перейти на Google, то можно получить нормальную выдачу, случилось это по щелчку, вдруг на морду сайта количество переходов с 200 увеличилось до 5000.
Яндекс Вебмастер показывает, что в поиске 8315 страниц, т.е. причина отправки всех на морду сайта, не в том, что недостаточно страниц в поиске.
Как итог, видно, что Яндекс играет существенную роль в поставке посетителей на сайт. И Рейтинг Mail.ru показывает, что 93% просмотров всех запросов, приходится на морду сайта, откуда пользователи потом уходят с сайта, так и ничего не найдя.
Если мы выбераем вариант: Ещё с сайта, то Яндекс после каждого шага, будет просить нас подтвердить, что "я не робот", тем самым усложняя поиск искомой информации.
Второй момент, это снятие монетизации с сайта. 760 рублей зажали...
Оно произошло одновременно с блокировкой Яндекс Диска с формулировкой: Файл заблокирован за нарушение условий размещения пользовательского контента на сервисах Яндекса.
В форме обратной связи пишем вопрос: Можно узнать по какой причине сняли монетизацию с сайта? Хотя причина очевидна, по стуку какого-то правообладателя. Вот интересно какого? Или снова по темнику, как ранее было...
Спасибо! Ваше сообщение отправлено. Мы свяжемся с вами по результатам решения проблемы или для уточнения деталей.
Далее, пошли отписки, может вообще с роботом общался (как не странно это был не Платон):
Вынуждены сообщить, что мы не предоставляем дополнительную информацию по поводу отклонения. Пожалуйста, воспользуйтесь правилами и рекомендациями, ссылки на которые мы вам предоставляли ранее. Рекомендуем развивать ваш ресурс и повышать качество аудитории.
И вот снова из-за оставшихся ссылок с sape и не хотелось банить Яндекс, чтобы они не теряли свой вес:
В Яндексе вбиваем следующий запрос: как закрыть сайт от поиска Яндекс.
Выбираем вариант с robots.txt:
Также сайт побывал в бане и антивирусника Dr.Web (те ещё "санитары леса по темникам") и блокировался разными браузерами, как нежелательный для посещения (чем-то напоминает сегодняшние санкции в отношении России):
Сервисы от Яндекс, тоже оставляют желать лучшего, постоянные, не смогли перевести, сервис временно недоступен и т.д.
Дзен, даёт показов меньше 100, а те статьи которые надо показывать быстро, он их показывает когда они уже не совсем актуальны. Например, погоду за 5 мая, они покажут 7 мая, т.е. вышел апдейт v22.3, пока Дзен решался его показать, вышел быстрый баг-фикс апдейт v22.3.1. Хороша ложка к обеду, это не про Яндекс.
Про сравнение поиска Яндекса и Гугль, на конкретном примере и сайте:
Что изменилось? Также удалил все скрипты рекламы Яндекс Директ (пока Яндекс Метрику оставил, она на очереди). Закрыл в robots.txt и бот гугля (и убрал скрипты Google Adsense).
Одни сняли монетизацию по стуку, вторые по санкциям, и обе конторы зажали заработанное (пусть и копейки).
Итак, при вбивании запроса, Яндекс попрежнему выкидывает на морду сайта (а не на конкретный запрос), при попытке Появляется надпись под главной страницей: Владелец сайта предпочёл скрыть описание страницы. И дальше вот это:
В Яндекс Метрике уже началось уменьшение проиндексированных страниц. А также появилась надпись: Запрет в robots.txt (весь сайт). Значит документ создан правильно, просто процесс выкидывания сайта из индекса не мгновенный и займёт какое-то время:
На почту пришло письмо от Yandex.Webmaster со следующим содержанием: Не удалось загрузить главную страницу сайта www.efxi.ru. Здравствуйте, efxi.ru!
Главная страница сайта www.efxi.ru недоступна для робота: код ответа страницы «URL запрещён к индексированию в robots.txt». Это может привести к удалению страницы из результатов поиска и потере трафика вашего сайта.
Необходимо как можно скорее исправить ошибки, чтобы главная страница начала снова показываться в результатах поиска и вы не теряли трафик.
Перейдите в раздел диагностики, чтобы узнать обо всех известных Яндексу проблемах сайта.
Главная страница сайта недоступна для робота. При обращении к главной странице сайта не удалось получить документ: «N/aURL запрещён к индексированию в robots.txt». Поскольку страница недоступна для робота, она может быть исключена из результатов поиска.
Проверьте ответ сервера и при необходимости обратитесь к хостинг-провайдеру.
По итогу получаем следующий результат:
Счётчик Яндекс.Метрики не привязан к сайту. К сайту не привязан счётчик Яндекс.Метрики. Привязав счётчик Метрики к сайту в Вебмастере, вы сможете дополнительно сообщать роботу Яндекса о страницах, на которых установлен счётчик — тогда робот будет быстрее посещать их. Это повышает вероятность обхода роботом всех страниц, которые вы хотите показывать в результатах поиска.
Код Яндекс Метрики также был удалён за ненадобностью...
*Здравствуйте, юзер! Ваши права доступа к сайту www.efxi.ru в Яндекс.Вебмастере сброшены. Это значит, что в Вебмастере вы не можете управлять сайтом и просматривать информацию о нем.
Чтобы снова получить доступ к сайту, попросите владельца сайта делегировать вам права. Выдать права можно в разделе Права доступа.