Яндекс вебмастер некачественная страница. Недостаточно качественная страница поиск яндекс. Страницы, не предназначенные для поиска

Доброго дня, читатели . Я всегда получаю много вопросов от вебмастеров, владельцев сайтов и блогеров об ошибках и сообщениях, которые появляются в Яндекс.Вебмастер. Многих такие сообщения пугают.

Но, хочу сказать, не все сообщения бывают критичны для сайта. И в ближайших статьях я постараюсь максимально полно охватить все возможные вопросы, которые могут возникать у вебмастеров. В данной статье пойдет речь о разделах:

1. Диагностика — Диагностика сайта
2. Индексирование — Страницы в поиске

О том, и зачем он нужен, я писала ещё несколько назад. Если вы не знакомы с данным инструментом, ознакомьтесь сначала со статьей по ссылке.

Диагностика сайта

Возможные проблемы

1. В файле robots.txt не задана директива Host

Данное замечание Яндекс примечательно тем, что директива Host не является стандартизированной директивой, ее поддерживает только поисковая система Яндекс. Нужна она в том случае, если Яндекс неправильно определяет зеркало сайта.

Как правило, зеркало сайта определяется Яндексом автоматически на основе URL, которые формирует сама CMS, и на основе внешних ссылок, которые ведут на сайт. Чтобы указать главное зеркало сайта, не обязательно указывать это в файле robots.txt. Основной способ — использовать 301 редирект, который либо настроен автоматически в CMS, либо необходимый код вносится в файл.htachess.

Обращаю внимание, что указывать директиву в файле robots.txt нужно в тех случаях, когда Яндекс неправильно определяет главное зеркало сайта, и вы не можете повлиять на это никаким другим способом.

CMS, с которыми мне приходилось работать в последнее время, WordPress, Joomla, ModX, по умолчанию редиректят адрес с www на без, если в настройках системы указан адрес сайта без приставки. Уверена, все современные CMS обладают такой возможностью. Даже любимый мной Blogger правильно редиректит адрес блога, расположенного на собственном домене.

2. Отсутствуют мета-теги

Проблема не критичная, пугаться ее не нужно, но, если есть возможность, то лучше ее исправить, чем не обращать внимание. Если в вашей CMS по умолчанию не предусмотрено создание мета-тегов, то начните искать плагин, дополнение, расширение или как это называется в вашей CMS, чтобы иметь возможность вручную задавать описание страницы, либо, чтобы описание формировалось автоматически из первых слов статьи.

3. Нет используемых роботом файлов Sitemap

Конечно, лучше эту ошибку исправить. Но обратите внимание, что проблема может возникать и в тех случаях, когда файл sitemap.xml есть, так и в тех, когда его действительно нет. Если файл у вас есть, но Яндекс его не видит, просто перейдите в раздел Индексирование — Файлы Sitemap. И вручную добавьте файл в Яндекс.Вебмастер. Если такого файла у вас вообще нет, то в зависимости от используемой CMS, ищите варианты решения.

Файл sitemap.xml находится по адресу http://vash-domen.ru/sitemap.xml

4. Не найден файл robots.txt

Все же этот файл должен быть, и если у вас есть возможность его подключить, лучше это сделать. И обратите внимание на пункт с директивой Host.

Файл robots.txt находится по адресу http://vash-domen.ru/robots.txt

На этом фонтан ошибок на вкладке Диагностика сайта у меня иссяк.

Индексирование

Страницы в поиске

Начнем именно с этого пункта. Так будет легче структурировать информацию.

Выделяем в фильтре «Все страницы»
Опускаемся ниже, справа на странице «Скачать таблицу» Выбираем XLS и открываем файл в Excel.


Получаем список страниц, которые находятся в поиске, т.е. Яндекс о них знает, ранжирует, показывает пользователям.
Смотрим, сколько записей в таблице. У меня получилось 289 страниц.

А как понять, сколько должно быть? Каждый сайт уникален и только вы можете знать, сколько страниц вы опубликовали. Я покажу на примере своего блога на WordPress.
В блоге на момент написания статьи имеется:

• Записи — 228
• Страницы — 17
• Рубрики — 4
• Метки — 41
• + главная страница сайта

В сумме имеем 290 страниц, которые должны быть в индексе. В сравнении с данными таблицы разница всего в 1 страницу. Смело можно считать это очень хорошим показателем. Но и радоваться рано. Бывает так, что математически все совпадает, а начинаешь анализировать, появляются нестыковки.

Есть два пути, чтобы найти ту одну страницу, которой нет в поиске. Рассмотрим оба.

Способ первый. В той же таблице, которую я скачала, я разделила поиск на несколько этапов. Сначала отобрала страницы Рубрик. У меня всего 4 рубрики. Для оптимизации работы пользуйтесь текстовыми фильтрами в Excel.


Затем Метки, исключила из поиска Страницы, в результате в таблице остались одни статьи. И тут, сколько бы статей не было, придется просмотреть каждую, чтобы найти ту, которой нет в индексе.

Обращаю внимание, что в каждой CMS своя структура. У каждого вебмастера свои SEO , canonical, файла robots.txt.

Опять же, если на примере WordPress, обратите внимание, какие разделы сайта у вас индексируются, а какие закрыты. Здесь могут быть и страницы Архива по месяцам и годам, страницы Автора, пейджинг страниц. У меня все эти разделы закрыты настройками мета тега robots. У вас может быть иначе, поэтому считайте все, что у вас не запрещено для индексации.

Если взять для примера Blogger, то владельцам блогов нужно считать только опубликованные Сообщения, Страницы и главную. Все остальные страницы архивов и тегов закрыты для индексации настройками.

Способ второй. Возвращаемся в Вебмастер, в фильтре выбираем «Исключенные страницы».

Теперь мы получили список страниц, которые исключены из поиска. Список может быть большой, намного больше, чем со страницами, включенными в поиск. Не нужно бояться, что что-то не так с сайтом.

При написании статьи я пыталась работать в интерфейсе Вебмастера, но не получила желаемого функционала, возможно, это временное явление. Поэтому, как и в предыдущем варианте, буду работать с табличными данными, скачать таблицу можно также внизу страницы.

Опять же, на примере своего блога на WordPress я рассмотрю типичные причины исключения.

В полученной таблице нам в первую очередь важна колонка D — «httpCode». Кто не знает, что такое ответы сервера, прочитайте в википедии . Так вам будет легче понять дальнейший материал.

Начнем с кода 200. Если вы можете попасть на какую-то страницу в интернете без авторизации, то такая страница будет со статусом 200. Все такие страницы могут быть исключены из поиска по следующим причинам:

1. Запрещены мета тегом robots
2. Запрещены к индексации в файле robots.txt
3. Являются неканоническими, установлен мета тег canonical

Вы, как владелец сайта, должны знать, какие страницы какие настройки имеют. Поэтому разобраться в списке исключенных страниц должно быть не сложно.

Настраиваем фильтры, выбираем в колонке D — 200

Теперь нас интересует колонка E — «status», сортируем.

Статус BAD_QUALITY — Недостаточно качественная. Самый неприятный из всех статус. Давайте разберем его.

У меня в таблице оказалось всего 8 URL со статусом Недостаточно качественная. Я их пронумеровала в правой колонке.

URL 1, 5, 7 — Страницы фида, 2,3,4,5,8 — служебные страницы в директории сайта wp-json. Все эти страницы не являются HTML документами и в принципе не должны быть в этом списке.

Поэтому внимательно просмотрите свой список страниц и выделите только HTML страницы.

Статус META_NO_INDEX. Из индекса исключены страницы пейджинга, страница автора, из-за настроек мета тега robots

Но есть в этом списке страница, которой не должно быть. Я выделила url голубым цветом.

Статус NOT_CANONICAL. Название говорит само за себя. Неканоническая страница. На любую страницу сайта можно установить мета тег canonical, в котором указать канонический URL.

Сначала я испугался, потому что у меня удаляли по 50-100 таких страниц. Но, потом разобрался и успокоился. Оказывается, Яндекс внедрил в систему поиска новый алгоритм, который автоматически удаляет из поиска не релевантные страницы.

Но, опять же, здесь не стоит бояться. Яндекс удаляет такие страницы лишь временно. Пример, если вы написали статью, а в поиске нет на неё запросов, то есть никто не ищет информацию, которая представлена в статье, то данная статья будет временно удалена из поиска. Если в поиске появятся запросы соответствующие вашей статье, то она автоматически будет добавлена в поиск.

Вам ни в коем случае нельзя удалять такие страницы с вашего сайта!!! Если вы заметили в Яндекс Вебмастере страницы с пометкой «Недостаточно качественные», не пугайтесь и не бойтесь, всё нормально! Данные страницы так же важны как и все остальные, они могут появится в поиске в любой момент!!!

Как узнать есть ли у вас Недостаточно качественные страницы?

Зайдите на свою страницу в сервисе Яндекс Вебмастер. На главной странице, обратите внимание, в разделе «Обновления поиска» , у вас могут отображаться количество удалённых и добавленных страниц. Это как раз те страницы, которые автоматически удаляются и добавляются в поиск по специальному, новому алгоритму.

Далее, внизу данной страницы, у вас могут отображаться URL адреса помеченные синим цветом и под которыми отображается уведомление «Недостаточно качественная» . Нажмите на знак троеточие рядом с таким уведомлением.

Вам покажут пояснение — «Страница исключена из поиска в результате работы специального алгоритма. Если в будущем алгоритм сочтёт страницу достаточно релевантной запросам пользователей, она появится в поиске автоматически» .

Вот и всё ! Как я уже сказал ранее, не стоит пугаться и бояться! Внимательно читайте пояснения! Продолжайте писать статьи и главное старайтесь помочь своему читателю, чтобы уходя с вашего сайта, он не раз ещё на него вернулся!

Как заблокировать автоматический трафик в поиске Яндекс!!!

Новый Вебмастер Яндекса позволяет найти проблемы на сайте и исправить недочёты, мешающие ранжированию – это факт медицинский. Для этого Яша предложил на праздничный стол набор интересных инструментов, многих из которых не было на старом сервисе. Предлагаю обзор возможностей Вебмастера для стимулирования хорошего настроения.

Обзор инструментов

Инструменты нового Вебмастера разбиты по блокам, каждый из них открывается на вкладки. Вот основные пункты меню:

1. - Диагностика,
2. - Поисковые запросы,
3. - Индексирование,
4. - Настройка индексирования,
5. - Инструменты.

Последний пункт «Права доступа» – это не гармошка, этот пункт не матрёшка, он не открывается. Как подсказывает интуиция, в каждом блоке находятся инструменты для решения узкоспециализированных задач, например, в блоке «Поисковые запросы» можно узнать всё о запросах пользователей, которые переходили на сайт, показах.

Диагностика

Первый пункт меню «Диагностика», в нём два пункта:

1. - Диагностика сайта,
2. - Безопасность и нарушения.

В первом пункте узнают о проблемах на сайте, например, недоступности страниц. Обновляется страничка со скрипом, как работает дизель в Заполярье, поэтому надеяться, что в ней оперативно отобразятся все проблемы не стоит, но иногда она приходит на помощь.

На странице «Безопасность и нарушения» отображаются проблемы с безопасностью сайта и некоторые нарушения. Тут можно увидеть информацию о вирусах, санкциях и прочих косяках. Также отображается не всё – например, неявный текстовой спам не показывают, а АГС отображают.

Поисковые запросы

Здесь два пункта:

1. - Статистика,
2. - Последние запросы.

В «Статистике» указываются запросы сайта за определённый период, а также запросы из топ-3-10-50. Для веб-мастера видны показы, клики и CTR запросов. Если CTR низкий, то стоит подумать об изменении сниппета или фавиконки, ибо что-то отпугивает пользователя в выдаче от активных действий в отношении сайта. Для справки – CTR топ-3 всегда выше, так как пользователи ещё не задолбались искать ответы в недрах выдачи. Если CTR меньше 2%, то беда, для топ-10 нормальный показатель от 3%.

Запросы можно отсортировать по группам, показателям и региону.

Страница «Последние запросы» то же самое, но в отношении последних действий пользователя в выдаче. Для веб-мастера последние запросы по показам, кликам и CTR + добавлена средняя позиция по запросу.

Тут также доступна сортировка, можно добавить фильтр или сгруппировать запросы.

Индексирование

Более массивный пункт «Индексирование», в нём находятся инструменты:

1. - Статистика,
2. - Структура сайта,
3. - Проверка URL,
4. - Внутренние и внешние ссылки.

На странице статистики указаны загруженные и исключённые web-документы, а также страницы в поиске. Отдельно настраивается показ по ошибкам кодов HTTP и запрещённым к индексированию роботом страницам.

В нижней части статистика последних обходов ботом, там виден url документа, статус HTTP и дата визита робота.

Полезный пункт «Страницы в поиске», ведь там можно увидеть не только банальщину, но и найти ценную информацию. Инструмент показывает количество добавленных и исключённых страниц, сортировка доступна по последним изменениям и всем страницам. Что тут полезного для ослабленной нервной системы веб-мастера? Инструмент показывает статус исключённых страниц, не HTTP статус, а причину исключения.

Две основные причины исключения из поиска – дубли и «недостаточно качественная страница». Если количество исключённых страниц (кроме специально удалённых через 404) велико, то ждите ухудшения ранжирования сайта. Пользуйтесь этим инструментом, смотрите причину удаления страниц и устраняйте её для собственного блага. Сделать это несложно – смотрите причину, переходите на страницу и придавайте её человекообразный вид, после чего отправляйте документ для переиндексации. Проверено – работает и помогает выходить из фильтров и не попадать под санкции.

Инструмент «Структура сайта» прост, но полезен. В нём видна структура сайта и указано количество загруженных и проиндексированных страниц в каждом разделе и категории. Стремитесь приблизить второй значение к первой цифре, для чего удаляйте и закрывайте в robots дубли и мусор.

Инструмент «Проверка URL» позволяет проверить любую страницу сайта на индексацию. Ничего оригинального. Добавили URL, проверили его, нажали «готово» и увидели в индексе или нет + статус HTTP

Более интересны инструменты «Внутренние и внешние ссылки», хотя и непонятно, зачем их засунули в раздел «Индексация».

C помощью инструмента «Внутренние ссылки» легко увидеть битые беки на внутренних страницах с указанием, где расположена ссылка и на какую страницу она ведёт. Вычищайте всё в ноль и будет счастье – никакие сторонние сервисы не нужны – найти все битые ссылки поможет Вебмастер.

1. - Текущим и удалённым ссылкам,
2. - Группировке по сайтам,
3. - Неработающим бекам.

Вверху указано общее число внешних ссылок на сайт и доменов, с которых на вас ссылаются. Внизу детальная информация:

1. - Адрес донора,
2. - тИЦ ссылающегося сайта,
3. - Страница акцептора,
4. - Дата обновления информации.

Информация обновляется после ссылочных апдейтов.

Настройка индексирования

Здесь нашлось место инструментам:

1. - Файлы Sitemap,
2. - Переезд сайта,
3. - Региональность,
4. - Регистр имён сайта,
5. - Быстрые ссылки,
6. - Оригинальные тексты,
7. - Товары и цены.

В инструменте Sitemap видны используемые карты сайта, тут же добавляют Sitemap в формате xml.

Во вкладке «Переезд сайта» добавляют для домена www и HTTPS, а в инструменте «Региональность» видны регионы сайта по ЯК, Яндекс Справочнику и Вебмастеру. В последнем пункте можно указать регион, но его надо подтвердить страницей, в которой есть информация о региональности.

Следующие три пункта понятны и школьнику, а инструмент «Товары и цены» пригодится интернет-магазину. Для этого соглашаются с условиями и подключают YML-файлы. Сюда лазать без программиста не рекомендую – чревато нервами и клизмами.

Инструменты

Здесь, как и следует из названия, представлены технические инструменты Вебмастера Яндекс. Для владельца веб-сайта или оптимизатора:

1. - Анализ Sitemap и Robots,
2. - Ответы сервера,
3. - Удаление URL,
4. - Проверка мобильной адаптивности страниц,
5. - Переобход,
6. - Микроразметка,
7. - Валидатор XML.

Тут всё понятно интуитивно, особое внимание советую уделить инструменту «Проверка мобильных страниц», так как она работает несколько иначе, чем проверка адаптивности Google. Если продвигаетесь под Яндекс и имеете большой процент мобильной аудитории, то проблем с отображением страниц на планшетах и смартфонах быть не должно.

Последний пункт «Права доступа» позволяет делегировать кому-либо права доступа для просмотра статистики через свою панель Вебмастера. Укажите логин в Яндексе своего оптимизатора и делегируйте ему права.

Яндекс стремится находить ответ на запрос пользователя, предоставляя на странице результатов информацию и ссылки на нее в интернете. Мы создали и развиваем поиск , исходя из нашего понимания, что нужно пользователям, и какая информация является ценной.

Поэтому следование рекомендациям, приведенным ниже, поможет в индексировании и лучшем ранжировании вашего сайта, в то время как применение обманных техник может привести к понижению его позиций или исключению его из поиска .

Основные принципы

Создавайте сайты с оригинальным контентом или сервисом. Реклама не является той ценностью, ради которой пользователи приходят на сайт.

Думайте о пользователях, а не о поисковых системах. Стали бы вы создавать сайт, страницу или ее элемент, если бы не существовало поисковиков? Приходят ли пользователи на ваш сайт или интернет-магазин не только из поисковых систем?

Тщательно продумайте дизайн - он должен помогать посетителям увидеть главную информацию , ради которой сайт создан.

Будьте честны. Привлечь пользователей по запросам, на которые ваш сайт не может достойно ответить, не значит удержать их. Думайте о том, что пользователь получит, придя на ваш сайт .

Примеры к принципам

Если в этом разделе не описан какой-то прием, помогающий искусственно повлиять на ранжирование сайта в Яндексе, это не значит, что мы его приветствуем. Следуйте здравому смыслу и выше описанным принципам.

Мы стараемся не индексировать или не ранжировать высоко:

• Сайты, которые вводят в заблуждение посетителей: при скачивании какого-либо файла (аудио, видео, торрент-файл и пр.) загружается посторонняя программа. Или посторонняя программа размещается под видом популярного приложения и т. д. Примером такого нарушения являются так называемые программы-обертки .
• Сайты, использующие устройства посетителей для майнинга криптовалют .

Сайты, копирующие или переписывающие информацию с других ресурсов и не создающие оригинальный контент.

• Сайты, копирующие или переписывающие информацию с других ресурсов, с низкокачественным автоматическим переводом контента на другой язык, не создающие оригинальный контент.

Страницы и сайты, единственной целью которых является перенаправление посетителя на другой ресурс, автоматически («редирект» ) или добровольно.

Автоматически сгенерированный (бессмысленный) текст.

Сайты с каталогами (статей, программ, предприятий и т. п.), если они являются только агрегаторами контента, не создают тексты и описания самостоятельно и не предоставляют никакого уникального сервиса.

Страницы с невидимым или слабовидимым текстом или ссылками .

Сайты, отдающие разный контент посетителям и роботам поисковых систем («клоакинг» ),

Сайты, предоставляющие товары или информацию по партнерским программам, но не представляющие никакой ценности для посетителя.

Сайты, использующие обманные техники (например, вредоносный код , опасные для посетителей сайта настройки CMS и серверов, вирусы в партнерских программах , вредоносные мобильные редиректы), перенаправляющие посетителей на сторонние ресурсы или меняющие окно результатов поиска на страницы других ресурсов при переходе из поисковых систем.

Сайты, пытающиеся повлиять на поисковую систему путем имитации действий посетителей .

Сайты, основным предназначением которых является агрессивная демонстрация рекламных материалов (в том числе popup, popunder , clickunder).

Есть интернет-магазин с огромным ассортиментом (более 4 млн наименований). Когда зарегистрировал его в Яндекс.Вебмастере, обнаружил, что часть страниц (довольно значительная) удалена из поиска Яндекса за то, что они недостаточно качественные. Это страницы разных товаров, которые отличаются только одной цифрой.
Когда проверил ТОП, увидел, что точно такие же страницы на похожих сайтах спокойно находятся в индексе. То есть там тоже сайты, на которых полно однотипных товаров. Но они тоже ведь не отличаются никак. Только одна цифра в Title и описании.

Что можно сделать? Забить, потому что все равно все страницы не могут быть в индексе или как-то попытаться улучшить страницы с точки зрения Яндекса? Не знаю как, ведь в ТОПе то же самое. Минимальное описание и даже такие же фотографии.

Привет. Сделай хоть понятливый пример. Думаю все проблема заключается вот в этом "Это страницы разных товаров, которые отличаются только одной цифрой."

Привет! Яндекс удаляет из поиска страницы с вот такими Тайтлами: 1. Купить Porsche 955.044.80018 Пакет декоративный:: Porsche 2. Купить Porsche 955.044.80053 Пакет декоративный:: Porsche Cayenne Cayenne Обе страницы отличаются только заголовками H1 и Ttile. И то только на одну цифру. Обе эти страницы Яндекс пометил "Недостаточно качественная". Хотя в ТОПе есть точно такие же страницы. Там тоже минимальные характеристики и картинка такая же. Как решить ситуацию? Добавить текста?

Я кажись понял тебя. Возможно разочарую тебя.

Такие сайты импортируют автоматом и создают страницы, которые попадают под малый фильтр. На данный момент алгоритм Яндекса не настолько хорош, ну улучшается каждый год. У таких сайтов нет будущего. Проблема тут в автоматизации и легком импорте. Поисковый Алгоритм не может решить, какую из этих "страницу" оставить, а какую убрать. Так как каждая имеет практически одно и то же. Если рассматривать историю Гугля , то Яндекс идет по той же дорожке. В концовке твой Сайт с этим миллионами страницами попадет когда-то под сильный фильтр и произойдет одно: полная индексация твоего сайта.

Что ты можешь сделать? Тебе нужно создавать уникальные страницы, которые отличаются качеством, от твоих конкурентов, а не количеством страниц! Тебе нужно менять каждую страницу (Тайтел, Мета описание и другой пермалинк ставить) или надеяться на лучшее. Изучи основы SEO.
К сожалению тут нечего посоветовать, насчет SEO, так как концепт импорта построен на быстром заработке и спаме. Он не существен. Извини.

Это интернет-магазин. Тут большой ассортимент, поэтому много страниц. Причем здесь отличаться качеством, а не количеством? Если у конкурентов меньше товаров, у них меньше страниц. Причем здесь быстрый заработок и спам? Страницы похожие, но разные, потому товары почти не отличаются. Как это вообще относится к спаму? У сайта такая же структура, как и у тысяч подобных страниц. Есть все необходимое для пользователя: характеристики, цена, короткое описание. А как тогда по-твоему зарабатывают остальные, которые знают основы SEO? Вручную заполняют каждую карточку? Не смеши. Спасибо за то, что продемонстрировал тут свои "глубокие познания", но никак не помог мне.

И в чем твоё качество заключается, если у тебя миллион страниц, которые выглядят как дубликат других страниц для поисковой системе. Вот что я хотел сказать! Значит в этом проблема. Откуда у тебя Тайтел, Мета описание, описание товара и пермалинк структура для товаров? Ты хочешь сказать, что ты в ручную все миллионы продукты вставлял? Я тебе хотел объяснить, что импортирование и количество товаров к ничему хорошему не приведет. Что другие делают, это не важно..
"Вручную заполняют каждую карточку?"
Да, или дают людям заполнять и они по запросам покупателя решают, какие товары важны, а какие нет.
Я написал сверху, что тебе не понравится. (Имел виду сверху *де-индексация)