Дубли фильтров и что с ними делать

В яндекс вебмастер появился новый раздел Заголовки и описания и оказалось, что робот проиндексировал очень много урл фильтров, которые имеют различный набор параметров и, соответственно, различные урл, но открывается по ним одна и та же выборка с одинаковыми заголовками и описаниями, например:

Туники - размеры: Полуобхват 79 см — 7 таких заголовков:

/products_filter.php?f42[23]=Полуобхват 79 см&type=filter&cat=79&cPath=41_52_53_79
/products_filter.php?f42[23]=Полуобхват+79+см&cat=79&cPath=41_52_53_79
/products_filter.php?f42[22]=Полуобхват+79+см&cat=79&cPath=41_52_53_79
/products_filter.php?f42[24]=Полуобхват+79+см&type=filter&cat=79&cPath=41_52_53_79
/products_filter.php?f42[24]=Полуобхват+79+см&cat=79&cPath=41_52_53_79
/products_filter.php?f42[22]=Полуобхват+79+см&type=filter&cat=79&cPath=41_52_53_79
/products_filter.php?f42[25]=Полуобхват+79+см&cat=79&cPath=41_52_53_79

По всем этим урл открывается одна и та же выборка и непонятно, как лучше и правильнее устранить эти дубли- варианты:

  1. Запретить индексацию 6 из 7 урл в robots.txt и отправить их на удаление из поиска, но непонятно какой из этих урл является основным и его следует оставить в поиске. Также возможно, что в дальнейшем могут появляться новые дубли с новыми наборами пареметров

  2. Попробовать объеденить все 7 урл фильтров назначив им один и тот же seoфильтр - туники с полуобхватом 79 см, с одинаковым урл для всех

  3. Другой вариант?

Также в поиске появились дубли заглавной страницы с какими-то другими доменами и параметрами после знака вопроса, причем яндекс отклоняет их удаление из поиска:

Заявки на удаление

Адрес страницы Статус Заявка отправлена
/?100try.com Отклонено 19.05.2021 20:06
/?ref=xranks Отклонено 19.05.2021 20:06
/index.php?products_id=1244 Отклонено 19.05.2021 20:06
/?gtm_debug=x Отклонено 19.05.2021 20:06
/?order_id= Отклонено 19.05.2021 20:06
/?b Отклонено 19.05.2021 20:06

Вообще возможны ли в шаблоне “нужные” страницы с ? сразу после домена или только мусор? Если только мусор, то тогда можно запретить Disallow: /?*

Кроме первого фильтра у остальных в параметрах присутствует знак +
Если задать в robots.txt правило Disallow: /*+* , то не запретим ли мы этим и какие-то нужные урл с этим знаком?

Вот еще вариант дублей- если я верно понял, то эти дубли возникают из-за разных последовательностей их нажатия при построении выборки:

Ципао - возраст: Взрослый - пол: Женский - длина: Миди — 6 таких заголовков Дата обхода
/products_filter.php?f36[0]=Взрослый&f37[0]=Женский&f78[1]=Миди&cat=87&cPath=41_44_51_87 23.03.2021
/products_filter.php?f78[1]=Миди&type=filter&f36[0]=Взрослый&f37[0]=Женский&cat=87&cPath=41_44_51_87 13.03.2021
/products_filter.php?f78[1]=Миди&type=filter&f37[0]=Женский&f36[0]=Взрослый&cat=87&cPath=41_44_51_87 03.03.2021
/products_filter.php?f36[0]=Взрослый&type=filter&f78[1]=Миди&f37[0]=Женский&cat=87&cPath=41_44_51_87 10.12.2020
/products_filter.php?f37[0]=Женский&type=filter&f36[0]=Взрослый&f78[1]=Миди&cat=87&cPath=41_44_51_87 23.10.2020
/products_filter.php?f78[1]=Миди&f36[0]=Взрослый&f37[0]=Женский&cat=87&cPath=41_44_51_87 13.09.2020

Что с ними делать?

Прогнал сайт через Screaming Frog- 88% дубликатов по H1 (((, в том числе и такие:

.html?layout=short
.html?layout=grid
.html?layout=list

Какие два из них лучше закрыть от индексации?
Наверное лучше оставить layout=list, так там описание присутствует.

Добавил в robots.txt такие конструкции:

Disallow: /index.php?*
Disallow: /?*
Disallow: /*layout=short
Disallow: /*layout=grid

Но при проверке в robots.txt выдает, что /tuniki.html?cat=79&cPath=41_52_53_79&layout=list уже закрыт от индексации конструкцией *html?*, хотя я такой конструкции найти не могу в robots.txt- что это может быть?

По поводу фильтров думаю делать на один из дублей seo фильтр, а другие дубли редеректить на него по 301- как такое решение?

Владельцы сайтов можете сообщить много ли у вас дублей в разделе Яндекс Вебмастера Заголовки и описания и как вы решаете проблему с ними? Заранее спасибо.

Добрый день, думаю нужно написать в тп Яндекса вопрос, интересно что они скажут.

Лично я думаю что это не является проблемой потому что на всех страницах .html
есть тег canonical который и указывает поисковым системам какую страницу нужно индексировать.

Страницы фильтров я бы вообще запретил, а так нужно смотреть какой трафик идет на них.

1 лайк

По низкочастотным запросам есть посещения на фильтры, но не получается склеить дубли 301-м редиректом, да и много их- тысячи, вручную год просклеиваешь

Пробовал прописать 301 редирект вот таким образом, Redirect 301 /products_filter.php?f43[0]=&cat=72&cPath=41_52_72 https://best-shop.su/brjuki-zhenskie.html но сайт перестает открываться

А если запрещать через Disallow: , то, как пишут, только яндекс удалит страницы, в гугле же все равно останутся

Жаль, что seo фильтры не позволяют назначить фильтрам с разными параметрами один и тот же урл

И было бы здорово если бы урл не менялся при смене вида директории на list, grid, short или же можно было сделать list каноническим

Сео фильтры устроены так что не имеет значения порядок параметров.
А вот если параметры разные то это уже другая страница.

Это не нужно, кононический без параметров.