Новая проблема в вебмастере

Это письмо из вебмастера:

На вашем сайте https://artkey.su некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Например, https://example.com/tovary?from=mainpage дублирует https://example.com/tovary. Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.

Вот примеры страниц и дублирующих их страниц с незначащими GET-параметрами:

Если эти страницы действительно являются дублями, рекомендуем использовать директиву Clean-param в robots.txt, чтобы робот игнорировал незначащие GET-параметры и объединил все сигналы со страниц-копий на основной странице.

Это из вебмастера:

Примеры страниц, которые содержат одинаковый контент и различаются только GET-параметрами в URL


Подскажите как решить эту проблему, или нужно воспользоваться рекомендацией яндекса и воткнуть в robots строку:
Clean-param: keywords /advanced_search_result.php
Честно говоря я не понимаю как ее грамотно написать

Добрый день.

В файле robots.txt

Допишите внизу

Clean-param: layout
Clean-param: sort
Clean-param: direction

1 симпатия

Спасибо, большое. А можно узнать причину? И почему это случилось

Как бы дубли они и в Африке дубли.
Чтоб их не было поисковик придумал как их клеить.

У него в индексе оказались несколько страниц с одинаковым содержанием и отличающимся get параметром в url.
Чтоб самому не искать нужную страницу, он попросил вас отчистить параметры так чтобы в индексе оставить одну страницу без гет параметра layout.

Я понимаю это так.

1 симпатия

Спасибо, за ответ. То есть , по хорошему лучше сразу на все сайты добавить этот параметр в robots.txt ?

Верно.