Помощь "Левые" редиректы и исключение основных страниц из поиска! Помогите пожалуйста - сайт валится :(((

[lightman555]

Здравствуйте!

Столкнулся сегодня с тем, что Яндекс исключает "хорошие" страницы из поиска с маркировкой ДУБЛЬ и подменяет на какие то левые и мало известные страницы - вернее вообще не понятно откуда взявшиеся страницы так как у меня их не было.
Ранее такого не было вообще.
Это что то новенькое!
Помогите пожалуйста разобраться!!!!!!!!!!!!!!!!!!!!!!!!
Думал возможно не верные правила в nginx и проверил другой сайт на php - результат один и тот же выдает что такие страницы есть - но откуда они взялись и почему ранее не были обнаружены?

Вот что пишет Яндекс:
Изменился статус в поиске у важных страниц:

Для просмотра ссылки Войди или Зарегистрируйся
Старый статус: В поиске
Новый статус: Дубль

Страница дублирует уже представленную в поиске страницу Для просмотра ссылки Войди или Зарегистрируйся. Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel="canonical".

Перейдите в раздел «Мониторинг важных страниц», чтобы увидеть историю изменений.

С уважением, роботы Яндекс.Вебмастера


/manufacturers
Title: Фабрики - производители светильников и люстр в интернет-магазине «ЛЮСТРАВИК»
Description: Список Европейских, Российских и Китайских фабрик - производителей осветительных приборов - в том числе и люстр, бра, торшеров, настольных ламп и других светильников. Российские сертификаты качества. Гарантия производителя. Интернет-магазин «ЛЮСТРАВИК»
07.04.2020 200 02.04.2020
Дубль
Страница дублирует уже представленную в поиске страницу Для просмотра ссылки Войди или Зарегистрируйся. Укажите роботу предпочтительный адрес с помощью 301 редиректа или атрибута rel="canonical".
---------
Левые какие то страницы и первый раз их вижу
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся

Но они почему то есть
И самое интересное - другие пока страницы не затронуты - только те по которым были хорошие позиции в поисковой выдаче!

 

[lightman555]

то есть есть какая то левая страница которая ссылается на оригинал
Для просмотра ссылки Войди или Зарегистрируйся.
ссылается на Для просмотра ссылки Войди или Зарегистрируйся

и тоже самое:
Для просмотра ссылки Войди или Зарегистрируйся
на
Для просмотра ссылки Войди или Зарегистрируйся

и самое интересное что если листать страницы
то тоже будут выдаваться результаты как с блоком ?block=premium.1 так и без него
а что это за блок я не знаю - первый раз вижу его работу

то есть должно быть так - это штатное представление товара
Для просмотра ссылки Войди или Зарегистрируйся

а в результате может выдавать и так
Для просмотра ссылки Войди или Зарегистрируйся
- это не верно
и так тоже выдаваться может
Для просмотра ссылки Войди или Зарегистрируйся

 

[Noxikus]

Настройте на все важные страницы категорий/витрин линки canonical в таком формате:

<link rel="canonical" class="canonical" href="Для просмотра ссылки Войди или Зарегистрируйся">

чтобы такой линк присутствовал на всех страницах такого типа:
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся

и по такой логике все страницы, тогда таких проблем не будет.

Хотя, иногда Яндекс сбоит и по их техническим ошибкам бывают подобные сбои, но обычно они про это сами сообщают и там все быстро возвращается в прежний вид.

 

[lightman555]

Настройте на все важные страницы категорий/витрин линки canonical в таком формате:

<link rel="canonical" class="canonical" href="Для просмотра ссылки Войди или Зарегистрируйся">

чтобы такой линк присутствовал на всех страницах такого типа:
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся

и по такой логике все страницы, тогда таких проблем не будет.

Хотя, иногда Яндекс сбоит и по их техническим ошибкам бывают подобные сбои, но обычно они про это сами сообщают и там все быстро возвращается в прежний вид.

Я тут попытался разобраться.
Дело все в правилах - которые видимо не корректно настроены - знать бы еще как правильно

если касательно страницы
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся.
Для просмотра ссылки Войди или Зарегистрируйся
то для CMS это одно и тоже и по хорошему либо должно выдавать ошибка 404 по первым 2-м запросам (что наверное правильно)

либо переадресовывать на Для просмотра ссылки Войди или Зарегистрируйся
как это сделать к сожалению не знаю
скорее всего здесь в правилах это прописывается:
rewrite ^/([0-9]+)\-[a-zA-Z0-9-]*(/[a-zA-Z0-9-]*)+ /category.php?id_category=$1 last;
rewrite ^/([0-9]+)\-[a-zA-Z0-9-]* /category.php?id_category=$1 last;
rewrite ^/([0-9]+)__([a-zA-Z0-9-]*) /supplier.php?id_supplier=$1 last;
rewrite ^/([0-9]+)_([a-zA-Z0-9-]*) /manufacturer.php?id_manufacturer=$1 last;
rewrite ^/content/([0-9]+)\-([a-zA-Z0-9-]*) /cms.php?id_cms=$1 last;
rewrite ^/content/category/([0-9]+)\-([a-zA-Z0-9-]*) /cms.php?id_cms_category=$1 last;

еще бы понимать в этом
а вот по второму моменту сложнее
и как сделать чтобы запрос был "четким",

Как можно поставить редирект 301 для вот этих страниц?
Для просмотра ссылки Войди или Зарегистрируйся
на
Для просмотра ссылки Войди или Зарегистрируйся

и так же
Для просмотра ссылки Войди или Зарегистрируйся

на Для просмотра ссылки Войди или Зарегистрируйся

У меня преста 1.4 версии - не так давно перешел на на нгнимакс и правила в нем прописаны вот такие
фал ps14.conf:
rewrite ^/([a-z0-9]+)\-([a-z0-9]+)(\-[_a-zA-Z0-9-]*)/[_a-zA-Z0-9-]*\.jpg$ /img/p/$1-$2$3.jpg last;
rewrite ^/([0-9]+)\-([0-9]+)/[_a-zA-Z0-9-]*\.jpg$ /img/p/$1-$2.jpg last;
rewrite ^/([0-9])(\-[_a-zA-Z0-9-]*)?/[_a-zA-Z0-9-]*\.jpg$ /img/p/$1/$1$2.jpg last;
rewrite ^/([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?/[_a-zA-Z0-9-]*\.jpg$ /img/p/$1/$2/$1$2$3.jpg last;
rewrite ^/([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?/[_a-zA-Z0-9-]*\.jpg$ /img/p/$1/$2/$3/$1$2$3$4.jpg last;
rewrite ^/([0-9])([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?/[_a-zA-Z0-9-]*\.jpg$ /img/p/$1/$2/$3/$4/$1$2$3$4$5.jpg last;
rewrite ^/([0-9])([0-9])([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?/[_a-zA-Z0-9-]*\.jpg$ /img/p/$1/$2/$3/$4/$5/$1$2$3$4$5$6.jpg last;
rewrite ^/([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?/[_a-zA-Z0-9-]*\.jpg$ /img/p/$1/$2/$3/$4/$5/$6/$1$2$3$4$5$6$7.jpg last;
rewrite ^/([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?/[_a-zA-Z0-9-]*\.jpg$ /img/p/$1/$2/$3/$4/$5/$6/$7/$1$2$3$4$5$6$7$8.jpg last;
rewrite ^/([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])([0-9])(\-[_a-zA-Z0-9-]*)?/[_a-zA-Z0-9-]*\.jpg$ /img/p/$1/$2/$3/$4/$5/$6/$7/$8/$1$2$3$4$5$6$7$8$9.jpg last;
rewrite ^/c/([0-9]+)(\-[_a-zA-Z0-9-]*)/[_a-zA-Z0-9-]*\.jpg$ /img/c/$1$2.jpg last;
rewrite ^/c/([a-zA-Z-]+)/[a-zA-Z0-9-]+\.jpg$ /img/c/$1.jpg last;
rewrite ^/c/([0-9]+)/[a-zA-Z0-9-]+\.jpg$ /img/c/$1.jpg last;
rewrite ^/([0-9]+)(\-[_a-zA-Z0-9-]*)/[_a-zA-Z0-9-]*\.jpg$ /img/c/$1$2.jpg last;
rewrite ^/([0-9]+)\-[a-zA-Z0-9-]*\.html /product.php?id_product=$1 last;
rewrite ^/[a-zA-Z0-9-]*/([0-9]+)\-[a-zA-Z0-9-]*\.html /product.php?id_product=$1 last;
rewrite ^/([0-9]+)\-[a-zA-Z0-9-]*(/[a-zA-Z0-9-]*)+ /category.php?id_category=$1 last;
rewrite ^/([0-9]+)\-[a-zA-Z0-9-]* /category.php?id_category=$1 last;
rewrite ^/([0-9]+)__([a-zA-Z0-9-]*) /supplier.php?id_supplier=$1 last;
rewrite ^/([0-9]+)_([a-zA-Z0-9-]*) /manufacturer.php?id_manufacturer=$1 last;
rewrite ^/content/([0-9]+)\-([a-zA-Z0-9-]*) /cms.php?id_cms=$1 last;
rewrite ^/content/category/([0-9]+)\-([a-zA-Z0-9-]*) /cms.php?id_cms_category=$1 last;
rewrite ^/page-not-found$ /404.php last;
rewrite ^/address$ /address.php last;
rewrite ^/addresses$ /addresses.php last;
rewrite ^/authentication$ /authentication.php last;
rewrite ^/best-sales$ /best-sales.php last;
rewrite ^/cart$ /cart.php last;
rewrite ^/contacts$ /contact-form.php last;
rewrite ^/discount$ /discount.php last;
rewrite ^/guest-tracking$ /guest-tracking.php last;
rewrite ^/order-history$ /history.php last;
rewrite ^/identity$ /identity.php last;
rewrite ^/manufacturers$ /manufacturer.php last;
rewrite ^/my-account$ /my-account.php last;
rewrite ^/new-products$ /new-products.php last;
rewrite ^/order$ /order.php last;
rewrite ^/order-follow$ /order-follow.php last;
rewrite ^/quick-order$ /order-opc.php last;
rewrite ^/order-slip$ /order-slip.php last;
rewrite ^/password-recovery$ /password.php last;
rewrite ^/prices-drop$ /prices-drop.php last;
rewrite ^/search$ /search.php last;
rewrite ^/sitemap$ /sitemap.php last;
rewrite ^/stores$ /stores.php last;
rewrite ^/supplier$ /supplier.php last;
rewrite ^/registraciya$ /register.php last;
rewrite ^/feedback$ /feedback.php last;
rewrite ^/imgs/([a-zA-Z0-9\/-_.]+)$ /get.php?src=$1 last;

rewrite ^/blog/$ /modules/newscore/news.php last;
rewrite ^/blog/entry/([0-9]+)-([a-zA-Z0-9-]*).html(.*)$ /modules/newscore/news.php?id_entry=$1 last;
rewrite ^/blog/category/([0-9]+)-([a-zA-Z0-9-]*).html(.*)$ /modules/newscore/news.php?category_id=$1 last;
rewrite ^/blog/category/([0-9]+)-([a-zA-Z0-9-]*)/entry/([0-9]+)-([a-zA-Z0-9-]*)(.*)$ "/modules/newscore/news.php?category_id=$1&id;_entry=$3" last;

error_page 404 /404.php;

# error_page 404 /var/www/lustravik/data/www/lustravik.ru/404.php;

#location /404.php {
# return 404;
#}

И далее
include ps14.conf;

location ~* ^.+\.(jpg|jpeg|gif|png|svg|js|css|mp3|ogg|mpe?g|avi|zip|gz|bz2?|rar|swf)$ {
expires 30d;
root $root_path;
error_page 404 = @fallback;
}
location / {
index index.php;

# Rewrite rules
# 404 я ошибка

if ( !-e $request_filename ) {
rewrite (/|\.php|\.html|\.htm|\.feed|\.pdf|\.raw|/[^.]*)$ /404.php last;
}

----------
кстати 404 не работала корректно в первой части правил
пришлось дописать
rewrite (/|\.php|\.html|\.htm|\.feed|\.pdf|\.raw|/[^.]*)$ /404.php last;
хотя не уверен что это правильно

 

[krdma]

Помимо редиректов - может помочь meta canonical. Он указывает какую страницу считать основной при наличии доп параметров.
Сеошники, поправьте если что.

 

[lightman555]

Помимо редиректов - может помочь meta canonical. Он указывает какую страницу считать основной при наличии доп параметров.
Сеошники, поправьте если что.

Возможно - ни разу этого не делал
По сути получается такая ерунда что любое слово возможно после знака вопроса ?
И как можно это подправить - не ясно

 

[krdma]

Для просмотра ссылки Войди или Зарегистрируйся

canonocal как раз решает эту проблему.
Редиректить не вариант, ибо там и utm метки могут быть и еще что-то.

 

[Noxikus]

Все что Вам нужно сделать - указано в первом ответе.
Все Ваши "копания" на тему серверных правил и редиректов - только усложнят и добавят проблем.
В сети полно простых мануалов по настройке 'canonical'.

 

[lightman555]

Для просмотра ссылки Войди или Зарегистрируйся

canonocal как раз решает эту проблему.
Редиректить не вариант, ибо там и utm метки могут быть и еще что-то.

Странно, что об этом никто ранее не писал - либо я не встречал. В основном были описаны правила переадресации и настройки mysql , но про канонические ссылки не встречал по престе упоминаний - не ужели никто не сталкивался - то есть не было схожей ситуации?
Если я правильно Вас понял то необходимо для каждой странице каким то образом указать каноническое имя, которое должно браться например из названия категории - так как в ручную прописать - это не вариант по причине того, что это все генерится
должно получится что то типа этого только во всех страницах категорий
<link rel="canonical" href="Для просмотра ссылки Войди или Зарегистрируйся/[/URL]" />

А есть здесь люди, которые реально решали данный вопрос и имеют опыт чтобы не городить "колхоз" ?
Не ужели только я с таким столкнулся - так же не может быть - верно?

 

[scspe]

Установите модуль, который поставит каноникалы на все страницы.
Или переходите на 30 пчёл, там это уже из коробки работает.