Помощь Дублированный контент - что прятать от индекса?

[Asin]

При наличии на сайте категорий, тегов и страниц(пейджнави) - что именно закрывать от индекса, что оставить? Желателен вывод на главной побольше внутренних ссылок.

Посоветуйте, как правильно поступить для достижения более стабильной индексации яндексом: чтобы проиндексировав страницу, не выплевывал её при следующем апе и не заменял на дубль.

 

[ws256]

А что именно прописываете, Вы сами в robots.txt, у каждого свои версии как должен выглидеть, только не нужно отправлять на рекомендации яндекса.

У меня вот так на всех сайтах:

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /page/
Disallow: /author/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /page/
Disallow: /author/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/uploads/

Sitemap:

 

[levati]

У меня вот так на всех сайтах:
...

А так не проще:

User-Agent: *
Host:
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: *?replytocom
Allow: /wp-content/uploads/
Sitemap:

Понятно, что со своим хостом и сайтмэпом. ИМХО лаконичнее и Яндекс при делах.

 

[zonr]

При наличии на сайте категорий, тегов и страниц(пейджнави) - что именно закрывать от индекса, что оставить? Желателен вывод на главной побольше внутренних ссылок.
Посоветуйте, как правильно поступить для достижения более стабильной индексации яндексом: чтобы проиндексировав страницу, не выплевывал её при следующем апе и не заменял на дубль.

Если это СДЛ, то есть теги и категории выполняют свою роль - роль группировки постов - то ничего закрывать не надо. То есть получается не дубли страниц в пяти экземплярах, а полноценные страницы. Иногда очень замечательно страницы с тегами попадают в топ и на них переходят посетители. Зачем же перекрывать кислород? А если у каждого поста по пять тегов и эти теги не повторяются, т.е. у каждого поста разные, то закрывать. Категории закрывать смысла не вижу. Опять таки, если не так, что в каждой категории всего по одному посту.

 

[ws256]

Если это СДЛ, то есть теги и категории выполняют свою роль - роль группировки постов - то ничего закрывать не надо. То есть получается не дубли страниц в пяти экземплярах, а полноценные страницы. Иногда очень замечательно страницы с тегами попадают в топ и на них переходят посетители. Зачем же перекрывать кислород? А если у каждого поста по пять тегов и эти теги не повторяются, т.е. у каждого поста разные, то закрывать. Категории закрывать смысла не вижу. Опять таки, если не так, что в каждой категории всего по одному посту.

Был у меня сайт с 1000 посетителей, закрытие дублей вывело его из под АГС. Да, для сапы хорошо что куча страниц, контент на категориях, страницах, тегах, дублируется. А имея все в одном месте, на санкции яндекса не нарвешься. Метки и страницы так же будут выполнять свои функции.

 

[Nei]

Теги и метки имеют цель упростить посетителю навигацию на сайте, ни больше, ни меньше. Поэтому мое мнение - их нужно закрывать от индексации. Дублирование контента на сайте "не есть гуд", как говорится.

 

[Systproject]

Поделюсь своим

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /backlinks
Disallow: /backlinks/
Disallow: /author
Host: site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /backlinks
Disallow: /backlinks/
Disallow: /author

 

[smiler]

Вот мой:

User-agent: *
Allow: /wp-content/uploads/
Disallow: /plesk-stat
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: */trackback/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Disallow: /?paged=
Disallow: /?tag=
Disallow: /?cat=
Sitemap:

 

[Kewin]

С метками понятно, а есть ли смысл закрывать от индексации список рубрик?

 

[qazibum]

У меня два сайта из-за дублей из яндекса вылетили.

А если сай не сдл, то зачем там вообще делать теги?

Добавлено через 1 минуту

С метками понятно, а есть ли смысл закрывать от индексации список рубрик?

Я думаю что нет. Рубрики же они как меню - разделяют сайт на категории. А такое разделение есть на всех сайтах и ни кто не закрывает меню от индексации.

 

[crisscross1]

помню наоборот плодил неуник для большего количества страниц - нч траф собирает. для продолжения по позициям режу наоборот всё. особенно слежу за дублированием контента с продвигаемых страниц