Вопрос по работе User agent

UltrbI4

UltrbI4

Гуру форума
Регистрация
15 Мар 2009
Сообщения
450
Реакции
53
Здравствуйте.У меня стоит такой robots.txt
Код: 
User-agent: * 
Disallow: /album.php 
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/ 
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php 
Disallow: /misc.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /signaturepics/
Disallow: /subscription.php 
Disallow: /usercp.php
Disallow: /vb/
Disallow: /seoOptimize/
   
User-agent: Googlebot
Disallow: /album.php 
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/ 
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php 
Disallow: /misc.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /usercp.php
Disallow: /vb/
Disallow: /seoOptimize/
Disallow: /*do=
Disallow: /*blogtype=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*mode=
Disallow: /*goto=
Disallow: /*m=
Disallow: /*y=
Disallow: /*prefixid=
Disallow: /*p=
Disallow: /*a=rate
Disallow: /*viewfull=
 
User-agent: Yandex
Disallow: /album.php
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/ 
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php 
Disallow: /misc.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /usercp.php
Disallow: /vb/
Disallow: /seoOptimize/
Crawl-delay: 1 

Host: мой домен.ru

Sitemap: http://мой домен.ru/sitemap_index.xml.gz
[/spoil]
Для Гугла прописано
[spoil]
Код: 
Disallow: /*do=
Disallow: /*blogtype=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*mode=
Disallow: /*goto=
Disallow: /*m=
Disallow: /*y=
Disallow: /*prefixid=
Disallow: /*p=
Disallow: /*a=rate
Disallow: /*viewfull=
Это для User-agent: Googlebot

Но яндекс каким-то образом тоже берет настройки и так же не индексирует указанные параметры для гугла.
Помогите разобраться!
 
в секции яндекса, укажите эти правила с директивой allow
 
Спасибо огромное.Раз уж заговорил на эту тему.Хотел бы поинтересоваться у знающих.
У меня на форуме стоит архив,кто работал с vBulletin наверняка знает.
Так вот там дублируются темы,созданные в оригинале.
Тайтлы разбавлются в архиве сниппетом [Архив],достаточно ли этого?
Мета-описание идет идентичным.Насколько это негативно может сказаться в плане СЕО?
 
UltrbI4 написал(а):
Спасибо огромное.Раз уж заговорил на эту тему.Хотел бы поинтересоваться у знающих.
У меня на форуме стоит архив,кто работал с vBulletin наверняка знает.
Так вот там дублируются темы,созданные в оригинале.
Тайтлы разбавлются в архиве сниппетом [Архив],достаточно ли этого?
Мета-описание идет идентичным.Насколько это негативно может сказаться в плане СЕО?
Нажмите для раскрытия...
Я бы для надёжности закрыл архив в роботсе или прописал rel=canonical
 
Дело в том,что у меня достаточное кол-во ключей НЧ в топе именно на архивные страницы.
Что если я сделаю 301 редирект?
 
UltrbI4 написал(а):
Дело в том,что у меня достаточное кол-во ключей НЧ в топе именно на архивные страницы.
Что если я сделаю 301 редирект?
Нажмите для раскрытия...
В теории: позиции по этим НЧ упадут на какое-то время, около месяца, потом вернутся, некоторые станут выше.
Но мало ли поисковик что учудит, поэтому лучше вначале провести эксперимент на небольшом количестве страниц.

Какой поисковик основной источник трафика?

ИМХО с rel=canonical будет проще чем редиректить.
 
Slavonic написал(а):
В теории: позиции по этим НЧ упадут на какое-то время, около месяца, потом вернутся, некоторые станут выше.
Но мало ли поисковик что учудит, поэтому лучше вначале провести эксперимент на небольшом количестве страниц.

Какой поисковик основной источник трафика?

ИМХО с rel=canonical будет проще чем редиректить.
Нажмите для раскрытия...
Дело в том что источник трафа Яндекс=)
 
То есть rel=canonical нужно указывать на оригинальной странице и указать в Link дублирующую или я не так понял?
 
Войдите или зарегистрируйтесь для ответа.
Назад
Сверху