[Помощь] robots.txt для IPB 3.*

[KveSteR]

В связи с вводом новых методов фильтров от Яши, и избегания дублирования контента, а так же не нужного мусора. Предлагаю всем вместе создать оптимальный robots.txt для тройки.
Такой робот мы видим в дистрибьютиве, но он не савсем подходит для яши. так как там немного отличается "стандарт".

User-agent: *
Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/converge_local/
Disallow: /forum/hooks/
Disallow: /forum/ips_kernel/
Disallow: /forum/retail/
Disallow: /forum/public/js/
Disallow: /forum/public/style_captcha/
Disallow: /forum/public/style_css/
Disallow: /forum/index.php?app=core&module=task
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /forum/index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /forum/index.php?app=forums&module=extras&section=forward
Disallow: /forum/index.php?app=members&module=messaging
Disallow: /forum/index.php?app=members&module=chat
Disallow: /forum/index.php?app=members&module=search
Disallow: /forum/index.php?app=members&module=search&do=active
Disallow: /forum/index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$

Вот такой сейчас у меня на рабочем форуме:

User-Agent: Yandex
Host: forum.alternative-by.org
Disallow: /journal*
Disallow: /calendar*
Disallow: /user*
Disallow: /lofiversion*
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /admin/install/index.php
Disallow: /index.php?app=core&module=global&section=rss*
Disallow: /index.php?app=forums&module=extras&section=stats*
Disallow: /index.php?app=calendar*

User-agent: Googlebot
Disallow: /journal*
Disallow: /calendar*
Disallow: /user*
Disallow: /lofiversion*
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?app=core&module=global&section=rss*
Disallow: /index.php?app=forums&module=extras&section=stats*
Disallow: /index.php?app=calendar*

/journal* и /lofiversion* старые утрянные страницы.
/calendar*, /user*, /index.php?app=calendar* закрывают от индексации профили и календарь.
index.php?app=members&module=messaging взял из стандартного, судя по всему, что бы боты не пытались отправлять сообщения
Disallow: /index.php?app=members&module=chat чат, которого нет
Disallow: /index.php?app=members&module=search закрывает от индексации любые действия с поиском
index.php?app=members&module=search&do=active активные пользователи...
/index.php?app=core&module=global&section=rss* расс летны... их яша вообще не понимает.
/index.php?app=forums&module=extras&section=stats* сдесь поисковики какимто образом находили страницы.. кто отвечал в теме.. судя по всему недоделаная функция разработчиков.


Теперь далее, хотелось бы такой robotx.txt, в котром кроме тем и главной страницы и страниц с списком тем, более ничего не индексировалось.

 

[Maskad]

Еще такое я добавил:
/forums/index.php/topic/*page__st__10__p__*&

 

[akiselev]

Тоже извращался поначалу с роботсом, но на 2.х пришел в результате к такому:
Disallow: /lofiversion/

И все). Дубли основные в лоуфай - его и запрещаем.

 

[Дизуля]

я давно с ним заморачивалась, и поняла что вообще толку от него нету

 

[akiselev]

Толк то есть), просто надо понять зачем его ставить на форум). Если вам нужны посетители с поисковых машин, то чем больше в индексе страниц, тем их больше. А вот продвижение форума отдельный вопрос). Мне понравилось как сделали наконец-то в ипб 3.х в скине облегченном.

 

[KveSteR]

Не сказал бы, что толку нету. раньше у меня его тоже вообще небыло.. сейчас к сожалению у Ящи работает "АГС-17", очень злая штука.. и без нормального роботса, есть большой риск попасть в фильтры яши.

2Maskad
Поидее правильно будет так..
Disallow: /*p__*

Но не уверен, надо помощь специалиста по сео )) просто не знаю как правильно написать, что бы он такю /page__st__10__p__24353
Считал этой(было для него тож самое) /*page__st__10

Так бы поидее быстрей индексировалось и т.д.

 

[akiselev]

АГС-17 пока выключили). Есть реальные примеры форумов ipb, которые пострадали от этого фильтра? Мой прекрасно себя чувствует, на нем роботс как я писал выше.

 

[Maskad]

Не сказал бы, что толку нету. раньше у меня его тоже вообще небыло.. сейчас к сожалению у Ящи работает "АГС-17", очень злая штука.. и без нормального роботса, есть большой риск попасть в фильтры яши.
2Maskad
Поидее правильно будет так..
Disallow: /*p__*
Но не уверен, надо помощь специалиста по сео )) просто не знаю как правильно написать, что бы он такю /page__st__10__p__24353
Считал этой(было для него тож самое) /*page__st__10
Так бы поидее быстрей индексировалось и т.д.

может и правильней я роботс обычно не составляю сам - я исходил из ошибок в панеле вебмастера яндеска - даже при такой записи аналогичные ссылки были запрещены хоть 40 хоть 500 вместо 10.
только что проверил ошибки - (недавно обновил до 3.03) так вот после обновления до 3.03 движок такие ссылки не создает.
следовательно можно не прописывать.
но если испольуете ЧПУ(например у меня на форуме ссылки вида -

/forums/index.php/topic/340/

тогда добавляем в роботс:

Disallow: /forums/index.php?showtopic=

 

[KveSteR]

2akiselev тема. немного ниже. Называется проблемы с индексацией.. да и плюс всякие сео форумы.
Если выключили то хорошо, но все равно, зачем что бы лишний мусор индексировался.

 

[acelotuse]

но если испольуете ЧПУ(например у меня на форуме ссылки вида -
тогда добавляем в роботс:

насчет ЧПУ. Если закрывать страницу от роботов в виде ЧПУ, то нужно закрывать страницу с адресом НЕЧПУ? робот понимает что это одна и та же страница?