[help] Проблема с индексацией Яндексом

[alitur]

Мой форум

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Ссылка но robots.txt

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Проблема в следующем: не ищется по уникальному тексту на главной, хотя, если поискать по тайтлу на первом месте. Прошу гуру помочь, может я что-то с роботсом намудрил? Или что-то в коде не так.

 

[lift]

User-agent: *
Disallow: /archive/
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /showpost.php
Disallow: /member.php
Disallow: /sendmessage.php
Disallow: /printthread.php
Disallow: /poll.php
Disallow: /calendar.php

а ничего что у тебя закрыто для индексации все что только можно? Ты откуда вообще придумал такой робот? Мне просто логика твоя интересна В нем фигня написанна полная. Если не хочеш чтоб роботы индексировани календари и списки юзеров закрой просмотр этих разделов юзерам группы гости и все. А так ты просто поиздевался над пауками этим роботом и они тебе плытят тем же.

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

вот предел того что тебе нужно. если хочеш еще аватары и аттачи закрой. И ВСЕ. Остальное если закрыть хочеш то не силами робота. модсп и админсп мохжно хтассесом закрыть поставив доп пороль, просмотр поисковиками закрываеш запретом для просмотра нужного места группе "гости" потому что поисковики под ней заходят.

 

[alitur]

lift, часть я посмотрел на серче их роботс, часть добавил от себя. А именно, закрыл голосовалку, показать сообщение отдельно, календарь, и т.п.

То что, Вы мне посоветовали закроет это все?

 

[rijy]

Disallow: /poll.php - голосовалка
Disallow: /calendar.php - календарь
Disallow: /showpost.php - пост отдельно
другое дело - ЗАЧЕМ это закрывать от индексации? это тоже контент, и возможно он привлечет лишнюю пару-тройку уников на сайт.
закрой календарь, профили юзеров.. ну и админки можно.

 

[lift]

alitur
то что что-то там на серче написано в роботе еще не значит что это правильно. Вот пример:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

и в превых 2-х строках "крутые" специ написали

User-Agent: *

правило для всех поисковиков а в комменте написали что это:

# Список страниц для ОБЯЗАТЕЛЬНОГО удаления из индекса поисковых машин Rambler и Yandex.

и этот комментарий противоречит синтаксису написанного. А тоже блин ресурс не мелкий.
Хороший робот это лаконичный робот. Копировать чужое это не значит сделать хорошо даже если скопировал из авторитетного источника. Сначала настрой сам движек чтоб он не показывал то что тебе не нужно поисковикам, а роботом уже прикрой системные папки и определи хост. И все.
п.с. Кстати модцп и админцп роботом лучше не закрывай а закрой их хтассесом чтоб толпы кулхацкеров не ломанулись брутить твои пароли узнав из робота расположение твоей админки.