Удаление страниц из индекса ПС и их запрет на индексацию в robots.txt

[psn]

Яндекс пможет не понять правило User-agent: *, везде рекомендуют еще специально для него писать.

чувак, ты только что объяснил, почему мой сайт под АГС то-то я голову ломал, вроде все закрыто.... респект

 

[Sharovchic]

два раза дублируется одно и тоже, User-agent: * - означает что для всех поисковиков. В остальном, все нормально, просто яндекс вообще не проиндексировал ваш сайт, хоть 1 но должна быть страница в индексе, довно добавили в поисковик?
я rss закрыл чтобы небыло кучи ссылок с 404 ошибкой
tags как понимаю облако тегов, я тоже закрыл, поисковики с ума сходили профиль юзера закрыть, тоже правильно...
Предположение: xmlrpc понятия не имею что это, но подозреваю там файл не html и поисковик все равно его проигнорирует (неизвестный формат)

Дай это прописано для ДВУХ сайтов. Я же написал - первый ТХТ - сайт на ДЛЕ. Второй - на джумле. Естественно в каждом прописал немного свое. Кстати, пока суть да дело - получил письмо от Платона Щукина. они оказывается мой сайт это все время анализировали. Сейчас пока на вопрос об индексации вообще информации нет - пишет, " технич. причины"

Добавлено через 3 минуты

Sharovchic
У тебя ошибка в роботс - перед строкой "User-agent: ..." надо делать пустую строку. Еще "Нost:..." должен быть только одним, т.е. одна строка.
Яндекс пможет не понять правило User-agent: *, везде рекомендуют еще специально для него писать.
Вот так нормально:
*** скрытое содержание ***

А зечем указывать User-agent:*" и еще второй строкой добавлять отдельно для Яндекса? Он что по общему интексу не зайдет,что ли?

 

[psn]

А зечем указывать User-agent:*" и еще второй строкой добавлять отдельно для Яндекса? Он что по общему интексу не зайдет,что ли?

LodeRunner оказался прав насчет того что яндекс невидет User-agent:* Проверить очень просто, зайдите в вебмастер яндекса, там есть проверка файла robot... смотрим с User-agent:* не видет эти строки yandex, указываем User-agent: Yandex - видит (у меня лично так, был очень удивлен)

 

[jabbaxatt]

Х.з.
вот на моих сайтах есть только
User-agent:*
Disallow /дублирующий контент.

В качестве проверки - пытался добавить запрещенные страницы в Яшу, тот сразу говорит -"данная страница запрещена в robots.txt".
Значит видит.

 

[bat]

хочу заметить что если сайт ориентирован на рунет то для яши нужно писать в самом начале, а не в конце после общих указаний остальным ботам.
и насколько я знаю поле Host: действует только относительно яндекса, другие пс его не учитывают.

 

[GoR]

azybat

хочу заметить что если сайт ориентирован на рунет то для яши нужно писать в самом начале

а какое это имеет значения ?

 

[psn]

хочу заметить что если сайт ориентирован на рунет то для яши нужно писать в самом начале, а не в конце после общих указаний остальным ботам.
и насколько я знаю поле Host: действует только относительно яндекса, другие пс его не учитывают.

в том же вебмастере яндекса полное описание команд для робот, пробел перед хост, как написано выше не обязателен и на какой строке в файле находится команды для яндекс, без разницы, откуда вы это вообще берете? (если файл проходит проверку и сектор поисковиком читается, значит имеют силу ваши настройки)

Х.з.
вот на моих сайтах есть только
User-agent:*
Disallow /дублирующий контент.
В качестве проверки - пытался добавить запрещенные страницы в Яшу, тот сразу говорит -"данная страница запрещена в robots.txt".
Значит видит.

Ну у меня в панели вебмастера яндекс, проверка, для моего сайта не проходит с User-agent:* ... с User-agent: Yandex увидел, как бы лучше подстраховаться Возможно ваш файл и в вебмастере видит с User-agent:* ...

 

[bat]

откуда вы это вообще берете?

Не могу утверждать на 100%, но бытует состоявшееся мнение, что если бот "съел" инструкцию общую, то на свою именную может и забить. Лучше перестраховаться лишний раз, чем потом кусать логти из-за того что в индексе пс находится то чего там не хотелось бы видеть.

 

[psn]

Не могу утверждать на 100%, но бытует состоявшееся мнение, что если бот "съел" инструкцию общую, то на свою именную может и забить. Лучше перестраховаться лишний раз, чем потом кусать логти из-за того что в индексе пс находится то чего там не хотелось бы видеть.

если будет видно после проверки вебмастером, я напишу письмо в яндекс и наконец то скажу все что думаю
Возник вопрос нужна ли команда host если только одно зеркало сайта (

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

) (зеркало как я понял это не резервная копия сайта в нете, а просто второй домен ссылающийся на этот же сайт - поправте если не так) то можно эту команду вообще не писать, так как по описанию, она определяет главное зеркало из нескольких...?

 

[bat]

Возник вопрос нужна ли команда host если только одно зеркало сайта

Она не обязательна, конечно. Просто иногда бывает что в индекс попадает домен не так как хотелось бы, например вместо example.com попадает www.examle.com, а ведь это тоже по идее два зеркала. Ну я лично использую команду только если есть совсем другой второй домен который ведет туда же.