psn
Мастер
- Регистрация
- 30 Апр 2009
- Сообщения
- 227
- Реакции
- 30
Яндекс пможет не понять правило User-agent: *, везде рекомендуют еще специально для него писать.
чувак, ты только что объяснил, почему мой сайт под АГС

Follow along with the video below to see how to install our site as a web app on your home screen.
Примечание: This feature may not be available in some browsers.
Яндекс пможет не понять правило User-agent: *, везде рекомендуют еще специально для него писать.
два раза дублируется одно и тоже, User-agent: * - означает что для всех поисковиков. В остальном, все нормально, просто яндекс вообще не проиндексировал ваш сайт, хоть 1 но должна быть страница в индексе, довно добавили в поисковик?
я rss закрыл чтобы небыло кучи ссылок с 404 ошибкой
tags как понимаю облако тегов, я тоже закрыл, поисковики с ума сходилипрофиль юзера закрыть, тоже правильно...
Предположение: xmlrpc понятия не имею что это, но подозреваю там файл не html и поисковик все равно его проигнорирует (неизвестный формат)
Sharovchic
У тебя ошибка в роботс - перед строкой "User-agent: ..." надо делать пустую строку. Еще "Нost:..." должен быть только одним, т.е. одна строка.
Яндекс пможет не понять правило User-agent: *, везде рекомендуют еще специально для него писать.
Вот так нормально:
*** скрытое содержание ***
LodeRunner оказался прав насчет того что яндекс невидет User-agent:* Проверить очень просто, зайдите в вебмастер яндекса, там есть проверка файла robot... смотрим с User-agent:* не видет эти строки yandex, указываем User-agent: Yandex - видитА зечем указывать User-agent:*" и еще второй строкой добавлять отдельно для Яндекса? Он что по общему интексу не зайдет,что ли?
а какое это имеет значения ?хочу заметить что если сайт ориентирован на рунет то для яши нужно писать в самом начале
хочу заметить что если сайт ориентирован на рунет то для яши нужно писать в самом начале, а не в конце после общих указаний остальным ботам.
и насколько я знаю поле Host: действует только относительно яндекса, другие пс его не учитывают.
Х.з.
вот на моих сайтах есть только
User-agent:*
Disallow /дублирующий контент.
В качестве проверки - пытался добавить запрещенные страницы в Яшу, тот сразу говорит -"данная страница запрещена в robots.txt".
Значит видит.
Не могу утверждать на 100%, но бытует состоявшееся мнение, что если бот "съел" инструкцию общую, то на свою именную может и забить. Лучше перестраховаться лишний раз, чем потом кусать логти из-за того что в индексе пс находится то чего там не хотелось бы видеть.откуда вы это вообще берете?
если будет видно после проверки вебмастером, я напишу письмо в яндекс и наконец то скажу все что думаюНе могу утверждать на 100%, но бытует состоявшееся мнение, что если бот "съел" инструкцию общую, то на свою именную может и забить. Лучше перестраховаться лишний раз, чем потом кусать логти из-за того что в индексе пс находится то чего там не хотелось бы видеть.
Она не обязательна, конечно. Просто иногда бывает что в индекс попадает домен не так как хотелось бы, например вместо example.com попадает www.examle.com, а ведь это тоже по идее два зеркала. Ну я лично использую команду только если есть совсем другой второй домен который ведет туда же.Возник вопрос нужна ли команда host если только одно зеркало сайта