Robots

[Smit_]

1. Нужен ли robots.txt, если ни к чему не надо закрывать доступ на индексацию?
Не является ли отсутствие robots.txt подозрительным для Яндекса? (Типа ничего не скрывает, значит хочет чтобы проиндексировались все страницы)

 

[ShoxMaster]

Создай пустой в таком случае, поисковый робот в первую очередь смотрит файл robots.txt

 

[zapal187]

Ничего не будет, можешь даже не создавать его, через 1-2 месяца Яндекс сам удалит ненужные ему страницы.

 

[SDV]

Нужен, если ваш сайт не голый html.
1. Многие CMS даёт доступ для одной страницы по нескольким адресам. Например, Для просмотра ссылки Войди или Зарегистрируйся, Для просмотра ссылки Войди или Зарегистрируйся, Для просмотра ссылки Войди или Зарегистрируйся. Для поисковиков это разные страницы. Следовательно есть риск заработать пессимизацию за дублированный контент.
2. На форумах, блогах не нужно показывать версии для печати, RSS ленты (по выше приведённой причине), а так же приватную информацию: профили и т.д.
3. Есть страницы со служебной информацией. Тоже нафиг не надо светить.

 

[trooll]

robots.txt это вспомогательный (хочу заметить вспомогательный, а не обязательный) механизм индексации сайтов, а точнее вы помогаете роботам правильно индексировать сайт.


В общем не чего страшного не будет, со временем как у же писали выше, ПС сами убирут не нужные им страницы.

 

[Marina11]

Нужен, если ваш сайт не голый html.

sdv прав, и все говорят не стоит кейворды и дескрипшены прописывать, все на автомете просто ставят вот это из той же оперы, может и не стоит, но не поленитесь все равно ведь найдется что написать.

 

[trooll]

sdv прав, и все говорят не стоит кейворды и дескрипшены прописывать, все на автомате просто ставят вот это из той же оперы, может и не стоит, но не поленитесь все равно ведь найдется что написать.

Не я все же считаю что нет смысла создавать если не надо не чего крыть от ПС, чего то клеить и т.д. зачем создавать пустой файл, это равносильно тому что если вообще его не создавать, придет время будет потребность создаст, а так если только для успокоения души.

И вообще как может найтись что написать если нечего написать, вообще это попахивает оперой:
- Мол, че я Рыжий что ли? Все прыгнули с 9-го этажа без парашута и я прыгну.

Глупа это в общем, не вижу смысла если нет потребности.


P.S.: По поводу meta keywords подымал тему, обсуждение довольно интересное получилось, в особенности хочу выделить пост под номером 9. В общем кому интересно может почитать:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Кнопка спасибо находиться ниже и правее

 

[winews]

robots.txt нужен, на него глядят поисковики и он помогает скрыть дубли страниц.
есть онлайн ервисы по созданию этих файлов если нет навыков и желания
лишним не будет поверьте

 

[WINTERSPROWS]

строками которые определённо должны быть в файлике являются

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[KingLink]

для поисковиков site.ru/, site.ru/index.php и site.ru/index.html это уже не разные страницы. Давно всем известно
А вот если есть адреса site.ru/index.php?mod=ххххххх и т.п., совпадающие с главной страницей - тут уже можно получить санкции за дублирование контента