Robots.txt - есть или нет? :)

[masterfaster]

robots.txt: да или нет?

Ща впервые озадалчися значением этого файла.

На серваке его нету. Хотя у меня сервак еще странный (амхост). Допустим хтаксес по фтп у меня не видно, только через файлменеджер с админки. Но роботсов не видно ни так, ни так. + по 404 статсам он в лидерах

Но, этого топика никогда бы не было, если бы мой роботс не показала мне гугля.

Ща вопрос как быть - рыться в нэте, искать правила оформления роботсов (кстати, если кто знает - бросьте в меня, плс ) или забить пусть гугля сама себя удовлетворяет?

Пока склоняюсь к первому.

Добавлено через 6 минут
Ща начал копаться в роботсе который держит гугля.

Оказалось шо эта красавица перевела последний пост моего ВП блога в хтмл и записала его в роботс.тхт.

Еще один жирный аргумент чтобы основательно разобраться что и как?

 

[olllg]

robots.txt – мал файл, да удал… В примерах и без (для начинающих)
Для начала скажем что такое на самом деле robots.txt, вернее спросим это у моего любимого моего поисковика
и далее вот здесь

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[masterfaster]

Да спасибо, помогла.

Кстати, считаю что тему надо переименовать на robots.txt: да или нет?

 

[RxB]

В статсах у тебя robots.txt на первых местах, потому что большая часть поисковых ботов первым делом запрашивают robots.txt с сервера. А если он отсутствует как класс, т.е сервер отсылает боту 404 ошибку, то бот может сделать предположение о недоступности сайта

 

[masterfaster]

Я бы не сказал. Вот что по этому поводу говорит гугля:

ou need a robots.txt file only if your site includes content that you don't want search engines to index. If you want search engines to index everything in your site, you don't need a robots.txt file (not even an empty one).

по моему тут все однозначно и понятно

 

[masterfaster]

Кстати, такой еще вопрос. если файл роботс.тхт отсутствует. на 404 включен редайрект на главную. как я понял гугля под роботс.тхт держит мою главную. в связи с этим проблем не будет?

 

[sound]

Даный файл полезен во многих случаях и так же во многих случаях не обязателен. У меня 4 сателлита нормально работают и индексируются и без него.

 

[Deformat]

Кстати, такой еще вопрос. если файл роботс.тхт отсутствует. на 404 включен редайрект на главную. как я понял гугля под роботс.тхт держит мою главную. в связи с этим проблем не будет?

Не будет никаких проблем На этот файл многие поисковики кладут даже если он есть

 

[BBnics]

Вроде на блоге Гринвуда (мож и ошибаюсь) была экспериментальная статистика: какой-то человечек пропасил очень много ресурсов с Dmozа на наличие сего файла robots.txt и выяснилось, что только лишь у 20% сайтов есть сей файл (точно не помню, но что-то вроде этого). Вообщем, кто понимает о каком эксперименте говорю, можете подкинуть ссылочку, т.к. я не могу найти линку, а народ не хочеться дезинформировать, да и сам освежил бы в памяти.

 

[anigmi]

Конечно нужен )
Его не так уж и трудно написать !
Полазь по сайтах полезную инфу найдеш ! ))))