Вопрос по robots.txt

[mixxxon]

В общем такой вопрос, у меня на забугорном хостинге в папке public_html лежат какие-то левые папки типа "_vti_txt", "_vti_pvt", "_vti_log" и т.п. В общем можно ли их оттуда удалить и если нет, то нужно ли их закрывать от ПС в файле robots.txt и как примерно robots.txt должен выглядеть?

 

[shamantc]

Это frontpage, по идее можно сайт деплоить прямо из visual studio
Для robots.txt

# Ignore FrontPage files
User-agent: *
Disallow: /_borders
Disallow: /_derived
Disallow: /_fpclass
Disallow: /_overlay
Disallow: /_private
Disallow: /_themes
Disallow: /_vti_bin
Disallow: /_vti_cnf
Disallow: /_vti_log
Disallow: /_vti_map
Disallow: /_vti_pvt
Disallow: /_vti_txt

 

[mixxxon]

Спасибо. У меня в этой же папке WP стоит. Frontpage это какой-то конструктор получается, и можно все эти файлы спокойно удалять?

 

[shamantc]

Спасибо. У меня в этой же папке WP стоит. Frontpage это какой-то конструктор получается, и можно все эти файлы спокойно удалять?

Я так понимаю у тебя cPanel на буржуйском хостинге, как правило каждый сам решает я например удалял)) На работу моего сайта это никак не повлияло так и на администратирование

 

[_sergey_]

В общем такой вопрос, у меня на забугорном хостинге в папке public_html лежат какие-то левые папки типа "_vti_txt", "_vti_pvt", "_vti_log" и т.п. В общем можно ли их оттуда удалить и если нет, то нужно ли их закрывать от ПС в файле robots.txt и как примерно robots.txt должен выглядеть?

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Так запретить можно:

User-agent: *
Disallow: /_vti_

Или так:

User-agent: *
Disallow: /_

 

[mixxxon]

Я так понимаю у тебя cPanel на буржуйском хостинге

Да, у меня justhost, помню что какие-то сайтбилдеры запускал в cpanel после регистрации, могли ли из-за них эти файлы появится?
_sergey_, Да, именно так как на сайте под хайдом, можно удалять эти файлы? А последний способ закрытия от индексации в роботс.тхт точно поможет? Он просто как раз наименее трудоёмкий

 

[_sergey_]

Да, у меня justhost, помню что какие-то сайтбилдеры запускал в cpanel после регистрации, могли ли из-за них эти файлы появится?
_sergey_, Да, именно так как на сайте под хайдом, можно удалять эти файлы? А последний способ закрытия от индексации в роботс.тхт точно поможет? Он просто как раз наименее трудоёмкий

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[Dr.Sheff]

Хочу вывесить на сайте запрет Disallow: /*page/
Вот только боюсь, что робот не будет индексировать страницы, к которым доступ только перелистывая page и можно получить, я прав в этом? Тегов на сайте нет и архив в Disallow.

 

[_sergey_]

Хочу вывесить на сайте запрет Disallow: /*page/
Вот только боюсь, что робот не будет индексировать страницы, к которым доступ только перелистывая page и можно получить, я прав в этом? Тегов на сайте нет и архив в Disallow.

Не будет. Но их можно разрешить с помощью allow, либо изменить адреса тех страниц, что идут после пэйдж.

 

[77RU]

Хочу вывесить на сайте запрет Disallow: /*page/
Вот только боюсь, что робот не будет индексировать страницы, к которым доступ только перелистывая page и можно получить, я прав в этом? Тегов на сайте нет и архив в Disallow.

Внешних ссылок добавить на нужные страницы... не?
в сайтмап записать их?
Просто добавить в адурилку... или хотя бы пропинговать.