XML Sitemap и Поисковики - вопрос.

[artlayers]

Доброе время суток!
Подскаждите мне: делаю карту сайта, информирую о ней с роботс.тхт информирую о ней поисковики лично загружая карту сайта, потом содержание со временем меняется, появляются новые страницы - я карту не перестраиваю. ПС-боты приходя на сайт и видя карту сайта будут ходить только по тем страницам что там описаны или будут без проблем находить новые?

 

[bik20007]

Доброе время суток!
Подскаждите мне: делаю карту сайта, информирую о ней с роботс.тхт информирую о ней поисковики лично загружая карту сайта, потом содержание со временем меняется, появляются новые страницы - я карту не перестраиваю. ПС-боты приходя на сайт и видя карту сайта будут ходить только по тем страницам что там описаны или будут без проблем находить новые?

Если в robot не запрещены поиск других страниц для поисковиков, то все остальные проиндексируются. Просто с помощью карты быстре индексируется сайт

 

[Anatoliy_B]

Будут ходить по всем не запрещенным страницам

 

[mehoney]

У меня в sitemap.xml не указано специально 3 страницы, которые не хочу чтобы их индексировали поисковики. Я думал этого достаточно.

Т.е. стоит их лучше в robots.txt запретить от индексации, чем просто не указывать в sitemap?

 

[BFox]

Да естественно укажите чтобы их не индексировали поисковики

User-agent: *
Disallow: /text.html

 

[artlayers]

не указывая в сайтмэп страницу - просто не говоришь поисковику что у тебя она есть, но рано или поздно он её сам найдёт, то есть ты просто не рекомендуешь поисковику индексировать страницу. А если запрещаешь в robots.txt её - то ты говоришь ему что точно не надо её вносить в индекс, так что пиши в роботос.тхт

 

[ValetRammstein]

artlayers, сайтмэп делается для ускорения индексации, но даже при его отсутствии страницы должны попадать в индекс, для закрытия от индексации юзай robots.txt/

Кстати, а что ты сайтмап вручную создаешь?

 

[artlayers]

у меня сайты по 50К страниц основных достигают, конечно не вручную - программ много достаточно как платных, так и бесплатных или скрипты.

 

[master6681]

Т.е. стоит их лучше в robots.txt запретить от индексации, чем просто не указывать в sitemap?

Сайтмап только для ускорения индексации больших сайтов. Причем заметил, что если сайт до 2к страниц, то пофиг на сайтмап. Яша с гуглом его и так нормально проиндексируют. В роботс закрываете те разделы (или страницы) которые не хотите, чтобы попали в индекс. Причем некоторые зарубежные поисковики игнорируют директиву роботс, поэтому их лучше вообще по ай пи заблочить.

 

[artlayers]

ага, заблочишь их по ип они же все распределённые. Кстати, где-то наталкивался на БД ip поисковиков. Да и вообще, предлагаете полностью заблокировать поисковикам доступ к сайту, которые не смотрят на роботс?