чем спарсить проиндексированные Яшей страницы

[leonidius2004]

имею динамич дор (Яшей проиндексировано 6500 страниц)
собственно сабж. чем спарсить проиндексированные Яшей страницы для составления карты сайта (для скармливания в сапу, ксапу и т.п.)

 

[Dmytr0]

Сгенерите карту сайта, страницы из карты закиньте в YCCY и проверьте на индексированность.

 

[akgrad]

Демо-версией аллсубмиттера. В разделе "Базы" выберите "Мастер СЕ", дальше там всё понятно.

 

[tatams]

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[Dmytr0]

tatams, там только 1к страниц покажет, больше не вытащить.

 

[leonidius2004]

*** скрытое содержание ***

ручками парсить 6,5к страниц??? или я чего-то недопонял...или вы

на доре больше 10к старниц (а проиндексировалось только 6,5 к).. поэтому мне что в лоб что по лбу. что карту скйта составлять а потом выкидывать неиндексенные стариницы, либо с Яши вытаскивать уже проиндексированные....ГЕМОРР

Добавлено через 3 минуты

Демо-версией аллсубмиттера. В разделе "Базы" выберите "Мастер СЕ", дальше там всё понятно.

спасибо за помощь... еще не закончило парсить... но процесс вроде идет.
кстати, а какую задержку оптимальную выставить??
... эээх рано радовался... только зо ссылок вытащило и сказало-DEMO SEARCH (30 only inbound links per search engine)
демо версия больше 30линков не берет????

 

[prostors]

Для просмотра ссылки Войди или Зарегистрируйся вот этим можно сгенерить карту сайта. ограничения на кол-во страниц в описаниии нет. ну а потом в YCCY забрасываете и проверяете.

 

[limpopo]

вот этой программой gsitecrawler можно создать карту сайта

 

[akgrad]

... эээх рано радовался... только зо ссылок вытащило и сказало-DEMO SEARCH (30 only inbound links per search engine)
демо версия больше 30линков не берет????

Обидно.. У меня лицензия, не знал что только 30 ссылок в демке.
Задержку я ставлю 12-13 секунд если без проксей.

 

[Inviseble_Demon]

Ебте ! А не проще написать маленикий скриптец с рекурсией на курлах !?

Если тема жива ТС опиши подробнее:

Берем домен, задержку, прокси, курл, PHP и денвер для шлефовки.

Для просмотра ссылки Войди или Зарегистрируйся
ищем на странице 2 страницу если есть то рекурсия и далее поист 3 и т.д.

потом тупа из огромного текста выпарсиваем ссылки и строем XML

Если реально нужно - свисни => напишу!