root230101
Местный житель
- Регистрация
- 19 Сен 2007
- Сообщения
- 301
- Реакции
- 22
Ну это то понятно, просто зачем парсить 1000 урл'ов, когда надо просто узнать количество... Но и за это спасибо.
Кто как контролирует индексацию доров?
- Автор темы metrod
- Дата начала
- Статус
1000 взята для примера. Если допустим у тебя доры по 100 страниц, все равно все 100 надо проверить, ведь иначе и не узнаешь, проиндексились они или нет. IMHO
root230101
Местный житель
- Регистрация
- 19 Сен 2007
- Сообщения
- 301
- Реакции
- 22
Может я что-то не понимаю...
К примеру в гугле набираем site:3dnews.ru
Результаты 1 - 10 из приблизительно 327 000 с 3dnews.ru. (0,21 секунд)
Разве нельзя это число взять оттуда?
К примеру в гугле набираем site:3dnews.ru
Результаты 1 - 10 из приблизительно 327 000 с 3dnews.ru. (0,21 секунд)
Разве нельзя это число взять оттуда?
Предполагаю, что Сайт-аудитор именно так и делает, а семонитор каждую проверяет.
Rastafan
Постоялец
- Регистрация
- 1 Фев 2008
- Сообщения
- 648
- Реакции
- 170
Если нужно просто проверить индексацию я юзаю алсабмитер - записываю в тхт список урлов доров (можно хоть 1к ), далее загружаю тхтшник, как тхт базу, открываю ее, выделяю все урлы доров, нажимаем "проверить позиции сайта" выставляем таймаут 10 сек и 1 поток - это мин возможное время, при которм гугля не банит айпи ( у меня в 50 потоков с таймаутом 5 сек работает с прикрученым тором). кстать так за раз можно определить индексацию в яндексе, мсн, яхе, пр, прочекать на 404 и тд...... Поповоду сайт аудитора, пользуюсь им чтобы выборочно определить позиции кеев в индексе, не могу понять он шустро шлет запросы, но гугля еще не разу не банил.
А с тором не сильно тормозит? Распиши, плс., подробнее, машина, канал, количество проверяемых сайтов за ...
Если не сложно конечно.
Тор юзал несколько раз когда еще стоял Целерон 1,7, полгига, 3 мБит. Даже для серфинга сложнова-то было использовать.
По поводу не банит, ну кроме Яндекса (иногда). Даю подсказку - подсмотри куда он запросы шлет
Потому и не банит.
root230101
Местный житель
- Регистрация
- 19 Сен 2007
- Сообщения
- 301
- Реакции
- 22
Я вот тор не юзал никогда... а можно там указать временной интервал, в течение которого менять прокси?
Rastafan
Постоялец
- Регистрация
- 1 Фев 2008
- Сообщения
- 648
- Реакции
- 170
канал 4м, машина старенький 1000 атлон с прокачаной оперативой ))) (прокачаной на время 2001 г -1 гиг ), По поводу тора, нужно хорошо настроить сервер, любит, когда канал по более для его трафа открыть... (в нете достаточно инфы по настройке ) вобще я уже не юзаю тор, ВДС рулитЮ, таймаут 10 сек (проверено екскперементально)ни гугля ни яша никогда не банят, долговато конечно, но тут главное принцип запустил и забыл до примерного времени оккончания парсинга которое расчитать не сложно, ну и конечно запускаем по более всяких прасилок )))
- Статус