tritnu
Постоялец
- Регистрация
- 5 Мар 2008
- Сообщения
- 52
- Реакции
- 8
- Автор темы
- #1
Последнее время появилось некоторое количество сообщений на форумах типа:
Т.е. явно появился некий новый юзерагент ведущий себя как весьма напористый поисковый бот и посему очень хочется узнать "кто такой и откуда".
По теме этого юзерагента уже есть обсуждение на сирчэнжинс.ру, но там толком ничего так и не сказали.
В общем есть три версии:
1. Возможно это прога которая для какой-нибудь новой Webalt'ы делает зеркала сайтов (есть версия и о том, что это новоявленный "самопальный" rss агрегатор).
Но тогда мне не ясно, зачем (судя по логам) каждую страницу открывать по 7 раз с интервалом в 1-2 сек - мышка заела или контент так понравился?
2. Это айпишка мирхостинга, т.е. данный скан производит ботнет типа "желатиновый шторм".
Пару недель назад, при анализе статистики упавшего в результате ddos'а сайта наткнулся на кучу посещений этого WinHTTP Robot/1.0 (судя по логам буквально за полчаса до того как сайт ушел в аут) - хотя возможно эти парни тут не причем.
3. Есть такая прога WinHTTTrack (старая правда)...
Суть создания топика попытаться разобраться имеет ли место быть легитимный поисковый робот которого банить не надо, а надо наоборот любить и извлекать пользу или же наоборот - убивать на месте.
И кто такие эти "SoftLayer Technologies Inc.", которые так активно домогаются контента?
Есть у вас информация по этой теме?
Народ, кто в курсе, что за зверь такой:
"WinHTTP Robot/1.0"
Сканил сайт, с 2х IP - 67.228.80.90 и 75.126.175.42
Вхуиз пишет, что это некая "SoftLayer Technologies Inc." сервер располагается в дата-центре в Далласе...
Т.е. явно появился некий новый юзерагент ведущий себя как весьма напористый поисковый бот и посему очень хочется узнать "кто такой и откуда".
По теме этого юзерагента уже есть обсуждение на сирчэнжинс.ру, но там толком ничего так и не сказали.
В общем есть три версии:
1. Возможно это прога которая для какой-нибудь новой Webalt'ы делает зеркала сайтов (есть версия и о том, что это новоявленный "самопальный" rss агрегатор).
Но тогда мне не ясно, зачем (судя по логам) каждую страницу открывать по 7 раз с интервалом в 1-2 сек - мышка заела или контент так понравился?
2. Это айпишка мирхостинга, т.е. данный скан производит ботнет типа "желатиновый шторм".
Пару недель назад, при анализе статистики упавшего в результате ddos'а сайта наткнулся на кучу посещений этого WinHTTP Robot/1.0 (судя по логам буквально за полчаса до того как сайт ушел в аут) - хотя возможно эти парни тут не причем.
3. Есть такая прога WinHTTTrack (старая правда)...
Суть создания топика попытаться разобраться имеет ли место быть легитимный поисковый робот которого банить не надо, а надо наоборот любить и извлекать пользу или же наоборот - убивать на месте.
И кто такие эти "SoftLayer Technologies Inc.", которые так активно домогаются контента?
Есть у вас информация по этой теме?
