[Архив] nofollow checker

[Unlimited]

Накатал скриптик для проверки списка сайта на наличие nofollow как атрибута у ссылок, всего пару строчек...
Создаем файл urls.txt туда кидаем линки, в эту же директорию помещаем скрипт и ставим на неё chmod 777
Запускаем, по окончанию появится два файла
nofollow.txt
withoutnofollow.txt
Содержание соответсвует названию...
В случае чего результат не может быть определен правельно
Возьмем для примера вордпресс, в коментах обычно ссылки помечаются nofollow, но если, например, не будет коментов, то и не будет атрибута... хз как решить =)
Сам скрипт:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Обновленно 08.09.07
Отказался от юзанья file();
сайт получаем через сокеты, можно менять таймаут

 

[blackspy]

Я в пхп ноль, но что-то мне подсказывает скрипт не многопоточный. Верно?

 

[Unlimited]

верно, на php вообще нет поддержки многопоточности, но впринципе её сделать можно, даже не сделать а эмулировать, например разбиваем файл на подфайлы, и каждый отдаем отдельному процессу...

 

[blackspy]

php5 multi_curl и многопоточность будет

 

[Unlimited]

не слышал о этой библиотеке, тем более я через сокеты работаю =) а в этом скрипте вообще file(); =) но если будет то большой гудд

 

[lobzik]

хм.. не ужели так мало людей незнало об мултикурле...
Чекер мне не понравился... из исходника видно что он просто смотрить, если на паге слово "nofolow". Отсееться много паг где нофолов не в коменте, а в других ссылках... хотя если вебмастер использовал где-то нофолов, он возможно и коменты тоже занофолит...

 

[Christ]

Чекер мне не понравился... из исходника видно что он просто смотрить, если на паге слово "nofolow". Отсееться много паг где нофолов не в коменте, а в других ссылках... хотя если вебмастер использовал где-то нофолов, он возможно и коменты тоже занофолит...

Да, кажется, плагины обычно "нофоловят" все линки, а вот которые нужно сам оставляешь чистыми. Так что, скорее всего комменты будут "нофолов"...

 

[Antroplag]

Эх,вот если б его бы научить проверять именно кусок кода, от которого начинаются каменты...
Будет о чем подумать на досуге.

 

[Unlimited]

Впринципе нечего сложного, регулярным выражением вырываем нужный код и затем чекаем... еденственное меня смущает то, что если коментов нет, nofollow'а тоже нет... а вот когда они появятся годать будет там он или нет... хотя можно и такие сайты отсеевать и через некоторое время снова чекать

 

[lobzik]

2Unlimited
Это конечно можно реализовать - но какой монстр получиться тогда... Ведь блоги имеют разную структуру.
Тут выйти из положения можно, если проспамить блоги ссылкой, а потом чекером пройтись и просмотреть где ссылка добавилась без нофолоу... Тогда получиться 100% хорошая база, но скорее всего выйдет очень мало ресов под спам... Его надо вклинивать на стадии спама - прошел спам одного блога, тут чекер сразу проверяет блог на нофолоу. Совневаюсь, что кто-то будет это писать... хотя