Как найти неиндексируемые форумы ?

[phinik]

Встала задача найти неиндексируемые форумы

 

[Юрец]

Я не дорвейщик, но если не прав, прошу профи поправить меня:
inurl:robots .txt intext:"Disallow: /*/"

При подборе запроса отталкивался от:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Соответственно, если знать названия типичных папок форумных движков, либо просто еще немного поиграть с этим запросом, то процесс ускорится.

 

[phinik]

Примерно

Примерно так ?
intitle:СЛОВО Disallow: /forum/posting.php
Сработает?

 

[Юрец]

ну во-первых, чтобы напарсить только роботсы, надо написать так:
filetype:txt inurl:robots
А теперь комбинируя первую строку с нижеследующими, можно, думаю, получить как раз то, что ты ищешь.
Disallow: /*/
inurl:forum
Я, например, кой чего интересного нашел вот так
filetype:txt inurl:robots inurl:forum "Disallow: /*/"

А для более точного парсинга добавляем/вычитаем типы форумов (см.ниже), признаки по странам, по языкам...

Powered by vBulletin
Powered by Invision Power Board
Powered by Web Wiz Forums
Powered by XMB
Powered by UBB.threads
Powered by IGG
Powered by FusionBB
Powered by PhotoPost
Powered by phpBB
powered by Phorum

ну еще можно добавлять строки типа
forumdisplay.php?
showthread.php?
topic.cgi?

 

[petrovsecret]

Robots.txt может попасть в индекс в случае если на него явно стоит ссылка, что встречается крайне редко.
Таким способом имхо больше мусора найдете чем форумов...

И для чего это вообще надо? Ищите источник уникального контента?

 

[EugeneVC]

а если попробовать так
есть сайты где публикуются списки доменов
брать домен оттуда и смотреть на его robots.txt
подозрительные откладывать

потом пробежатся по этой базе запрашивая / и /forum - и парсить отдачу на

Powered by vBulletin
Powered by Invision Power Board
Powered by Web Wiz Forums
Powered by XMB
Powered by UBB.threads
Powered by IGG

 

[phinik]

Да

Robots.txt может попасть в индекс в случае если на него явно стоит ссылка, что встречается крайне редко.
Таким способом имхо больше мусора найдете чем форумов...

И для чего это вообще надо? Ищите источник уникального контента?

Да это так