Сам поисковик с контекстной рекламой - и есть большой дор.
Да он и без "контекстной рекламы" является дором.
Судите сами: автоматом парсит заданный список урлов и на основе этого формирует свою "выдачу", т.е. страницу с копипащеными обрывками из разных сайтов только вставляя ссылки на источники (это его единственное отличие). А контекстная реклама на странице выдачи - не что иное, как рефки по партнеркам. Вот и выходит что Яндекс - это дорген рунета №1. Попробуйте почитать страницу выдачи Яндекса оставив только текст и удалив разметку страницы, так сказать текстовую версию - самый что ни есть бредотекст с кучей ключевиков на странице.
Ну а если серьезно, то можно немного резюмировать все вышесказанное следующим образом.
В первую очередь - это экономика, т.е. Директ. Все остальное: роботы, фильтры, выдача и т.д. - это уже инструмент.
Соответственно человек, случайно зашедший на ГС ничего хорошего для себя не почерпнет и скорей всего не вернется на него снова. Отсюда и все их рекомендации про то, что делайте качественные сайты для людей. Если юзверю понравился сайт, то он его и в закладочку засунет, и зайдет еще когда-нить.
Сделать такой сайт сложнее, соответственно и ссылки с него будут дороже, а это, как уже говорилось на руку Яндексу с его Директом. Поэтому и планка для включения в РСЯ не низкая. Таким образом Яндекс обязывает вебмастеров делать качественные полезные сайты и сервисы и как можно больше, а там гляди и в РСЯ появятся кучка рекламных площадок, а это уже дополнительные деньги.
А также ситуации с вылетом из индекса, а вебмастер думает что у него СДЛ и жаждет трафа - велкам в ДИРЕКТ.
Сори, если сумбурно выражаюсь, но как-то так и есть.