ИМХО, все зависит от сервера, на котором размещается сайт. Делаем сайты порой с большим набором сторонних компонентов/модулей - летают, переносим на хост клиента - тупят жестко (какой-нибудь таймвеб), приходится кучу всего править, чтобы хоть немного оптимизировать.
Но, хочу заметить, на том же 1GB.ru имею два простейших сайта, один на Joomla, второй на WP, функционал почти одинаковый, основан на стандартном наборе из коробки, при этом с сайта на WP стабильно 1-2 раза в неделю приходят уведомления о превышении нагрузки и сайт падает. Вывод - стандартный набор Joomla не будет сильно грузить. Если ресурсов хостинга не хватает для стабильной работы стандартного набора, то думаю стоит подумать о смене хостинга (благо сейчас большой выбор).