Нагрузить локальный сервер по полной

RedRabbit

Мой дом здесь!
Регистрация
11 Июл 2008
Сообщения
607
Реакции
256
Есть WordPress, есть необходимость в заливке xml большого размера - 200 мб.
(бекапов таких много, разбивка на мелкиие партии по 5мб не уменьшает время выполнения, xml rpc не предлагайте т.к. много потоков умирает по таймауту, а я хочу загрузить все )
Поставил Open Server.
На борту имеем:
Windows 7 Ultimate Edition Service Pack 1 x64
Intel Core i7 2600K memory 8 gb
Apache 2.2
PHP 5.3.28
MySQL-5.5

Не могу нагрузить процессор по полной, вообще не выходит. Апач и муск грузят по 1-3 % и то одно ядро походу.
В 13-00 поставил заливаться, до сих пор загружается 22-35 :(
Что было сделано, вот конфиги (может и где ошибся поправьте:(
Конфиги ниже.
 

Вложения

  • Apache-2.2_server.txt
    17,4 KB · Просмотры: 3
  • MySQL-5.5_my.txt
    2,6 KB · Просмотры: 1
  • PHP-5.3_php.txt
    13,3 KB · Просмотры: 2
При очень поверхностном просмотре бросается в глаза
innodb_buffer_pool_size = 20M
что явно маловато для Ваших "memory 8 gb" и "xml большого размера - 200 мб". Поставьте, для начала, хотя бы в 1G.

В качестве совета: заремьте ВСЕ строки типа innodb_* , кроме innodb_buffer_pool_size = 1G

Непонятно совсем другое: Apache, PHP, MySQL - разрабатывались и вылизывались под unix-like платформы. В чем глубокий смысл заставлять их работать на отличной от родной платформе? Не, я ничего против win не имею, у нее есть своя ниша, где она бесспорный лидер. Но эта ниша не относится к работающим у Вас приложениям. Другое дело, если бы речь шла о IIS, ASP.NET, MSSQL.
 
Да что то не доглядел, спасибо, такие дела после чтения кучи документаций:
Немного помогло чтение my-innodb-heavy-4G.cnf
Мускл разросся до 25 гигов и до сих пор пока растет , но скорость радует, почти в 3 раза быстрее, сначала в раз 40 раз, но с течением времени скорость падает :) После моих истязаний. Еще буду тестировать, чтобы загрузить на 50-70%.
UPD
До конца к сожалению не догрузилось:( С 16-40 до 22-25 делалось. XML файл 234 mb. 37 000 постов.
Fatal error: Out of memory (allocated 765198336) (tried to allocate 4891071 bytes)

Возможно кому то пригодятся мои конфиги по настройке для denwer, чтобы загрузить хотя бы на 20% свой комп. И заливать большие бекапы для Wordpress
Apache
ThreadsPerChild 150

Мускл и пыха ниже.

Почему не делаю на серваке или VDS/VPS - скорость и трафик.

UPDATE
Немного поправил под OPEN SERVER, отказался от innodb, теперь файл весом 100 мб и кол-вом постов 12000 загружается за 10 мин!!! Вы бы видели какая скорость загрузки страниц, как будто не php , а html открываю.
 

Вложения

  • mysql.txt
    1,7 KB · Просмотры: 3
  • php.txt
    5 KB · Просмотры: 2
  • config-open-server.zip
    10,9 KB · Просмотры: 1
Последнее редактирование:
а почему вы уперлись именно в импорт xml? делается двойная работа, сначала загружаете файл, затем движок пишет в базу. почему не убрать лишние шаги и не писать в базу напрямую?
 
Не так то и просто писать на прямую в wordpress, а WP не простой, а MU. Очень много сложностей. Надо полностью понимать структуру БД, у постов есть много параметров, которые надо раскидать по разным таблицам, ну и что самое тягостное написать конвертер xml файла в dump, а на это уйдет не одна неделя.
Ну и сейчас в принципе проблема решена, загрузка дампа занимает 1 час, размером 220мб, и количеством постов 37000. Но лучше дапм делить на части 25-50 мб, т.к. по непонятной мне причине, через час работы, начинаются тормоза и процесс идет все медленней. А в логах ошибки таймаута.
 
ну тут исключительно вопрос целесообразности и стоимости вашего времени. по поводу MU не скажу, а в обычный WP писал конвертер базы от DLE, и ничего, работало. на все ушло два дня вдумчивого гуления. на фрилансе подобное наваяют баксов за 20-30 в течение пары часов.
з.ы. ну и заглянуть в гугл с "wordpress xml to database converter"
 
Назад
Сверху