Медленная скорость закачки файлов на vps

[bork75]

Закачиваю на vps папку 2гб с 1мил. картинок.
Пользуюсь WinSCP, показал скорость 12-15 кБ\с - время 3 дня
Перезапустил в 8 потоков, у каждого потока такая же скорость и 2 потока всё время просят приглашение.

Кроме WinSCP ни с чем плотно не работал.
Есть у кого опыт работы с разными менеджерами и заливкой большого числа файлов?
Может, что-то пошустрее будет...

 

[vgrey]

Упаковать всю папку в zip, залить одним файлом, потом на VPS распаковать - не вариант?

---

 

[bork75]

Упаковать всю папку в zip, залить одним файлом, потом на VPS распаковать - не вариант?
---

архивами раньше не заливал.
В чём там вообще разница, только размер меньше или заливается тоже быстрее?
Попробовал сделать zip, вышло сообщение, что размер слишком большой для zip, используйте rar

 

[vladis1333]

Упаковывать лучше в архив tar.gz и да разница в скорости при передаче в архиве может быть в десятки раз быстрее.

 

[zakaji]

попробуйте FileZilla, заливал им недавно 30тыс mp3 на сайт (200Гб), довольно шустро залил, скорость почти не резал, причём лил через sftp root'ом.

 

[bork75]

Упаковывать лучше в архив tar.gz и да разница в скорости при передаче в архиве может быть в десятки раз быстрее.

чем его упаковать в tar.gz и какая разница с тем же rar в плане скорости заливки?

попробуйте FileZilla, заливал им недавно 30тыс mp3 на сайт (200Гб), довольно шустро залил, скорость почти не резал, причём лил через sftp root'ом.

кстати, под юзером или рутом скорость отличалась?

 

[Sergo_Sev]

чем его упаковать в tar.gz и какая разница с тем же rar в плане скорости заливки?

Да причем тут скорость заливки и формат архива? Мелкие файлы заливаются пол года т.к. тратиться время на каждое подключение и т.д., большой файл грузится в несколько потоков на максимально возможной скорости. Сжатие тут вообще нет смысла обсуждать т.к. вы не текст архивировать будете, а картики которые почти не сжимаются
В tar архив (насчет tar.gz не помню, но вроде разницы не будет) на компе можно запаковать через 7zip
На сервере через ssh можно все сделать командами -
Запаковка
tar -zcvf archive.tar.gz directory/

Распаковка
tar xvf archive.tar.gz

 

[vladis1333]

чем его упаковать в tar.gz и какая разница с тем же rar в плане скорости заливки?

Да паковать можно через программу 7zip.
Tar.gz Отличается тем, что размер будет меньше чем у других, и распаковать как писалось можно 1 командой.
Rar-a на хостинге по дефолту может и не быть.

 

[lift]

Есть у кого опыт работы с разными менеджерами и заливкой большого числа файлов?
Может, что-то пошустрее будет...

90 миллионов файлов на 300 гигов устроит? Их не то, что заливать куда-то, их переносить с диска на диск это процедуры на недели времени и если вместо переноса их с диска паковать в архив на другом диске то это уже ощутимо быстрее будет. Причина этого в том, что при переносе файла идет достаточно большое количество вспомогательных операций файловой системы, при работе по сети к ним добавляются еще и сетевые операции по передаче заголовков, начал/окончаний файлов и т.д. Если на переливку 1 файла на 2 гига эти операции повторяются 1 раз, то на 1 миллион файлов в сумме на 2 гига - 1 миллион раз. Вот они и занимают эту кучу времени и скорость из-за этого будет низкой.

п.с. тайловый кеш чтоль?