|
Как переписать миллион файлов?
|
||
|---|---|---|
Участник
Откуда: Из нутри Киева.
Сообщения: 4 482 |
||
| 14.02.2008, 20:05:05 |
|
|
|
|
|
Как переписать миллион файлов?
|
|||
|---|---|---|---|
|
#18+
Есть миллион изображений размером 16Гб, надо их переписать на ФТП сервер под управлением Linux. Если пытаться их переписать через дримвиевер то комп зависает на всю ночь на попытке определить какие файлы надо обновить. Пытаюсь их сжать в tar, но AnyZip повис уже на несколько часов в попытке их пересчитать;-( Чтоже делать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2008, 00:52:01 |
|
||
|
Как переписать миллион файлов?
|
|||
|---|---|---|---|
|
#18+
ftp.exe /? + батничек. Оно? ---------------------------------- Ну еще FAR.exe имеет клиента FTP... и умеет копировать гопом. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2008, 07:26:07 |
|
||
|
Как переписать миллион файлов?
|
|||
|---|---|---|---|
|
#18+
думаю что нет, этоже самый простой консольный клиент пофайлово на фтп закачать нереально, посколько перед каждый файлом фтп запросы шлет и получается 1 сек на файл что равно 12 суток = нереально. вот бы нормальную утилиту чтобы в TAR сжать, или чтонибудь еще что можно в линуксе распоковать через консоль.. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2008, 09:43:39 |
|
||
|
Как переписать миллион файлов?
|
|||
|---|---|---|---|
|
#18+
в линухе есть unrar и 7zip IMHO, Mon$te® ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2008, 10:59:58 |
|
||
|
Как переписать миллион файлов?
|
|||
|---|---|---|---|
|
#18+
MProдумаю что нет, этоже самый простой консольный клиент пофайлово на фтп закачать нереально, посколько перед каждый файлом фтп запросы шлет и получается 1 сек на файл что равно 12 суток = нереально. вот бы нормальную утилиту чтобы в TAR сжать, или чтонибудь еще что можно в линуксе распоковать через консоль.. Ну да, и эт закачка обломится на 99.99%. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2008, 11:53:28 |
|
||
|
Как переписать миллион файлов?
|
|||
|---|---|---|---|
|
#18+
>эт закачка обломится на 99.99%. и шо? этож бубль гум (С) Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2008, 14:33:06 |
|
||
|
Как переписать миллион файлов?
|
|||
|---|---|---|---|
|
#18+
файлы все в одном каталоге или как-то структурированы? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2008, 15:07:36 |
|
||
|
Как переписать миллион файлов?
|
|||
|---|---|---|---|
|
#18+
>>Есть миллион изображений размером 16Гб, надо их переписать на ФТП сервер >>под управлением Linux. В свое время был известная задача о том, как максимально быстро передать 10Гб с одного края Америки на другой. И оказалось, что самое быстрое записать все это на N компакт-дисков и перевезти грузовиком... С уважением, Кирилл Разуваев Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2008, 16:22:24 |
|
||
|
Как переписать миллион файлов?
|
|||
|---|---|---|---|
|
#18+
Файлы в одном каталоге, потому и виснут все проги, вот и РАР тоже запис уже на полдня, подожду еще до утра. Придется свою прогу писать чувствую. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2008, 17:26:25 |
|
||
|
Как переписать миллион файлов?
|
|||
|---|---|---|---|
|
#18+
MproФайлы в одном каталоге, потому и виснут все проги, вот и РАР тоже запис уже на полдня, подожду еще до утра. Придется свою прогу писать чувствую.Своя прога тоже вряд ли поможет. Структурируйте по каталогам. Иначе тормозить будет любая прога. Во многих случаях время обработки таких каталогов растет квадратично относительно количества файлов в нем. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2008, 17:38:20 |
|
||
|
Как переписать миллион файлов?
|
|||
|---|---|---|---|
|
#18+
Kirill Razuvaev >>Есть миллион изображений размером 16Гб, надо их переписать на ФТП сервер >>под управлением Linux. В свое время был известная задача о том, как максимально быстро передать 10Гб с одного края Америки на другой. И оказалось, что самое быстрое записать все это на N компакт-дисков и перевезти грузовиком... С уважением, Кирилл Разуваев Posted via ActualForum NNTP Server 1.4 +1 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2008, 17:53:58 |
|
||
|
Как переписать миллион файлов?
|
|||
|---|---|---|---|
|
#18+
Дело в том что экспортировала эти файлы из БД тоже моя прога, и вполне так успешно. OreL - вы кстати тоже ковырялись с этим вопросом в том году - как решили, залили файлы обратно в базу? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2008, 18:52:35 |
|
||
|
Как переписать миллион файлов?
|
|||
|---|---|---|---|
|
#18+
MProДело в том что экспортировала эти файлы из БД тоже моя прога, и вполне так успешно.тем более - вам будет несложно ее поправить. я когда-то пытался оперировать каталогом с 70000 файлов. когда увидел, что хостинг только оглавление по FTP отдает около минуты - раскидал на 256 каталогов и сразу стало намного лучше. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2008, 19:04:01 |
|
||
|
Как переписать миллион файлов?
|
|||
|---|---|---|---|
|
#18+
MproФайлы в одном каталоге, потому и виснут все проги, вот и РАР тоже запис уже на полдня, подожду еще до утра. Придется свою прогу писать чувствую. Ты с ума сошел, даже простая работа с папкой занимает много времени. Надо структировать по папкам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2008, 19:51:08 |
|
||
|
Как переписать миллион файлов?
|
|||
|---|---|---|---|
|
#18+
Код: plaintext COBECTb™ защищена законом ؟؟؟ © ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2008, 20:05:05 |
|
||
|
Как переписать миллион файлов?
|
|||
|---|---|---|---|
|
#18+
MProДело в том что экспортировала эти файлы из БД тоже моя прога, и вполне так успешно. OreL - вы кстати тоже ковырялись с этим вопросом в том году - как решили, залили файлы обратно в базу? Напомни в каком топике это было ! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2008, 14:07:48 |
|
||
|
Как переписать миллион файлов?
|
|||
|---|---|---|---|
|
#18+
Orel - про текдок ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2008, 18:35:28 |
|
||
|
|
start [/forum/topic.php?fid=26&msg=35132206&tid=1505105]: |
0ms |
get settings: |
6ms |
get forum list: |
8ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
31ms |
get topic data: |
6ms |
get forum data: |
1ms |
get page messages: |
30ms |
get tp. blocked users: |
1ms |
| others: | 199ms |
| total: | 286ms |
| 0 / 0 |
