powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / [perl] как скачать очень больщой файл >=15G
4 сообщений из 4, страница 1 из 1
[perl] как скачать очень больщой файл >=15G
    #39682259
Фотография Jebrail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
на сервере 15 гиг рама ,но lwp сдыхает c out of memory !
качалка такая
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
use LWP::UserAgent;
use  LWP::Protocol::https;
use File::Download;

$url=q{https://feeds.itunes.apple.com/feeds/epf/v3/full/current/};
$ua = LWP::UserAgent->new;
$ua->show_progress(true);
$req = HTTP::Request->new(GET => $url);
$req->authorization_basic('', '');
@str= split /\n/,$ua->request($req)->as_string;
$i=0;

foreach $l(@str){
$l=~m/href="(.+tbz)"/g;
$fnm=$1;
$i++;
unless ($fnm eq '' ){
$dw=HTTP::Request->new(GET => "$url$fnm");
$dw->authorization_basic('', '');
open(out,">$fnm");
binmode out;
print out $ua->request($dw)->content;
close(out);
}
}
...
Рейтинг: 0 / 0
[perl] как скачать очень больщой файл >=15G
    #39682262
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
По мне так для скачивания сделать, например, системный вызов wget и не париться.
...
Рейтинг: 0 / 0
[perl] как скачать очень больщой файл >=15G
    #39682268
Фотография Jebrail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vkleПо мне так для скачивания сделать, например, системный вызов wget и не париться.

это правильный подход ,но не спортивный .
...
Рейтинг: 0 / 0
[perl] как скачать очень больщой файл >=15G
    #39682280
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jebrail, если только не рассматривать многоборье в личном зачете, очень даже спортивный подход. Не вижу смысла заставлять бежать на лыжах тяжелоатлета, если есть в команде хорошо умеющий это делать лыжник.
В перловом коде буквально одна строчка - это дело нехитрое. А само скачивание, включая повторение подключения и докачку файла в случае обрыва канала, а так же, при необходимости, и логгирование на случай разбора полетов проще поручить специально обученной утилите.
...
Рейтинг: 0 / 0
4 сообщений из 4, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / [perl] как скачать очень больщой файл >=15G
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]