Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / [PHP] Загрузка и обработка больших файлов / 12 сообщений из 12, страница 1 из 1
27.11.2012, 10:28
    #38054329
spider13
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
[PHP] Загрузка и обработка больших файлов
Подскажите, как можно было бы в PHP загрузить большой файл XML экспортированный в MS Access? Файл имеет достаточно большой объем. ~500 мб.
1я проблема, насколько я знаю, у многих хостеров, максимальная длина файла устанавливается в 20мб.
2я проблема, при загрузке и обработке файла, нужно уложиться в 30 секунд.
...
Рейтинг: 0 / 0
27.11.2012, 11:58
    #38054484
artas
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
[PHP] Загрузка и обработка больших файлов
spider13Подскажите, как можно было бы в PHP загрузить большой файл XML экспортированный в MS Access? Файл имеет достаточно большой объем. ~500 мб.
1я проблема, насколько я знаю, у многих хостеров, максимальная длина файла устанавливается в 20мб.
2я проблема, при загрузке и обработке файла, нужно уложиться в 30 секунд.
Вы, по моему сами ответили на свой вопрос.
Только на счет длинный файла - если доступ по ФТП то не думаю что есть ограничение. А вообще без разбивки, как минимум програмной не получиться.
Я бы загрузил бы себе на локальную БД, сделал бы дамп, выполнил бы у хостера.
...
Рейтинг: 0 / 0
27.11.2012, 12:03
    #38054499
spider13
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
[PHP] Загрузка и обработка больших файлов
artasspider13Подскажите, как можно было бы в PHP загрузить большой файл XML экспортированный в MS Access? Файл имеет достаточно большой объем. ~500 мб.
1я проблема, насколько я знаю, у многих хостеров, максимальная длина файла устанавливается в 20мб.
2я проблема, при загрузке и обработке файла, нужно уложиться в 30 секунд.
Вы, по моему сами ответили на свой вопрос.
Только на счет длинный файла - если доступ по ФТП то не думаю что есть ограничение. А вообще без разбивки, как минимум програмной не получиться.
Я бы загрузил бы себе на локальную БД, сделал бы дамп, выполнил бы у хостера.

Ну на счет ограничения на загрузку файлов, можно загрузить через ajax, где то я натыкался на такую статейку.

А вот если файл будет обрабатываться больше 30 сек.

У меня есть только одна идея, сделать приложение которое будет загружать данные частями, но не хотелось бы мутить отдельных приложений, хотя в данном случае скорее всего, без него, не получится.
...
Рейтинг: 0 / 0
27.11.2012, 12:06
    #38054516
artas
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
[PHP] Загрузка и обработка больших файлов
spider13У меня есть только одна идея, сделать приложение которое будет загружать данные частями, но не хотелось бы мутить отдельных приложений, хотя в данном случае скорее всего, без него, не получится.
естественно. Но это стоит делать, если на постоянной основе оно будет работать. Если файл нужно загрузить единоразвов, то смотрите мой пост выше
...
Рейтинг: 0 / 0
27.11.2012, 12:36
    #38054578
spider13
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
[PHP] Загрузка и обработка больших файлов
artasspider13У меня есть только одна идея, сделать приложение которое будет загружать данные частями, но не хотелось бы мутить отдельных приложений, хотя в данном случае скорее всего, без него, не получится.
естественно. Но это стоит делать, если на постоянной основе оно будет работать. Если файл нужно загрузить единоразвов, то смотрите мой пост выше

Да в том и дело, что это делается для клиента, который далек от компьютера, поэтому это нужно сделать как можно попроще. И обновлять базу он будет, например, раз в неделю.
...
Рейтинг: 0 / 0
27.11.2012, 13:07
    #38054668
BACH
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
[PHP] Загрузка и обработка больших файлов
Во первых заливать такой объем мона будет только флешем, так как стоит лимит на объем загружаемых файлов. Но можно по ftp загружать какойнить приблудой. Например тойже lftp. А на серваке настроить cron чтобы он запускал скрипт пхп из консоли по обработке файла. В этом случае насколько знаю лимита по времени нет.
...
Рейтинг: 0 / 0
27.11.2012, 14:13
    #38054799
Малыхин Сергей
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
[PHP] Загрузка и обработка больших файлов
Что то мне подсказывает что большую часть по обработке можно выполнить на клиенте
...
Рейтинг: 0 / 0
29.11.2012, 12:06
    #38057618
spider13
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
[PHP] Загрузка и обработка больших файлов
Малыхин СергейЧто то мне подсказывает что большую часть по обработке можно выполнить на клиенте

На клиенте в браузере распарсить 1гиговый xml файл? после чего загрузить 50000 записей по одной на сервер?
как то долговато.

BACHВо первых заливать такой объем мона будет только флешем, так как стоит лимит на объем загружаемых файлов. Но можно по ftp загружать какойнить приблудой. Например тойже lftp. А на серваке настроить cron чтобы он запускал скрипт пхп из консоли по обработке файла. В этом случае насколько знаю лимита по времени нет.

Спасибо, так вообщем то и сделал, для консоли можно установить лимит на выполнение по времени, можно задать хоть целый час выполнения для этого скрипта.
Ну а так, файл грузится на ftp, после чего каждый час, cron запускает задачу, сканируя файлы в папке, ну и если находит то выполняет определенную работу.
...
Рейтинг: 0 / 0
29.11.2012, 20:23
    #38058874
phpz
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
[PHP] Загрузка и обработка больших файлов
spider13Подскажите, как можно было бы в PHP загрузить большой файл XML экспортированный в MS Access? Файл имеет достаточно большой объем. ~500 мб.
1я проблема, насколько я знаю, у многих хостеров, максимальная длина файла устанавливается в 20мб.
2я проблема, при загрузке и обработке файла, нужно уложиться в 30 секунд.

Первое правило не касается заливки по ftp? Просто странно, что уложиться надо в 30 сек, но можно разом залить болванку инфы.
...
Рейтинг: 0 / 0
29.11.2012, 20:52
    #38058899
vkle
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
[PHP] Загрузка и обработка больших файлов
phpzПросто странно, что уложиться надо в 30 секДостаточно распространенное ограничение на время выполнения скрипта :-) Не так уж много можно сделать за это время на среднестатистическом хостинге с 500-метровым файлом.
...
Рейтинг: 0 / 0
29.11.2012, 21:08
    #38058911
vkle
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
[PHP] Загрузка и обработка больших файлов
spider13,

Опишите исходную задачу. Возможно, есть какие-то более адекватные решения, кроме жестокого впихивания полгектара пыху.
...
Рейтинг: 0 / 0
01.12.2012, 21:36
    #38061307
Малыхин Сергей
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
[PHP] Загрузка и обработка больших файлов
авторНа клиенте в браузере распарсить 1гиговый xml файл? после чего загрузить 50000 записей по одной на сервер?
как то долговато.

Советую попробовать в современных браузерах еще и нормально сжать можно =)
...
Рейтинг: 0 / 0
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / [PHP] Загрузка и обработка больших файлов / 12 сообщений из 12, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]