|
|
|
[PHP] Загрузка и обработка больших файлов
|
|||
|---|---|---|---|
|
#18+
Подскажите, как можно было бы в PHP загрузить большой файл XML экспортированный в MS Access? Файл имеет достаточно большой объем. ~500 мб. 1я проблема, насколько я знаю, у многих хостеров, максимальная длина файла устанавливается в 20мб. 2я проблема, при загрузке и обработке файла, нужно уложиться в 30 секунд. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.11.2012, 10:28 |
|
||
|
[PHP] Загрузка и обработка больших файлов
|
|||
|---|---|---|---|
|
#18+
spider13Подскажите, как можно было бы в PHP загрузить большой файл XML экспортированный в MS Access? Файл имеет достаточно большой объем. ~500 мб. 1я проблема, насколько я знаю, у многих хостеров, максимальная длина файла устанавливается в 20мб. 2я проблема, при загрузке и обработке файла, нужно уложиться в 30 секунд. Вы, по моему сами ответили на свой вопрос. Только на счет длинный файла - если доступ по ФТП то не думаю что есть ограничение. А вообще без разбивки, как минимум програмной не получиться. Я бы загрузил бы себе на локальную БД, сделал бы дамп, выполнил бы у хостера. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.11.2012, 11:58 |
|
||
|
[PHP] Загрузка и обработка больших файлов
|
|||
|---|---|---|---|
|
#18+
artasspider13Подскажите, как можно было бы в PHP загрузить большой файл XML экспортированный в MS Access? Файл имеет достаточно большой объем. ~500 мб. 1я проблема, насколько я знаю, у многих хостеров, максимальная длина файла устанавливается в 20мб. 2я проблема, при загрузке и обработке файла, нужно уложиться в 30 секунд. Вы, по моему сами ответили на свой вопрос. Только на счет длинный файла - если доступ по ФТП то не думаю что есть ограничение. А вообще без разбивки, как минимум програмной не получиться. Я бы загрузил бы себе на локальную БД, сделал бы дамп, выполнил бы у хостера. Ну на счет ограничения на загрузку файлов, можно загрузить через ajax, где то я натыкался на такую статейку. А вот если файл будет обрабатываться больше 30 сек. У меня есть только одна идея, сделать приложение которое будет загружать данные частями, но не хотелось бы мутить отдельных приложений, хотя в данном случае скорее всего, без него, не получится. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.11.2012, 12:03 |
|
||
|
[PHP] Загрузка и обработка больших файлов
|
|||
|---|---|---|---|
|
#18+
spider13У меня есть только одна идея, сделать приложение которое будет загружать данные частями, но не хотелось бы мутить отдельных приложений, хотя в данном случае скорее всего, без него, не получится. естественно. Но это стоит делать, если на постоянной основе оно будет работать. Если файл нужно загрузить единоразвов, то смотрите мой пост выше ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.11.2012, 12:06 |
|
||
|
[PHP] Загрузка и обработка больших файлов
|
|||
|---|---|---|---|
|
#18+
artasspider13У меня есть только одна идея, сделать приложение которое будет загружать данные частями, но не хотелось бы мутить отдельных приложений, хотя в данном случае скорее всего, без него, не получится. естественно. Но это стоит делать, если на постоянной основе оно будет работать. Если файл нужно загрузить единоразвов, то смотрите мой пост выше Да в том и дело, что это делается для клиента, который далек от компьютера, поэтому это нужно сделать как можно попроще. И обновлять базу он будет, например, раз в неделю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.11.2012, 12:36 |
|
||
|
[PHP] Загрузка и обработка больших файлов
|
|||
|---|---|---|---|
|
#18+
Во первых заливать такой объем мона будет только флешем, так как стоит лимит на объем загружаемых файлов. Но можно по ftp загружать какойнить приблудой. Например тойже lftp. А на серваке настроить cron чтобы он запускал скрипт пхп из консоли по обработке файла. В этом случае насколько знаю лимита по времени нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.11.2012, 13:07 |
|
||
|
[PHP] Загрузка и обработка больших файлов
|
|||
|---|---|---|---|
|
#18+
Что то мне подсказывает что большую часть по обработке можно выполнить на клиенте ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.11.2012, 14:13 |
|
||
|
[PHP] Загрузка и обработка больших файлов
|
|||
|---|---|---|---|
|
#18+
Малыхин СергейЧто то мне подсказывает что большую часть по обработке можно выполнить на клиенте На клиенте в браузере распарсить 1гиговый xml файл? после чего загрузить 50000 записей по одной на сервер? как то долговато. BACHВо первых заливать такой объем мона будет только флешем, так как стоит лимит на объем загружаемых файлов. Но можно по ftp загружать какойнить приблудой. Например тойже lftp. А на серваке настроить cron чтобы он запускал скрипт пхп из консоли по обработке файла. В этом случае насколько знаю лимита по времени нет. Спасибо, так вообщем то и сделал, для консоли можно установить лимит на выполнение по времени, можно задать хоть целый час выполнения для этого скрипта. Ну а так, файл грузится на ftp, после чего каждый час, cron запускает задачу, сканируя файлы в папке, ну и если находит то выполняет определенную работу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.11.2012, 12:06 |
|
||
|
[PHP] Загрузка и обработка больших файлов
|
|||
|---|---|---|---|
|
#18+
spider13Подскажите, как можно было бы в PHP загрузить большой файл XML экспортированный в MS Access? Файл имеет достаточно большой объем. ~500 мб. 1я проблема, насколько я знаю, у многих хостеров, максимальная длина файла устанавливается в 20мб. 2я проблема, при загрузке и обработке файла, нужно уложиться в 30 секунд. Первое правило не касается заливки по ftp? Просто странно, что уложиться надо в 30 сек, но можно разом залить болванку инфы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.11.2012, 20:23 |
|
||
|
[PHP] Загрузка и обработка больших файлов
|
|||
|---|---|---|---|
|
#18+
phpzПросто странно, что уложиться надо в 30 секДостаточно распространенное ограничение на время выполнения скрипта :-) Не так уж много можно сделать за это время на среднестатистическом хостинге с 500-метровым файлом. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.11.2012, 20:52 |
|
||
|
[PHP] Загрузка и обработка больших файлов
|
|||
|---|---|---|---|
|
#18+
spider13, Опишите исходную задачу. Возможно, есть какие-то более адекватные решения, кроме жестокого впихивания полгектара пыху. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.11.2012, 21:08 |
|
||
|
[PHP] Загрузка и обработка больших файлов
|
|||
|---|---|---|---|
|
#18+
авторНа клиенте в браузере распарсить 1гиговый xml файл? после чего загрузить 50000 записей по одной на сервер? как то долговато. Советую попробовать в современных браузерах еще и нормально сжать можно =) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.12.2012, 21:36 |
|
||
|
|

start [/forum/topic.php?fid=23&msg=38054668&tid=1464369]: |
0ms |
get settings: |
7ms |
get forum list: |
14ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
48ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
49ms |
get tp. blocked users: |
1ms |
| others: | 225ms |
| total: | 359ms |

| 0 / 0 |
