powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / [PHP] Загрузка и обработка больших файлов
12 сообщений из 12, страница 1 из 1
[PHP] Загрузка и обработка больших файлов
    #38054329
spider13
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Подскажите, как можно было бы в PHP загрузить большой файл XML экспортированный в MS Access? Файл имеет достаточно большой объем. ~500 мб.
1я проблема, насколько я знаю, у многих хостеров, максимальная длина файла устанавливается в 20мб.
2я проблема, при загрузке и обработке файла, нужно уложиться в 30 секунд.
...
Рейтинг: 0 / 0
[PHP] Загрузка и обработка больших файлов
    #38054484
artas
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
spider13Подскажите, как можно было бы в PHP загрузить большой файл XML экспортированный в MS Access? Файл имеет достаточно большой объем. ~500 мб.
1я проблема, насколько я знаю, у многих хостеров, максимальная длина файла устанавливается в 20мб.
2я проблема, при загрузке и обработке файла, нужно уложиться в 30 секунд.
Вы, по моему сами ответили на свой вопрос.
Только на счет длинный файла - если доступ по ФТП то не думаю что есть ограничение. А вообще без разбивки, как минимум програмной не получиться.
Я бы загрузил бы себе на локальную БД, сделал бы дамп, выполнил бы у хостера.
...
Рейтинг: 0 / 0
[PHP] Загрузка и обработка больших файлов
    #38054499
spider13
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
artasspider13Подскажите, как можно было бы в PHP загрузить большой файл XML экспортированный в MS Access? Файл имеет достаточно большой объем. ~500 мб.
1я проблема, насколько я знаю, у многих хостеров, максимальная длина файла устанавливается в 20мб.
2я проблема, при загрузке и обработке файла, нужно уложиться в 30 секунд.
Вы, по моему сами ответили на свой вопрос.
Только на счет длинный файла - если доступ по ФТП то не думаю что есть ограничение. А вообще без разбивки, как минимум програмной не получиться.
Я бы загрузил бы себе на локальную БД, сделал бы дамп, выполнил бы у хостера.

Ну на счет ограничения на загрузку файлов, можно загрузить через ajax, где то я натыкался на такую статейку.

А вот если файл будет обрабатываться больше 30 сек.

У меня есть только одна идея, сделать приложение которое будет загружать данные частями, но не хотелось бы мутить отдельных приложений, хотя в данном случае скорее всего, без него, не получится.
...
Рейтинг: 0 / 0
[PHP] Загрузка и обработка больших файлов
    #38054516
artas
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
spider13У меня есть только одна идея, сделать приложение которое будет загружать данные частями, но не хотелось бы мутить отдельных приложений, хотя в данном случае скорее всего, без него, не получится.
естественно. Но это стоит делать, если на постоянной основе оно будет работать. Если файл нужно загрузить единоразвов, то смотрите мой пост выше
...
Рейтинг: 0 / 0
[PHP] Загрузка и обработка больших файлов
    #38054578
spider13
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
artasspider13У меня есть только одна идея, сделать приложение которое будет загружать данные частями, но не хотелось бы мутить отдельных приложений, хотя в данном случае скорее всего, без него, не получится.
естественно. Но это стоит делать, если на постоянной основе оно будет работать. Если файл нужно загрузить единоразвов, то смотрите мой пост выше

Да в том и дело, что это делается для клиента, который далек от компьютера, поэтому это нужно сделать как можно попроще. И обновлять базу он будет, например, раз в неделю.
...
Рейтинг: 0 / 0
[PHP] Загрузка и обработка больших файлов
    #38054668
BACH
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Во первых заливать такой объем мона будет только флешем, так как стоит лимит на объем загружаемых файлов. Но можно по ftp загружать какойнить приблудой. Например тойже lftp. А на серваке настроить cron чтобы он запускал скрипт пхп из консоли по обработке файла. В этом случае насколько знаю лимита по времени нет.
...
Рейтинг: 0 / 0
[PHP] Загрузка и обработка больших файлов
    #38054799
Фотография Малыхин Сергей
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Что то мне подсказывает что большую часть по обработке можно выполнить на клиенте
...
Рейтинг: 0 / 0
[PHP] Загрузка и обработка больших файлов
    #38057618
spider13
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Малыхин СергейЧто то мне подсказывает что большую часть по обработке можно выполнить на клиенте

На клиенте в браузере распарсить 1гиговый xml файл? после чего загрузить 50000 записей по одной на сервер?
как то долговато.

BACHВо первых заливать такой объем мона будет только флешем, так как стоит лимит на объем загружаемых файлов. Но можно по ftp загружать какойнить приблудой. Например тойже lftp. А на серваке настроить cron чтобы он запускал скрипт пхп из консоли по обработке файла. В этом случае насколько знаю лимита по времени нет.

Спасибо, так вообщем то и сделал, для консоли можно установить лимит на выполнение по времени, можно задать хоть целый час выполнения для этого скрипта.
Ну а так, файл грузится на ftp, после чего каждый час, cron запускает задачу, сканируя файлы в папке, ну и если находит то выполняет определенную работу.
...
Рейтинг: 0 / 0
[PHP] Загрузка и обработка больших файлов
    #38058874
phpz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
spider13Подскажите, как можно было бы в PHP загрузить большой файл XML экспортированный в MS Access? Файл имеет достаточно большой объем. ~500 мб.
1я проблема, насколько я знаю, у многих хостеров, максимальная длина файла устанавливается в 20мб.
2я проблема, при загрузке и обработке файла, нужно уложиться в 30 секунд.

Первое правило не касается заливки по ftp? Просто странно, что уложиться надо в 30 сек, но можно разом залить болванку инфы.
...
Рейтинг: 0 / 0
[PHP] Загрузка и обработка больших файлов
    #38058899
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
phpzПросто странно, что уложиться надо в 30 секДостаточно распространенное ограничение на время выполнения скрипта :-) Не так уж много можно сделать за это время на среднестатистическом хостинге с 500-метровым файлом.
...
Рейтинг: 0 / 0
[PHP] Загрузка и обработка больших файлов
    #38058911
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
spider13,

Опишите исходную задачу. Возможно, есть какие-то более адекватные решения, кроме жестокого впихивания полгектара пыху.
...
Рейтинг: 0 / 0
[PHP] Загрузка и обработка больших файлов
    #38061307
Фотография Малыхин Сергей
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторНа клиенте в браузере распарсить 1гиговый xml файл? после чего загрузить 50000 записей по одной на сервер?
как то долговато.

Советую попробовать в современных браузерах еще и нормально сжать можно =)
...
Рейтинг: 0 / 0
12 сообщений из 12, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / [PHP] Загрузка и обработка больших файлов
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]