powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Обработка большого объема файлов
9 сообщений из 9, страница 1 из 1
Обработка большого объема файлов
    #38992079
darlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Здравствуйте, столкнулся с проблемой при парсинге файлов xml, xml также имеет ссылки на файлы, которые я сохраняю у себя на сервере, при этом произвожу ресайз, face detected и заношу все в БД.
Xml бывают большого объема и тут возникает проблема с производительностью.
Подскажите пожалуйста методики или инструменты для увеличении производительности.
Спасибо!
...
Рейтинг: 0 / 0
Обработка большого объема файлов
    #38992081
darlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Не сказал самое главное, все это делается на PHP
...
Рейтинг: 0 / 0
Обработка большого объема файлов
    #38992086
Фотография Изопропил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
darlov,

что занимает время - разбор xml или обработка изображений?
...
Рейтинг: 0 / 0
Обработка большого объема файлов
    #38992378
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторXml бывают большого объема
sax парсер возьми.
...
Рейтинг: 0 / 0
Обработка большого объема файлов
    #38992562
darlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Изопропилdarlov,

что занимает время - разбор xml или обработка изображений?
Разбил все по времени, на каждую функция ресайз с сохранением уходит секунда, вроде не много, а в сумму набегает прилично
...
Рейтинг: 0 / 0
Обработка большого объема файлов
    #38992572
darlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ScareCrowавторXml бывают большого объема
sax парсер возьми.
Я использую SimpleXMLReader, он справляется вроде со своей задачей, как я понял проблема в обработке файлов, (загрузка, resize (2 раза), face detect, и сохранение)
Xml весит до 700 МБ
...
Рейтинг: 0 / 0
Обработка большого объема файлов
    #38992594
darlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Думал насчет разбить на потоки, но сомнения насчет этого, во первых в php нет полноценной многопоточности, только симуляция, да тут работа с диском происходит, а точней HDD. Что можно сделать с этим?
...
Рейтинг: 0 / 0
Обработка большого объема файлов
    #38992666
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
darlovИзопропилdarlov,

что занимает время - разбор xml или обработка изображений?
Разбил все по времени, на каждую функция ресайз с сохранением уходит секунда, вроде не много, а в сумму набегает приличноЧем эта секунда определяется в бОльшей степени - процессорными ресурсами, памятью, пропускной способностью канала, производительностью дисковой подсистемы, чем-то ещё?


darlovДумал насчет разбить на потоки, но сомнения насчет этого, во первых в php нет полноценной многопоточности, только симуляция, да тут работа с диском происходит, а точней HDD. Что можно сделать с этим?Для начала определить узкие места, которые наиболее тормозят. Потом уже можно думать о том, что и как оптимизировать.
...
Рейтинг: 0 / 0
Обработка большого объема файлов
    #38992694
darlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vkle, Не особо понял, я замерял так, после обработки каждой функции указывал вывод разницы времени и все. А во что это упирается, как можно проверить?
Еще, когда я отключил один из двух resize то общее время сократилось значительно.
...
Рейтинг: 0 / 0
9 сообщений из 9, страница 1 из 1
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Обработка большого объема файлов
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]