Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Обработка большого объема файлов / 9 сообщений из 9, страница 1 из 1
24.06.2015, 22:23
    #38992079
darlov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка большого объема файлов
Здравствуйте, столкнулся с проблемой при парсинге файлов xml, xml также имеет ссылки на файлы, которые я сохраняю у себя на сервере, при этом произвожу ресайз, face detected и заношу все в БД.
Xml бывают большого объема и тут возникает проблема с производительностью.
Подскажите пожалуйста методики или инструменты для увеличении производительности.
Спасибо!
...
Рейтинг: 0 / 0
24.06.2015, 22:29
    #38992081
darlov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка большого объема файлов
Не сказал самое главное, все это делается на PHP
...
Рейтинг: 0 / 0
24.06.2015, 22:34
    #38992086
Изопропил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка большого объема файлов
darlov,

что занимает время - разбор xml или обработка изображений?
...
Рейтинг: 0 / 0
25.06.2015, 11:03
    #38992378
ScareCrow
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка большого объема файлов
авторXml бывают большого объема
sax парсер возьми.
...
Рейтинг: 0 / 0
25.06.2015, 13:19
    #38992562
darlov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка большого объема файлов
Изопропилdarlov,

что занимает время - разбор xml или обработка изображений?
Разбил все по времени, на каждую функция ресайз с сохранением уходит секунда, вроде не много, а в сумму набегает прилично
...
Рейтинг: 0 / 0
25.06.2015, 13:26
    #38992572
darlov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка большого объема файлов
ScareCrowавторXml бывают большого объема
sax парсер возьми.
Я использую SimpleXMLReader, он справляется вроде со своей задачей, как я понял проблема в обработке файлов, (загрузка, resize (2 раза), face detect, и сохранение)
Xml весит до 700 МБ
...
Рейтинг: 0 / 0
25.06.2015, 13:38
    #38992594
darlov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка большого объема файлов
Думал насчет разбить на потоки, но сомнения насчет этого, во первых в php нет полноценной многопоточности, только симуляция, да тут работа с диском происходит, а точней HDD. Что можно сделать с этим?
...
Рейтинг: 0 / 0
25.06.2015, 14:11
    #38992666
vkle
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка большого объема файлов
darlovИзопропилdarlov,

что занимает время - разбор xml или обработка изображений?
Разбил все по времени, на каждую функция ресайз с сохранением уходит секунда, вроде не много, а в сумму набегает приличноЧем эта секунда определяется в бОльшей степени - процессорными ресурсами, памятью, пропускной способностью канала, производительностью дисковой подсистемы, чем-то ещё?


darlovДумал насчет разбить на потоки, но сомнения насчет этого, во первых в php нет полноценной многопоточности, только симуляция, да тут работа с диском происходит, а точней HDD. Что можно сделать с этим?Для начала определить узкие места, которые наиболее тормозят. Потом уже можно думать о том, что и как оптимизировать.
...
Рейтинг: 0 / 0
25.06.2015, 14:21
    #38992694
darlov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка большого объема файлов
vkle, Не особо понял, я замерял так, после обработки каждой функции указывал вывод разницы времени и все. А во что это упирается, как можно проверить?
Еще, когда я отключил один из двух resize то общее время сократилось значительно.
...
Рейтинг: 0 / 0
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Обработка большого объема файлов / 9 сообщений из 9, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]