Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Обработка большого объема файлов
|
|||
|---|---|---|---|
|
#18+
Здравствуйте, столкнулся с проблемой при парсинге файлов xml, xml также имеет ссылки на файлы, которые я сохраняю у себя на сервере, при этом произвожу ресайз, face detected и заношу все в БД. Xml бывают большого объема и тут возникает проблема с производительностью. Подскажите пожалуйста методики или инструменты для увеличении производительности. Спасибо! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.06.2015, 22:23 |
|
||
|
Обработка большого объема файлов
|
|||
|---|---|---|---|
|
#18+
Не сказал самое главное, все это делается на PHP ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.06.2015, 22:29 |
|
||
|
Обработка большого объема файлов
|
|||
|---|---|---|---|
|
#18+
darlov, что занимает время - разбор xml или обработка изображений? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.06.2015, 22:34 |
|
||
|
Обработка большого объема файлов
|
|||
|---|---|---|---|
|
#18+
авторXml бывают большого объема sax парсер возьми. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.06.2015, 11:03 |
|
||
|
Обработка большого объема файлов
|
|||
|---|---|---|---|
|
#18+
Изопропилdarlov, что занимает время - разбор xml или обработка изображений? Разбил все по времени, на каждую функция ресайз с сохранением уходит секунда, вроде не много, а в сумму набегает прилично ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.06.2015, 13:19 |
|
||
|
Обработка большого объема файлов
|
|||
|---|---|---|---|
|
#18+
ScareCrowавторXml бывают большого объема sax парсер возьми. Я использую SimpleXMLReader, он справляется вроде со своей задачей, как я понял проблема в обработке файлов, (загрузка, resize (2 раза), face detect, и сохранение) Xml весит до 700 МБ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.06.2015, 13:26 |
|
||
|
Обработка большого объема файлов
|
|||
|---|---|---|---|
|
#18+
Думал насчет разбить на потоки, но сомнения насчет этого, во первых в php нет полноценной многопоточности, только симуляция, да тут работа с диском происходит, а точней HDD. Что можно сделать с этим? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.06.2015, 13:38 |
|
||
|
Обработка большого объема файлов
|
|||
|---|---|---|---|
|
#18+
darlovИзопропилdarlov, что занимает время - разбор xml или обработка изображений? Разбил все по времени, на каждую функция ресайз с сохранением уходит секунда, вроде не много, а в сумму набегает приличноЧем эта секунда определяется в бОльшей степени - процессорными ресурсами, памятью, пропускной способностью канала, производительностью дисковой подсистемы, чем-то ещё? darlovДумал насчет разбить на потоки, но сомнения насчет этого, во первых в php нет полноценной многопоточности, только симуляция, да тут работа с диском происходит, а точней HDD. Что можно сделать с этим?Для начала определить узкие места, которые наиболее тормозят. Потом уже можно думать о том, что и как оптимизировать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.06.2015, 14:11 |
|
||
|
Обработка большого объема файлов
|
|||
|---|---|---|---|
|
#18+
vkle, Не особо понял, я замерял так, после обработки каждой функции указывал вывод разницы времени и все. А во что это упирается, как можно проверить? Еще, когда я отключил один из двух resize то общее время сократилось значительно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.06.2015, 14:21 |
|
||
|
|

start [/forum/topic.php?fid=23&fpage=59&tid=1461695]: |
0ms |
get settings: |
14ms |
get forum list: |
18ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
33ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
51ms |
get tp. blocked users: |
1ms |
| others: | 256ms |
| total: | 391ms |

| 0 / 0 |
