Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности

Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
24.06.2015, 22:23
|
|||
|---|---|---|---|
|
|||
Обработка большого объема файлов |
|||
|
#18+
Здравствуйте, столкнулся с проблемой при парсинге файлов xml, xml также имеет ссылки на файлы, которые я сохраняю у себя на сервере, при этом произвожу ресайз, face detected и заношу все в БД. Xml бывают большого объема и тут возникает проблема с производительностью. Подскажите пожалуйста методики или инструменты для увеличении производительности. Спасибо! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
24.06.2015, 22:29
|
|||
|---|---|---|---|
|
|||
Обработка большого объема файлов |
|||
|
#18+
Не сказал самое главное, все это делается на PHP ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
24.06.2015, 22:34
|
|||
|---|---|---|---|
Обработка большого объема файлов |
|||
|
#18+
darlov, что занимает время - разбор xml или обработка изображений? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.06.2015, 11:03
|
|||
|---|---|---|---|
Обработка большого объема файлов |
|||
|
#18+
авторXml бывают большого объема sax парсер возьми. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.06.2015, 13:19
|
|||
|---|---|---|---|
|
|||
Обработка большого объема файлов |
|||
|
#18+
Изопропилdarlov, что занимает время - разбор xml или обработка изображений? Разбил все по времени, на каждую функция ресайз с сохранением уходит секунда, вроде не много, а в сумму набегает прилично ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.06.2015, 13:26
|
|||
|---|---|---|---|
|
|||
Обработка большого объема файлов |
|||
|
#18+
ScareCrowавторXml бывают большого объема sax парсер возьми. Я использую SimpleXMLReader, он справляется вроде со своей задачей, как я понял проблема в обработке файлов, (загрузка, resize (2 раза), face detect, и сохранение) Xml весит до 700 МБ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.06.2015, 13:38
|
|||
|---|---|---|---|
|
|||
Обработка большого объема файлов |
|||
|
#18+
Думал насчет разбить на потоки, но сомнения насчет этого, во первых в php нет полноценной многопоточности, только симуляция, да тут работа с диском происходит, а точней HDD. Что можно сделать с этим? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.06.2015, 14:11
|
|||
|---|---|---|---|
Обработка большого объема файлов |
|||
|
#18+
darlovИзопропилdarlov, что занимает время - разбор xml или обработка изображений? Разбил все по времени, на каждую функция ресайз с сохранением уходит секунда, вроде не много, а в сумму набегает приличноЧем эта секунда определяется в бОльшей степени - процессорными ресурсами, памятью, пропускной способностью канала, производительностью дисковой подсистемы, чем-то ещё? darlovДумал насчет разбить на потоки, но сомнения насчет этого, во первых в php нет полноценной многопоточности, только симуляция, да тут работа с диском происходит, а точней HDD. Что можно сделать с этим?Для начала определить узкие места, которые наиболее тормозят. Потом уже можно думать о том, что и как оптимизировать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.06.2015, 14:21
|
|||
|---|---|---|---|
|
|||
Обработка большого объема файлов |
|||
|
#18+
vkle, Не особо понял, я замерял так, после обработки каждой функции указывал вывод разницы времени и все. А во что это упирается, как можно проверить? Еще, когда я отключил один из двух resize то общее время сократилось значительно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|

start [/forum/topic.php?fid=23&tablet=1&tid=1461695]: |
0ms |
get settings: |
11ms |
get forum list: |
16ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
29ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
39ms |
get tp. blocked users: |
1ms |
| others: | 250ms |
| total: | 362ms |

| 0 / 0 |
