
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
24.12.2015, 11:29
|
|||
|---|---|---|---|
|
|||
csv-parser для очень больших файлов |
|||
|
#18+
Добрый день! Использовали au.com.bytecode.opencsv.CSVParser но вылезла вот какая проблема. Когда открываются файлы большого (на пределе возможностей) объёма, то этот парсер загаживает память мусором- как результат сборщик мусора надрывается. Проблема в методе au.com.bytecode.opencsv.CSVParser#parseLine(java.lang.String, boolean) - там создаются StringBuilder'ы на сотни гигабайт. Если какой-нибудь парсер, которые достоверно генерирует минимум мусора? Можно даже не такой быстрый. Например uniVocity кто-нибудь пробовал? PS: не есть большая проблема протестировать, но вдруг кто уже? -- Алексей. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
24.12.2015, 11:40
|
|||
|---|---|---|---|
|
|||
csv-parser для очень больших файлов |
|||
|
#18+
Alexey Tomin, А чего всякую экзотику взял, а не Apache Commons? Опять же, сделай Young большим, чтобы мусор в Old не улетал, и не будет проблем с мусором. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
24.12.2015, 12:45
|
|||
|---|---|---|---|
|
|||
csv-parser для очень больших файлов |
|||
|
#18+
BlazkowiczAlexey Tomin, А чего всякую экзотику взял, а не Apache Commons? Опять же, сделай Young большим, чтобы мусор в Old не улетал, и не будет проблем с мусором. Не я брал :) Видимо, индейский парсер ещё хуже. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|

start [/forum/topic.php?fid=59&mobile=1&tid=2124522]: |
0ms |
get settings: |
7ms |
get forum list: |
14ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
135ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
33ms |
get tp. blocked users: |
1ms |
| others: | 230ms |
| total: | 435ms |

| 0 / 0 |
