|
|
|
csv-parser для очень больших файлов
|
|||
|---|---|---|---|
|
#18+
Добрый день! Использовали au.com.bytecode.opencsv.CSVParser но вылезла вот какая проблема. Когда открываются файлы большого (на пределе возможностей) объёма, то этот парсер загаживает память мусором- как результат сборщик мусора надрывается. Проблема в методе au.com.bytecode.opencsv.CSVParser#parseLine(java.lang.String, boolean) - там создаются StringBuilder'ы на сотни гигабайт. Если какой-нибудь парсер, которые достоверно генерирует минимум мусора? Можно даже не такой быстрый. Например uniVocity кто-нибудь пробовал? PS: не есть большая проблема протестировать, но вдруг кто уже? -- Алексей. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2015, 11:29 |
|
||
|
csv-parser для очень больших файлов
|
|||
|---|---|---|---|
|
#18+
Alexey Tomin, А чего всякую экзотику взял, а не Apache Commons? Опять же, сделай Young большим, чтобы мусор в Old не улетал, и не будет проблем с мусором. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2015, 11:40 |
|
||
|
csv-parser для очень больших файлов
|
|||
|---|---|---|---|
|
#18+
BlazkowiczAlexey Tomin, А чего всякую экзотику взял, а не Apache Commons? Опять же, сделай Young большим, чтобы мусор в Old не улетал, и не будет проблем с мусором. Не я брал :) Видимо, индейский парсер ещё хуже. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2015, 12:45 |
|
||
|
|

start [/forum/topic.php?fid=59&fpage=108&tid=2124522]: |
0ms |
get settings: |
12ms |
get forum list: |
19ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
54ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
33ms |
get tp. blocked users: |
1ms |
| others: | 249ms |
| total: | 384ms |

| 0 / 0 |
