|
|
|
csv-parser для очень больших файлов
|
|||
|---|---|---|---|
|
#18+
Добрый день! Использовали au.com.bytecode.opencsv.CSVParser но вылезла вот какая проблема. Когда открываются файлы большого (на пределе возможностей) объёма, то этот парсер загаживает память мусором- как результат сборщик мусора надрывается. Проблема в методе au.com.bytecode.opencsv.CSVParser#parseLine(java.lang.String, boolean) - там создаются StringBuilder'ы на сотни гигабайт. Если какой-нибудь парсер, которые достоверно генерирует минимум мусора? Можно даже не такой быстрый. Например uniVocity кто-нибудь пробовал? PS: не есть большая проблема протестировать, но вдруг кто уже? -- Алексей. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2015, 11:29 |
|
||
|
csv-parser для очень больших файлов
|
|||
|---|---|---|---|
|
#18+
Alexey Tomin, А чего всякую экзотику взял, а не Apache Commons? Опять же, сделай Young большим, чтобы мусор в Old не улетал, и не будет проблем с мусором. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2015, 11:40 |
|
||
|
csv-parser для очень больших файлов
|
|||
|---|---|---|---|
|
#18+
BlazkowiczAlexey Tomin, А чего всякую экзотику взял, а не Apache Commons? Опять же, сделай Young большим, чтобы мусор в Old не улетал, и не будет проблем с мусором. Не я брал :) Видимо, индейский парсер ещё хуже. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2015, 12:45 |
|
||
|
|

start [/forum/topic.php?fid=59&msg=39136898&tid=2124522]: |
0ms |
get settings: |
7ms |
get forum list: |
16ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
52ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
38ms |
get tp. blocked users: |
2ms |
| others: | 241ms |
| total: | 371ms |

| 0 / 0 |
