Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Java [игнор отключен] [закрыт для гостей] / PipeStreams out of memory / 11 сообщений из 11, страница 1 из 1
11.07.2012, 12:23:02
    #37874635
grrh
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PipeStreams out of memory
При работе с большими данными возникает out of memory
Копаясь в этих классах, не могу понять, кто съедает память. Да и вроде везде написано, что чтение блокирует запись. Единственное, что могу предположить - у InputStream забирают (на стороне) недостаточно быстро, насколько я пишу в Output.
Что можно применить, чтобы как-то синхронизировать эти процессы? Как я могу понять, что "пока данные писать не надо"?
...
Рейтинг: 0 / 0
11.07.2012, 12:35:19
    #37874666
Blazkowicz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PipeStreams out of memory
grrhПри работе с большими данными возникает out of memory
Именно OutOfMemoryError: heap space?

grrhКопаясь в этих классах, не могу понять, кто съедает память.
В этих? Не в тех? А дампе кучи надо копаться, а не в классах.
Если речь о PipeStream, то там вроде нет буфера. Расти им некуда.


grrhДа и вроде везде написано, что чтение блокирует запись. Единственное, что могу предположить - у InputStream забирают (на стороне) недостаточно быстро, насколько я пишу в Output. Что можно применить, чтобы как-то синхронизировать эти процессы? Как я могу понять, что "пока данные писать не надо"?
Вы о чем вообще:? как это связано с OOME?
...
Рейтинг: 0 / 0
11.07.2012, 12:49:14
    #37874700
grrh
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PipeStreams out of memory
BlazkowiczИменно OutOfMemoryError: heap space?
java.lang.OutOfMemoryError
насчёт heap space не помню, сейчас сгенерю и посмотрю.

grrhЕсли речь о PipeStream, то там вроде нет буфера. Расти им некуда.
сама в шоке

grrhВы о чем вообще:? как это связано с OOME?
Вот так - если при записи в PipedOutputStream я делаю Thread.sleep - передача проходит без ошибок.
...
Рейтинг: 0 / 0
11.07.2012, 12:51:24
    #37874706
Blazkowicz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PipeStreams out of memory
Подключитесь из Jvisualvm и снимите дамп кучи, если дело в ней.
...
Рейтинг: 0 / 0
11.07.2012, 13:20:04
    #37874780
grrh
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PipeStreams out of memory
Dump Event "systhrow" (00040000) Detail "java/lang/OutOfMemoryError" "native memory exhausted" received

Профайлер показывает вполне вменяемый рост памяти, порядка мегабайт-десятков мегабайт, за это же время процесс вебсферы вырастает на гиг, потом на два, потом вебсфера крашится.
...
Рейтинг: 0 / 0
11.07.2012, 13:28:17
    #37874805
Blazkowicz
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PipeStreams out of memory
grrhDump Event "systhrow" (00040000) Detail "java/lang/OutOfMemoryError" "native memory exhausted" received
Профайлер показывает вполне вменяемый рост памяти, порядка мегабайт-десятков мегабайт, за это же время процесс вебсферы вырастает на гиг, потом на два, потом вебсфера крашится.
Опять экзотические JVM :(
На HotSpot запустить никак?
...
Рейтинг: 0 / 0
11.07.2012, 13:30:56
    #37874812
grrh
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PipeStreams out of memory
скорее всего никак :(
с другой стороны - это уже не совсем "наши" проблемы, посмотрим..
...
Рейтинг: 0 / 0
11.07.2012, 13:49:06
    #37874858
grrh
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PipeStreams out of memory
кстати да, на томкате всё ок без слипов..
...
Рейтинг: 0 / 0
11.07.2012, 14:31:04
    #37874955
rrrrrrrr
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PipeStreams out of memory
С этой вашей jvm тоже наверное как то можно снять хип дамп. Только его просмотр даст ответ о том, кто захавал всю память.
...
Рейтинг: 0 / 0
11.07.2012, 14:34:35
    #37874962
rrrrrrrr
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PipeStreams out of memory
Перечитал еррор месадж повнимательней - т.е. у вас в хипе пусто, а процесс занимает много памяти? Если там есть офф хип аллокации, то возможно есть и объекты в хипе, которые и трекают (типа bytebuffer)? Тогда возможно они окажутся в хип дампе и пможно булет поять кудаушла память.
...
Рейтинг: 0 / 0
12.07.2012, 11:00:14
    #37876112
bezb
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PipeStreams out of memory
...
Рейтинг: 0 / 0
Форумы / Java [игнор отключен] [закрыт для гостей] / PipeStreams out of memory / 11 сообщений из 11, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]