Memory Leak? / Java

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / Java [игнор отключен] [закрыт для гостей] / Memory Leak?

40 сообщений из 40, показаны все 2 страниц

все

Memory Leak?

#39867281

WGA

Гость

Всем доброго дня!

Прошу помощи в идентификации проблемы.

Dev-сервер Wildfly 11, деплоятся несколько инстансов одного EAR-приложения. Редеплои случаются часто только для сборки из ветки master, сновной ветки разработки. Параметры памяти:

Код: sql

JAVA_OPTS="-Xms1536m -Xmx4096m -XX:MetaspaceSize=96M -XX:MaxMetaspaceSize=1512m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/heapoom.hprof"

Хипдамп имеется, загрузил в MAT и ничего не понимаю...

В отчете Dominator tree 3 основных строчки:

Код: plaintext

1.
2.
3.
4.
5.
6.

Class Name                                            | Shallow Heap | Retained Heap | Percentage
--------------------------------------------------------------------------------------------------
java.lang.Thread @ 0x6d9632fd8  default task-4 Thread |          120 | 1,170,908,752 |     33.08%
java.lang.Thread @ 0x6d8604ce0  default task-2 Thread |          120 |   788,671,152 |     22.28%
java.lang.Thread @ 0x6e0ae8390  default task-10 Thread|          120 |   620,186,896 |     17.52%
--------------------------------------------------------------------------------------------------

В Top consumers та же самая картина. Если посмотреть List objects -> with outgoing references для самого большого объекта, то видим такие результаты:

Код: plaintext

1.
2.
3.
4.
5.
6.

Class Name                                                           | Shallow Heap | Retained Heap
----------------------------------------------------------------------------------------------------
java.lang.Thread @ 0x6d9632fd8  default task-4 Thread                |          120 | 1,170,908,752
............................
|  |  |  |  |  |  |  |  |  |  |  |  |  |  |- <Java Local> java.lang.Thread @ 0x6d9632fd8  default task-4 Thread|          120 | 1,170,908,752
----------------------------------------------------------------------------------------------------

Видно, что java.lang.Thread @ 0x6d9632fd8 замыкается на себя. Ничего не понятно... Если бы память "текла" через класслоадеры, то вроде как Metaspace должно бы исчерпаться, а не Heap. Или я чего-то не догоняю?

...

Рейтинг:

0 / 0

26.09.2019, 13:06

| Ответить | Цитировать | Написать

Memory Leak?

#39867290

WGA

Гость

С группировкой по классам

...

Рейтинг:

0 / 0

26.09.2019, 13:20

| Ответить | Цитировать | Написать

Memory Leak?

#39867294

Leonid Kudryavtsev

Участник

Сообщения: 9 300

Рейтинг: 0 / 0

WGA...Редеплои случаются часто...

AFAIK N1
полно багов с редеплоем, из-за которых память не чистится. Но AFAIK тогда обычно утекает Perm Gen, а не Heap

AFAIK N2
Ты смотрешь root объект который имеет ссылку верхнего уровня на не освобожденные объекты. Возможно из-за редиплоя потоки корректно не останавливаются, т.е. см. п. 1. Ну и смотреть, где и как порождаются потоки и как останавливаются

...

Рейтинг:

0 / 0

26.09.2019, 13:26

| Ответить | Цитировать | Написать

Memory Leak?

#39867318

WGA

Гость

Leonid KudryavtsevWGA...Редеплои случаются часто...

AFAIK N1
полно багов с редеплоем, из-за которых память не чистится. Но AFAIK тогда обычно утекает Perm Gen, а не HeapДа, утечки PermGen - штука известная. Сам удивлен. В Java 8 не PermGen, а MetaSpace, но вряд ли это имеет отношение к сути проблемы.

Интересное наблюдение. Просматривая отчет Leak Suspects, обнаружил такую проблему.

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.

The thread java.lang.Thread @ 0x6d9632fd8 default task-4 keeps local variables with total size 1,170,908,752 (33.08%) bytes.

The memory is accumulated in one instance of "java.lang.Object[]" loaded by "<system class loader>".
The stacktrace of this Thread is available. See stacktrace.



Keywords
java.lang.Object[]
Details »

Посмотрел детали.

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.

Accumulated Objects in Dominator Tree

Class Name                            | Shallow Heap | Retained Heap | Percentage
----------------------------------------------------------------------------------
java.lang.Object[240097] @ 0x76607fd50|      960,408 | 1,170,884,208 |     33.08%
|- byte[461][] @ 0x71321bd60          |        1,864 |         5,800 |      0.00%
|- byte[461][] @ 0x6fe760148          |        1,864 |         5,800 |      0.00%
|- byte[461][] @ 0x70c33b5b0          |        1,864 |         5,800 |      0.00%
----------------------------------------------------------------------------------

Целая туча абсолютно однотипных объектов, более 200000, все по 5800 байт retained size. Просмотрел содержимое, а там проскакивают enum'ы, которые в используются в сущностях хибернейтовских. Похоже это данные в ThreadLocal текут. Проблема в том, что нигде явно ThreadLocal не используется... Какая-то хрень в Хибернейте, но не исключено, что и аппликейшн код не без косяков.

...

Рейтинг:

0 / 0

26.09.2019, 14:06

| Ответить | Цитировать | Написать

Memory Leak?

#39867323

ivanra

Гость

Осталось посмотреть кто держит этот массив

Код: plaintext

java.lang.Object[240097] @ 0x76607fd50

Скорее всего какой-нибудь ArrayList. Ну и дальше вверх надо смотреть кто хозяин

...

Рейтинг:

0 / 0

26.09.2019, 14:11

| Ответить | Цитировать | Написать

Memory Leak?

#39867326

WGA

Гость

ivanraОсталось посмотреть кто держит этот массив

Код: plaintext

java.lang.Object[240097] @ 0x76607fd50

Скорее всего какой-нибудь ArrayList. Ну и дальше вверх надо смотреть кто хозяин

Код: plaintext

1.
2.
3.
4.
5.

Class Name                                                           | Shallow Heap | Retained Heap
----------------------------------------------------------------------------------------------------
java.util.ArrayList @ 0x6f40dd208                                    |           24 | 1,170,884,232
'- <Java Local> java.lang.Thread @ 0x6d9632fd8  default task-4 Thread|          120 | 1,170,908,752
----------------------------------------------------------------------------------------------------

Так понимаю, <Java Local> - это thread local треда "default task-4 Thread". Почему-то окольными путями добрался к этому массиву, видимо, чего-то в MAT я не догоняю. Или thread local - штука особенная.

Понять бы, что это за объекты. Вот что выводит outgoing references для ArrayList

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.

Class Name                                                     | Shallow Heap | Retained Heap
----------------------------------------------------------------------------------------------
java.util.ArrayList @ 0x6f40dd208                              |           24 | 1,170,884,232
|- <class> class java.util.ArrayList @ 0x6c2c06b90 System Class|           24 |            24
|- elementData java.lang.Object[240097] @ 0x76607fd50          |      960,408 | 1,170,884,208
|  |- <class> class java.lang.Object[] @ 0x6c2b11e18           |            0 |             0
|  |- [4467] byte[461][] @ 0x6f3690178                         |        1,864 |         5,800
|  |- [4466] byte[461][] @ 0x6f44dd248                         |        1,864 |         5,800
|  |- [4417] byte[461][] @ 0x6f44e5e10                         |        1,864 |         5,800
|  |- [4418] byte[461][] @ 0x6f44fb1d0                         |        1,864 |         5,800
|  |- [3768] byte[461][] @ 0x6f45212f0                         |        1,864 |         5,800
----------------------------------------------------------------------------------------------

Двумерный массив, вроде бы как.

...

Рейтинг:

0 / 0

26.09.2019, 14:22

| Ответить | Цитировать | Написать

Memory Leak?

#39867339

WGA

Гость

Очень похоже на сериализованные объекты доменных классов. И похоже, что они остаются в памяти только при редеплое, иначе бы прод бы падал с завидной регулярностью, чего нет в действительности. И у нас не используется кэш 2-го уровня. Откуда же эта зараза берется?..

...

Рейтинг:

0 / 0

26.09.2019, 14:37

| Ответить | Цитировать | Написать

Memory Leak?

#39867343

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 0 / 0

WGA,

вы можете по отчоту где лежат 1,170,884,208 объектов кликнуть мышкой и посмотреть какой бизнесовый экзепляр
там лежит?

...

Рейтинг:

0 / 0

26.09.2019, 14:41

| Ответить | Цитировать | Написать

Memory Leak?

#39867348

WGA

Гость

maytonWGA,

вы можете по отчоту где лежат 1,170,884,208 объектов кликнуть мышкой и посмотреть какой бизнесовый экзепляр
там лежит?Могу и уже сделал. Только не все древо развернул.

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.

Class Name                                                                 | Shallow Heap | Retained Heap
----------------------------------------------------------------------------------------------------------
java.util.ArrayList @ 0x6f40dd208                                          |           24 | 1,170,884,232
|- <class> class java.util.ArrayList @ 0x6c2c06b90 System Class            |           24 |            24
|- elementData java.lang.Object[240097] @ 0x76607fd50                      |      960,408 | 1,170,884,208
|  |- <class> class java.lang.Object[] @ 0x6c2b11e18                       |            0 |             0
....................................................................................................................... (пропущены строки)
|  |- [4460] byte[461][] @ 0x6f4530fd8                                     |        1,864 |         5,800
|  |  |- <class> class byte[][] @ 0x6c05e7188                              |            0 |             0
|  |  |- [450] byte[3] @ 0x6f4531720  ...                                  |           24 |            24
|  |  |- [449] byte[3] @ 0x6f4531738  643                                  |           24 |            24
|  |  |- [448] byte[10] @ 0x6f4531750  ..........                          |           32 |            32
|  |  |- [447] byte[9] @ 0x6f4531770  MASCULINE                            |           32 |            32
|  |  |- [446] byte[10] @ 0x6f4531790  ..........                          |           32 |            32
|  |  |- [445] byte[10] @ 0x6f45317b0  ..........                          |           32 |            32
|  |  |- [444] byte[12] @ 0x6f45317d0  ............                        |           32 |            32
|  |  |- [443] byte[6] @ 0x6f45317f0  ......                               |           24 |            24
|  |  |- [442] byte[8] @ 0x6f4531808  FEMININE                             |           24 |            24
|  |  |- [441] byte[14] @ 0x6f4531820  ..............                      |           32 |            32
|  |  |- [440] byte[14] @ 0x6f4531840  ..............                      |           32 |            32
|  |  |- [439] byte[12] @ 0x6f4531860  ............                        |           32 |            32
|  |  |- [438] byte[6] @ 0x6f4531880  ......                               |           24 |            24
|  |  |- [437] byte[3] @ 0x6f4531898  RUB                                  |           24 |            24
|  |  |- [436] byte[26] @ 0x6f45318b0  2018-05-28 11:07:02.658117          |           48 |            48
|  |  |- [435] byte[26] @ 0x6f45318e0  2018-05-28 11:07:02.658117          |           48 |            48
|  |  |- [434] byte[1] @ 0x6f4531910  0                                    |           24 |            24
|  |  |- [433] byte[36] @ 0x6f4531928  1ffb6a1f-d7b4-4014-99c3-9023029c3aec|           56 |            56
|  |  |- [365] byte[12] @ 0x6f4531960  LEGAL_ENTITY                        |           32 |            32
|  |  |- [360] byte[1] @ 0x6f4531980  f                                    |           24 |            24
|  |  |- [354] byte[36] @ 0x6f4531998  dfe8f44a-3bb9-451e-80d9-8be2cce0d2ee|           56 |            56
|  |  |- [352] byte[36] @ 0x6f45319d0  53bafd08-959e-42f5-b67e-b1125df665e7|           56 |            56
|  |  |- [351] byte[23] @ 0x6f4531a08  2019-02-07 21:36:54.122             |           40 |            40
----------------------------------------------------------------------------------------------------------

Самих объектов нет, похоже это сериализованное представление какой-то entity. Выборочно нашел, к чему относится UUID=1ffb6a1f-d7b4-4014-99c3-9023029c3aec, это экземпляр сущности Currency (RUB). Т.е. в threadlocal рабочего пула потоков Wildfly зависают данные. При редеплое ссылки остаются и держат как heap, так и metaspace, просто под metaspace выделно много памяти, heap кончается быстрее, похоже.

...

Рейтинг:

0 / 0

26.09.2019, 14:49

| Ответить | Цитировать | Написать

Memory Leak?

#39867349

ivanra

Гость

WGA,

авторТак понимаю, <Java Local> - это thread local треда "default task-4 Thread".
Нет, эта таблица хранится в переменной threadLocals, можно посмотреть в jdk.
Советую для начала понять, что это за поток. Вызвать для него контекстное меню Java Basics - Thread Details, там будет стек, по которому уже можно догадаться, чем поток занимается

...

Рейтинг:

0 / 0

26.09.2019, 14:49

| Ответить | Цитировать | Написать

Memory Leak?

#39867353

ivanra

Гость

ivanraWGA,

авторТак понимаю, <Java Local> - это thread local треда "default task-4 Thread".
Нет, эта таблица хранится в переменной threadLocals, можно посмотреть в jdk.

Если недостаточно понятно - наименования полей всегда видно, именно такие же, как в исходном коде jdk. Если же мы видим <Java Local> - то это переменная, объявленная в методе, а не поле. Этот метод почему-то никак не может закончиться и освободить переменную. Поэтому смотрим в стек и догадываемся, что метод делает

...

Рейтинг:

0 / 0

26.09.2019, 14:58

| Ответить | Цитировать | Написать

Memory Leak?

#39867354

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 0 / 0

Мне кажется этот зубчатый (jagged) массив порождает не код программиста а какой-то фреймворк.
Что за фреймворки у вас используются?

...

Рейтинг:

0 / 0

26.09.2019, 15:00

| Ответить | Цитировать | Написать

Memory Leak?

#39867356

WGA

Гость

ivanraWGA,

авторТак понимаю, <Java Local> - это thread local треда "default task-4 Thread".
Нет, эта таблица хранится в переменной threadLocals, можно посмотреть в jdk.
Советую для начала понять, что это за поток. Вызвать для него контекстное меню Java Basics - Thread Details, там будет стек, по которому уже можно догадаться, чем поток занимаетсяДа, действительно, threadLocals - это отдельное поле.
Вот стектрейс треда:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.

default task-4
  at org.postgresql.core.PGStream.receiveTupleV3()[[B (PGStream.java:435)
  at org.postgresql.core.v3.QueryExecutorImpl.processResults(Lorg/postgresql/core/ResultHandler;I)V (QueryExecutorImpl.java:2174)
  at org.postgresql.core.v3.QueryExecutorImpl.execute(Lorg/postgresql/core/Query;Lorg/postgresql/core/ParameterList;Lorg/postgresql/core/ResultHandler;III)V (QueryExecutorImpl.java:309)
  at org.postgresql.jdbc.PgStatement.executeInternal(Lorg/postgresql/core/CachedQuery;Lorg/postgresql/core/ParameterList;I)V (PgStatement.java:446)
  at org.postgresql.jdbc.PgStatement.execute(Lorg/postgresql/core/CachedQuery;Lorg/postgresql/core/ParameterList;I)V (PgStatement.java:370)
  at org.postgresql.jdbc.PgPreparedStatement.executeWithFlags(I)Z (PgPreparedStatement.java:149)
  at org.postgresql.jdbc.PgPreparedStatement.executeQuery()Ljava/sql/ResultSet; (PgPreparedStatement.java:108)
  at org.jboss.jca.adapters.jdbc.WrappedPreparedStatement.executeQuery()Ljava/sql/ResultSet; (WrappedPreparedStatement.java:504)
  at org.hibernate.engine.jdbc.internal.ResultSetReturnImpl.extract(Ljava/sql/PreparedStatement;)Ljava/sql/ResultSet; (ResultSetReturnImpl.java:70)
  at org.hibernate.loader.plan.exec.internal.AbstractLoadPlanBasedLoader.getResultSet(Ljava/sql/PreparedStatement;Lorg/hibernate/engine/spi/RowSelection;Lorg/hibernate/dialect/pagination/LimitHandler;ZLorg/hibernate/engine/spi/SessionImplementor;)Ljava/sql/ResultSet; (AbstractLoadPlanBasedLoader.java:434)
  at org.hibernate.loader.plan.exec.internal.AbstractLoadPlanBasedLoader.executeQueryStatement(Ljava/lang/String;Lorg/hibernate/engine/spi/QueryParameters;ZLjava/util/List;Lorg/hibernate/engine/spi/SessionImplementor;)Lorg/hibernate/loader/plan/exec/internal/AbstractLoadPlanBasedLoader$SqlStatementWrapper; (AbstractLoadPlanBasedLoader.java:186)
  at org.hibernate.loader.plan.exec.internal.AbstractLoadPlanBasedLoader.executeLoad(Lorg/hibernate/engine/spi/SessionImplementor;Lorg/hibernate/engine/spi/QueryParameters;Lorg/hibernate/loader/plan/exec/spi/LoadQueryDetails;ZLorg/hibernate/transform/ResultTransformer;Ljava/util/List;)Ljava/util/List; (AbstractLoadPlanBasedLoader.java:121)
  at org.hibernate.loader.plan.exec.internal.AbstractLoadPlanBasedLoader.executeLoad(Lorg/hibernate/engine/spi/SessionImplementor;Lorg/hibernate/engine/spi/QueryParameters;Lorg/hibernate/loader/plan/exec/spi/LoadQueryDetails;ZLorg/hibernate/transform/ResultTransformer;)Ljava/util/List; (AbstractLoadPlanBasedLoader.java:86)
  at org.hibernate.loader.collection.plan.AbstractLoadPlanBasedCollectionInitializer.initialize(Ljava/io/Serializable;Lorg/hibernate/engine/spi/SessionImplementor;)V (AbstractLoadPlanBasedCollectionInitializer.java:88)
  at org.hibernate.persister.collection.AbstractCollectionPersister.initialize(Ljava/io/Serializable;Lorg/hibernate/engine/spi/SessionImplementor;)V (AbstractCollectionPersister.java:688)
  at org.hibernate.event.internal.DefaultInitializeCollectionEventListener.onInitializeCollection(Lorg/hibernate/event/spi/InitializeCollectionEvent;)V (DefaultInitializeCollectionEventListener.java:75)
  at org.hibernate.internal.SessionImpl.initializeCollection(Lorg/hibernate/collection/spi/PersistentCollection;Z)V (SessionImpl.java:2004)
  at org.hibernate.collection.internal.AbstractPersistentCollection$4.doWork()Ljava/lang/Object; (AbstractPersistentCollection.java:567)
  at org.hibernate.collection.internal.AbstractPersistentCollection.withTemporarySessionIfNeeded(Lorg/hibernate/collection/internal/AbstractPersistentCollection$LazyInitializationWork;)Ljava/lang/Object; (AbstractPersistentCollection.java:249)
  at org.hibernate.collection.internal.AbstractPersistentCollection.initialize(Z)V (AbstractPersistentCollection.java:563)
  at org.hibernate.collection.internal.AbstractPersistentCollection.read()V (AbstractPersistentCollection.java:132)
  at org.hibernate.collection.internal.PersistentBag.iterator()Ljava/util/Iterator; (PersistentBag.java:277)
  at java.util.Spliterators$IteratorSpliterator.estimateSize()J (Spliterators.java:1821)
  at java.util.Spliterator.getExactSizeIfKnown()J (Spliterator.java:408)
  at java.util.stream.AbstractPipeline.copyInto(Ljava/util/stream/Sink;Ljava/util/Spliterator;)V (AbstractPipeline.java:480)
  at java.util.stream.AbstractPipeline.wrapAndCopyInto(Ljava/util/stream/Sink;Ljava/util/Spliterator;)Ljava/util/stream/Sink; (AbstractPipeline.java:471)
  at java.util.stream.ReduceOps$ReduceOp.evaluateSequential(Ljava/util/stream/PipelineHelper;Ljava/util/Spliterator;)Ljava/lang/Object; (ReduceOps.java:708)
  at java.util.stream.AbstractPipeline.evaluate(Ljava/util/stream/TerminalOp;)Ljava/lang/Object; (AbstractPipeline.java:234)
  at java.util.stream.ReferencePipeline.collect(Ljava/util/stream/Collector;)Ljava/lang/Object; (ReferencePipeline.java:499)
  at ru.septagon.recs.rs.view.CompanyFullView$InnerCashRegisterView.of(Lru/septagon/recs/domain/organization/CashRegister;)Lru/septagon/recs/rs/view/CompanyFullView$InnerCashRegisterView; (CompanyFullView.java:199)
  at ru.septagon.recs.rs.view.DivisionDetail$$Lambda$1899.apply(Ljava/lang/Object;)Ljava/lang/Object; (Unknown Source)
  at java.util.stream.ReferencePipeline$3$1.accept(Ljava/lang/Object;)V (ReferencePipeline.java:193)
  at java.util.Iterator.forEachRemaining(Ljava/util/function/Consumer;)V (Iterator.java:116)
  at java.util.Spliterators$IteratorSpliterator.forEachRemaining(Ljava/util/function/Consumer;)V (Spliterators.java:1801)
  at java.util.stream.AbstractPipeline.copyInto(Ljava/util/stream/Sink;Ljava/util/Spliterator;)V (AbstractPipeline.java:481)
  at java.util.stream.AbstractPipeline.wrapAndCopyInto(Ljava/util/stream/Sink;Ljava/util/Spliterator;)Ljava/util/stream/Sink; (AbstractPipeline.java:471)
  at java.util.stream.ReduceOps$ReduceOp.evaluateSequential(Ljava/util/stream/PipelineHelper;Ljava/util/Spliterator;)Ljava/lang/Object; (ReduceOps.java:708)
  at java.util.stream.AbstractPipeline.evaluate(Ljava/util/stream/TerminalOp;)Ljava/lang/Object; (AbstractPipeline.java:234)
  at java.util.stream.ReferencePipeline.collect(Ljava/util/stream/Collector;)Ljava/lang/Object; (ReferencePipeline.java:499)
  at ru.septagon.recs.rs.view.DivisionDetail.fill(Lru/septagon/recs/domain/organization/Division;)V (DivisionDetail.java:92)
  at ru.septagon.recs.rs.view.DivisionDetail.of(Lru/septagon/recs/domain/organization/Division;)Lru/septagon/recs/rs/view/DivisionDetail; (DivisionDetail.java:51)
  at ru.septagon.recs.rs.view.CompanyFullView$$Lambda$1898.apply(Ljava/lang/Object;)Ljava/lang/Object; (Unknown Source)
  at java.util.stream.ReferencePipeline$3$1.accept(Ljava/lang/Object;)V (ReferencePipeline.java:193)
  at java.util.Iterator.forEachRemaining(Ljava/util/function/Consumer;)V (Iterator.java:116)
  at java.util.Spliterators$IteratorSpliterator.forEachRemaining(Ljava/util/function/Consumer;)V (Spliterators.java:1801)
  at java.util.stream.AbstractPipeline.copyInto(Ljava/util/stream/Sink;Ljava/util/Spliterator;)V (AbstractPipeline.java:481)
  at java.util.stream.AbstractPipeline.wrapAndCopyInto(Ljava/util/stream/Sink;Ljava/util/Spliterator;)Ljava/util/stream/Sink; (AbstractPipeline.java:471)
  at java.util.stream.ReduceOps$ReduceOp.evaluateSequential(Ljava/util/stream/PipelineHelper;Ljava/util/Spliterator;)Ljava/lang/Object; (ReduceOps.java:708)
  at java.util.stream.AbstractPipeline.evaluate(Ljava/util/stream/TerminalOp;)Ljava/lang/Object; (AbstractPipeline.java:234)
  at java.util.stream.ReferencePipeline.collect(Ljava/util/stream/Collector;)Ljava/lang/Object; (ReferencePipeline.java:499)
  at ru.septagon.recs.rs.view.CompanyFullView.fill(Lru/septagon/recs/domain/organization/Company;)V (CompanyFullView.java:58)
  at ru.septagon.recs.rs.view.CompanyFullView.of(Lru/septagon/recs/domain/organization/Company;)Lru/septagon/recs/rs/view/CompanyFullView; (CompanyFullView.java:49)
  at ru.septagon.recs.rs.CompaniesResource$$Lambda$1895.apply(Ljava/lang/Object;)Ljava/lang/Object; (Unknown Source)
  at ru.septagon.recs.service.CompanyService.getCompany(Ljava/util/UUID;Ljava/util/function/Function;)Ljava/lang/Object; (CompanyService.java:188)
...............................................................

А вот outgoing reference у того же самого потока

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.

Class Name                                                                                           | Shallow Heap | Retained Heap
------------------------------------------------------------------------------------------------------------------------------------
java.lang.Thread @ 0x6d9632fd8  default task-4 Thread                                                |          120 | 1,170,908,752
|- <Java Local> java.lang.Thread @ 0x6d9632fd8  default task-4 Thread                                |          120 | 1,170,908,752
|- <Java Local> java.util.ArrayList @ 0x6f40dd208                                                    |           24 | 1,170,884,232
|- <Java Local> org.postgresql.core.v3.QueryExecutorImpl @ 0x6e27c97b8                               |          200 |     1,154,864
|- contextClassLoader org.jboss.modules.ModuleClassLoader @ 0x6e56718d8                              |           88 |       141,432
|- <Java Local> org.hibernate.loader.plan.exec.internal.BasicCollectionLoadQueryDetails @ 0x6ef8b9180|           48 |       117,224
|- <Java Local> org.hibernate.engine.internal.StatefulPersistenceContext @ 0x6f38e2680               |          104 |        69,072
|- <Java Local> org.postgresql.core.PGStream @ 0x6e27c9880                                           |           64 |        35,360
|- <Java Local> org.jboss.modules.ModuleClassLoader @ 0x6c2c19dd0                                    |           88 |        33,368
|- threadLocals java.lang.ThreadLocal$ThreadLocalMap @ 0x6d96331d8                                   |           24 |         9,488
|- <Java Local> io.undertow.servlet.spec.HttpServletRequestImpl @ 0x6f391dd00                        |           72 |         4,920
|- <Java Local> org.jboss.resteasy.spi.ResteasyUriInfo @ 0x6f40dd670                                 |           96 |         4,904
|- <Java Local> byte[461][] @ 0x76aaf9a98                                                            |        1,864 |         4,000
------------------------------------------------------------------------------------------------------------------------------------

Отсюда
4. Java Local: All local variables (parameters, objects or methods in thread stacks)Это просто локальные переменные. Все интереснее и интереснее...

...

Рейтинг:

0 / 0

26.09.2019, 15:02

| Ответить | Цитировать | Написать

Memory Leak?

#39867359

WGA

Гость

maytonМне кажется этот зубчатый (jagged) массив порождает не код программиста а какой-то фреймворк.
Что за фреймворки у вас используются?JEE7, реализация - Wildfly 11.
Используемые технологии из спецификации:
1. JPA - под капотом Hibernate 5.1.10.Final.
2. JMS - ActiveMQ.
3. JAX RS - ReastEasy

Но по всем видать, дело в JPA.

...

Рейтинг:

0 / 0

26.09.2019, 15:06

| Ответить | Цитировать | Написать

Memory Leak?

#39867362

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 0 / 0

Код: java

|- [436] byte[26] @ 0x6f45318b0  2018-05-28 11:07:02.658117

Интересно. Строки сериализованы в байты для экономии. В ASCIIZ.

...

Рейтинг:

0 / 0

26.09.2019, 15:12

| Ответить | Цитировать | Написать

Memory Leak?

#39867363

ivanra

Гость

WGA,

Вот, а теперь смотрим исходники своих методов, которые попали в этот стек, начиная с
авторru.septagon.recs.rs.view.CompanyFullView$InnerCashRegisterView.of
Судя по всему, там мега запросы к базе. Возможно, во время выполнения произошел редеплой. Как там работает в таких случаях хибернейт не знаю, но к запросам лучше приглядеться

...

Рейтинг:

0 / 0

26.09.2019, 15:12

| Ответить | Цитировать | Написать

Memory Leak?

#39867366

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 0 / 0

EhCache сбоку где-то прикручен? По eviction-policy еще не успел кеши зачистить и засрал весь хип.

...

Рейтинг:

0 / 0

26.09.2019, 15:17

| Ответить | Цитировать | Написать

Memory Leak?

#39867368

Leonid Kudryavtsev

Участник

Сообщения: 9 300

Рейтинг: 0 / 0

у нас дамп памяти вообще был замусорен byte[] массивами от Java JDBC был. Долго и нудно техподдерка Oracle предлагала JDBC проапгрейдить, потом выяснилось, что косяк в нашем коде. Не всегда statement.close вызывали, вот JDBC буфера в памяти и оставались. Самое веселое, что просмоторшики дампов данную память относили к категории "может быть очищена", в результате по версии просмоторшиков дампов вообще был бред 2 Gb heap, из них 1.8 Gb "может быть очищена", но упали с out of memory.

...

Рейтинг:

0 / 0

26.09.2019, 15:20

| Ответить | Цитировать | Написать

Memory Leak?

#39867375

ivanra

Гость

Leonid Kudryavtsev,

да, тут скорее всего ошибка в бизнес коде. Судя по названию метода CompanyFullView можно предположить, что происходил обход дерева подразделений, и что-то пошло не так. Например, цикл. Или проблема n+1

...

Рейтинг:

0 / 0

26.09.2019, 15:26

| Ответить | Цитировать | Написать

Memory Leak?

#39867377

Leonid Kudryavtsev

Участник

Сообщения: 9 300

Рейтинг: 0 / 0

WGA|- <Java Local> org.postgresql.core.v3.QueryExecutorImpl @ 0x6e27c97b8 | 200 | 1,154,864
|- contextClassLoader org.jboss.modules.ModuleClassLoader @ 0x6e56718d8 | 88 | 141,432

Из-за редеплоя "просрали" classloader, из-за просранного класслоадера не смогли почистить не закрытые сессии/статменты?

как предположение

...

Рейтинг:

0 / 0

26.09.2019, 15:27

| Ответить | Цитировать | Написать

Memory Leak?

#39867378

Leonid Kudryavtsev

Участник

Сообщения: 9 300

Рейтинг: 0 / 0

ivanraLeonid Kudryavtsev,

да, тут скорее всего ошибка в бизнес коде. Судя по названию метода CompanyFullView можно предположить, что происходил обход дерева подразделений, и что-то пошло не так. Например, цикл. Или проблема n+1
Leonid Kudryavtsev|- contextClassLoader org.jboss.modules.ModuleClassLoader @ 0x6e56718d8 | 88 | 141,432

Если 88 это кол-во копий classLoader'а, то IMHO налицо классический bug с редиплоем

Как-то класлоадеров многовато, на мой взгляд.

...

Рейтинг:

0 / 0

26.09.2019, 15:29

| Ответить | Цитировать | Написать

Memory Leak?

#39867380

Leonid Kudryavtsev

Участник

Сообщения: 9 300

Рейтинг: 0 / 0

+ где-то в коде не закрываются сессии/стайтменты

одно наслоилось на другое, получилось 2 Gb мусора. Если бы открытых "жрущих" сессии/стайтментов не было бы, то рано или поздно уплали бы по классической out of perm gen (или метаспейс). А так, JDBC heap засисрает быстрее, чем классы perm gen

IMHO

...

Рейтинг:

0 / 0

26.09.2019, 15:33

| Ответить | Цитировать | Написать

Memory Leak?

#39867388

ivanra

Гость

Leonid Kudryavtsev,
кеш это обычно различные варианты HashMap-а, а тут ArrayList. Целый гиг данных, прочитанный из базы каким-то одним методом. Не так давно мы фильмы такого объема смотрели, для БД это многовато

...

Рейтинг:

0 / 0

26.09.2019, 15:42

| Ответить | Цитировать | Написать

Memory Leak?

#39867391

Leonid Kudryavtsev

Участник

Сообщения: 9 300

Рейтинг: 0 / 0

ivanraкеш это обычно различные варианты HashMap-а, а тут ArrayList. Целый гиг данных, прочитанный из базы каким-то одним методом. Не так давно мы фильмы такого объема смотрели, для БД это многовато
Не правда ваша. В наше время программистам 2 Гига засрать - как 2 пальца обосновать ))) Банальные буффера для обмена по сети, для Oracle JDBC thin драйвера по 32-64 MB - запросто! Даже для простейшего "select dummy from dual" - дабы не жалко (при нормальной работе они реиспользуются и очищаются).

Здесь же видим 200 НЕ закрытых Statement'ов в 88 не до убитых копиях приложений (88 штук класслоадеров).

...

Рейтинг:

0 / 0

26.09.2019, 15:50

| Ответить | Цитировать | Написать

Memory Leak?

#39867396

WGA

Гость

mayton

Код: java

|- [436] byte[26] @ 0x6f45318b0  2018-05-28 11:07:02.658117

Интересно. Строки сериализованы в байты для экономии. В ASCIIZ.Это дата/время создания или обновления, есть в каждой сущности. И поля соответствующие типа LocalDateTime, а не строка.
maytonEhCache сбоку где-то прикручен? По eviction-policy еще не успел кеши зачистить и засрал весь хип.Нет, кэш второго уровня не подключен. Не дошло до этого.
Leonid Kudryavtsevу нас дамп памяти вообще был замусорен byte[] массивами от Java JDBC был. Долго и нудно техподдерка Oracle предлагала JDBC проапгрейдить, потом выяснилось, что косяк в нашем коде. Не всегда statement.close вызывали, вот JDBC буфера в памяти и оставались. Самое веселое, что просмоторшики дампов данную память относили к категории "может быть очищена", в результате по версии просмоторшиков дампов вообще был бред 2 Gb heap, из них 1.8 Gb "может быть очищена", но упали с out of memory.Невысвобождение ресурсов - не наш случай. Почти везде container-managed transaction managment, руками ничего не высвбождается. Специально проверил все бины с ручным управлением - там не используется JPA. А где JDBC просмотрел - все закрывается.ivanraWGA,

Вот, а теперь смотрим исходники своих методов, которые попали в этот стек, начиная с
авторru.septagon.recs.rs.view.CompanyFullView$InnerCashRegisterView.of
Судя по всему, там мега запросы к базе. Возможно, во время выполнения произошел редеплой. Как там работает в таких случаях хибернейт не знаю, но к запросам лучше приглядетьсяДа, очень похоже на мега-граф объектов, тянущихся с главной сущностью Company. А возможно еще и косяки с equals/hashCode имеются.

Судя по куче разных объектов типа Currency с одним IDшником (тот самый RUB), возможно equals/hashCode работают некорректно и Hibernate не может понять, что это один и тот же объект и плодит их со страшной силой. Надо порядок в сущностях навести.

В общем ушел пытаться воспроизвести проблему в своей песочнице.

...

Рейтинг:

0 / 0

26.09.2019, 15:56

| Ответить | Цитировать | Написать

Memory Leak?

#39867398

Leonid Kudryavtsev

Участник

Сообщения: 9 300

Рейтинг: 0 / 0

Если 88 это кол-во класслоадеров - то IMHO их как-то многовато. Оставание в памяти класслоадера == "классический баг с редиплоем"

IMHO & AFAIK

1) поскольку он классический, читать доки из-за чего такое происходит и как этого избежать (он вроде как-то связан с не очень хорошими практиками в пользовательском коде)
2) возможно менять версию сервера (ставить патчи) или даже сам сервер на другой (как минимум в томкатах с ним боролись из версии к версии)
3) забить нано-болт и вместо редиплоя перегружать сервер

...

Рейтинг:

0 / 0

26.09.2019, 15:57

| Ответить | Цитировать | Написать

Memory Leak?

#39867399

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 0 / 0

А 88 класслоадеров это много? Мне кажется зависит от.

...

Рейтинг:

0 / 0

26.09.2019, 15:58

| Ответить | Цитировать | Написать

Memory Leak?

#39867406

Leonid Kudryavtsev

Участник

Сообщения: 9 300

Рейтинг: 0 / 0

maytonА 88 класслоадеров это много? Мне кажется зависит от.
Мне не очень понятно, что это за цифра 88 (((

если это байт - то тогда мало
если кол-во в шутках - то тогда IMHO много

...

Рейтинг:

0 / 0

26.09.2019, 16:01

| Ответить | Цитировать | Написать

Memory Leak?

#39867407

ivanra

Гость

Leonid KudryavtsevmaytonА 88 класслоадеров это много? Мне кажется зависит от.
Мне не очень понятно, что это за цифра 88 (((

если это байт - то тогда мало
если кол-во в шутках - то тогда IMHO много
В данном случае 88 - это Shallow Heap - количество байт, которое объект занимает в памяти сам по себе.
Сколько там класслоадеров история умалчивает

...

Рейтинг:

0 / 0

26.09.2019, 16:04

| Ответить | Цитировать | Написать

Memory Leak?

#39867409

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 0 / 0

Я думаю что нужно позвать программиста который знает этот бизнес-домен.
И показать ему содержание зубчатого массива byte[461][] и спросить что єто
за данные? И ответ придет очень быстро. От данных пойдем к коду который их продуцирует.

...

Рейтинг:

0 / 0

26.09.2019, 16:07

| Ответить | Цитировать | Написать

Memory Leak?

#39867566

WGA

Гость

maytonЯ думаю что нужно позвать программиста который знает этот бизнес-домен.
И показать ему содержание зубчатого массива byte[461][] и спросить что єто
за данные? И ответ придет очень быстро. От данных пойдем к коду который их продуцирует.Я знаю бизнес-домен и нашел, какой запрос выполняется, с каким параметром. Но не воспроизводится в "тепличных условиях", т.е. если просто дернуть REST-метод. Возможно, фактора редеплоя не хватает.

Меня смущает этот огромный ArrayList, в котором лежат массивы байтов. Учитывая, что в нем лежат не java-объекты, а некое сериализованное представление доменных объектов, начинаю подозревать postgresql драйвер. Только не воспроизводится, зараза ((

А можно ли как-нибудь из анализа heap dump определить, в какой точке стектрейса определена локальная переменная?

...

Рейтинг:

0 / 0

26.09.2019, 22:09

| Ответить | Цитировать | Написать

Memory Leak?

#39867579

WGA

Гость

WGAА можно ли как-нибудь из анализа heap dump определить, в какой точке стектрейса определена локальная переменная?В смысле, в каком методе определена.

...

Рейтинг:

0 / 0

26.09.2019, 22:26

| Ответить | Цитировать | Написать

Memory Leak?

#39867586

vas0

Участник

Откуда: Таможенный союз (Россия, Казахстан)

Сообщения: 1 193

Рейтинг: 0 / 0

WGAWGAА можно ли как-нибудь из анализа heap dump определить, в какой точке стектрейса определена локальная переменная?В смысле, в каком методе определена. Локальные переменные же создаются в стековой памяти, а не в куче. Они GC напрягать вроде как не могут.

У тебя поля каких объектов, ссылки на которые так и остаются и могут быть собраны GC.

...

Рейтинг:

0 / 0

26.09.2019, 22:34

| Ответить | Цитировать | Написать

Memory Leak?

#39867696

WGA

Гость

Я нашел, где сжирается такое огромное количество памяти, посмотрев на исходники JDBC драйвера Postgresql .

Код: java

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.

  protected void processResults(ResultHandler handler, int flags) throws IOException {
    boolean noResults = (flags & QueryExecutor.QUERY_NO_RESULTS) != 0;
    boolean bothRowsAndStatus = (flags & QueryExecutor.QUERY_BOTH_ROWS_AND_STATUS) != 0;

    List<byte[][]> tuples = null;

    int c;
    boolean endQuery = false;

    // At the end of a command execution we have the CommandComplete
    // message to tell us we're done, but with a describeOnly command
    // we have no real flag to let us know we're done. We've got to
    // look for the next RowDescription or NoData message and return
    // from there.
    boolean doneAfterRowDescNoData = false;

    while (!endQuery) {
      c = pgStream.receiveChar();
      switch (c) {
............................
        case 'D': // Data Transfer (ongoing Execute response)
          byte[][] tuple = null;
          try {
            tuple = pgStream.receiveTupleV3();
          } catch (OutOfMemoryError oome) {
            if (!noResults) {
              handler.handleError(
                  new PSQLException(GT.tr("Ran out of memory retrieving query results."),
                      PSQLState.OUT_OF_MEMORY, oome));
            }
          }

Вот только для этой компании нет столько данных. И вообще данных немного.

...

Рейтинг:

0 / 0

27.09.2019, 09:16

| Ответить | Цитировать | Написать

Memory Leak?

#39867704

WGA

Гость

WGAWGAА можно ли как-нибудь из анализа heap dump определить, в какой точке стектрейса определена локальная переменная?В смысле, в каком методе определена.Насколько я знаю, переменная непримитивного типа - это ссылка. Сама переменная живет в стеке, а вот данные - в куче. С трудом представляю себе 1 гигабайт в стеке...

В общем, источник OOM локализован, вопрос закрыт. Осталось понять, на каких данных все это происходит.
Всем спасибо.

...

Рейтинг:

0 / 0

27.09.2019, 09:42

| Ответить | Цитировать | Написать

Memory Leak?

#39867722

ivanra

Гость

WGA,
в этом цикле в исходниках драйвера

Код: java

    while (!endQuery) {

...

Рейтинг:

0 / 0

27.09.2019, 10:20

| Ответить | Цитировать | Написать

Memory Leak?

#39867756

WGA

Гость

ivanraWGA,
в этом цикле в исходниках драйвера

Код: java

    while (!endQuery) {

посмотри где endQuery присваивается true и почему этого не происходит.
И кроме того, можно посмотреть, что за запрос выполнялся. На потоке вызвать контекстное меню java basics - Thread overview and stacks - и там для каждой строки стека будут доступны локальные переменные. Найди в этом стеке SQL и проверьПро endQuery верно подмечено, спасибо. Это локальная переменная, переключается в true на определенные коды-команд транспортного протокола. В это switch'е это

Код: java

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.

// эта ветка неинтересна
        case 'S': // Parameter Status
          try {
            receiveParameterStatus();
          } catch (SQLException e) {
            handler.handleError(e);
            endQuery = true;
          }
          break;
...............
// а вот здесь возможно зацикливание, при изменении статуса транзакции
        case 'Z': // Ready For Query (eventual response to Sync)
          receiveRFQ();
          if (!pendingExecuteQueue.isEmpty() && pendingExecuteQueue.peekFirst().asSimple) {
            tuples = null;

            ExecuteRequest executeRequest = pendingExecuteQueue.removeFirst();
            // Simple queries might return several resultsets, thus we clear
            // fields, so queries like "select 1;update; select2" will properly
            // identify that "update" did not return any results
            executeRequest.query.setFields(null);

            pendingDescribePortalQueue.removeFirst();
            if (!pendingExecuteQueue.isEmpty()) {
              if (getTransactionState() == TransactionState.IDLE) {
                handler.secureProgress();
              }
// вот здесь!!!
              // process subsequent results (e.g. for cases like batched execution of simple 'Q' queries)
              break;
            }
          }
          endQuery = true;

...

Рейтинг:

0 / 0

27.09.2019, 11:35

| Ответить | Цитировать | Написать

Memory Leak?

#39867910

Leonid Kudryavtsev

Участник

Сообщения: 9 300

Рейтинг: 0 / 0

Если "....И похоже, что они остаются в памяти только при редеплое, иначе бы прод бы падал с завидной регулярностью, чего нет в действительности... " и "...при редеплое ссылки остаются и держат как heap, так и metaspace,..." правда, то смысла копаться в коде нет.

Ну не работает редиплой и не работает. Честно говоря, мне проблема вообще не понятна, вместо редиплоя перегрузить сервер и не парится. Или читать доки по Вашему апп-серверу и патчить или брать нормальный app сервер.

сколько программистов нужно. что бы починить редиплой - ни одного, it is a problem of system administrator

IMHO & AFAIK

p.s.
в 10-ой версии точно баги были, гугля тут же нашел WFLY-7037 от 17 года.
и в 8-ой версии были WFLY-6173
p.p.s.
опен соурс, он и есть опен соурс ))) работа программистов видна: одни программисты баги чинят, другие программисты их обратно вносят )))

...

Рейтинг:

0 / 0

27.09.2019, 15:04

| Ответить | Цитировать | Написать

Memory Leak?

#39871281

andreykaT

Участник

Откуда: =||==

Сообщения: 2 330

Рейтинг: 0 / 0

Leonid KudryavtsevЕсли 88 это кол-во класслоадеров - то IMHO их как-то многовато. Оставание в памяти класслоадера == "классический баг с редиплоем"

IMHO & AFAIK

1) поскольку он классический, читать доки из-за чего такое происходит и как этого избежать (он вроде как-то связан с не очень хорошими практиками в пользовательском коде)
2) возможно менять версию сервера (ставить патчи) или даже сам сервер на другой (как минимум в томкатах с ним боролись из версии к версии)
3) забить нано-болт и вместо редиплоя перегружать сервер
где то читал что если делать постоянно редеплой, то сервер начинает дозабивать пермген до тех пор пока он не кончится. а потом да он кончается и всё. но вроде пермген убрали в 8+? не?

...

Рейтинг:

0 / 0

03.10.2019, 17:35

| Ответить | Цитировать | Написать

Memory Leak?

#39871311

забыл ник

Участник

Сообщения: 3 596

Рейтинг: 0 / 0

andreykaTLeonid KudryavtsevЕсли 88 это кол-во класслоадеров - то IMHO их как-то многовато. Оставание в памяти класслоадера == "классический баг с редиплоем"

IMHO & AFAIK

1) поскольку он классический, читать доки из-за чего такое происходит и как этого избежать (он вроде как-то связан с не очень хорошими практиками в пользовательском коде)
2) возможно менять версию сервера (ставить патчи) или даже сам сервер на другой (как минимум в томкатах с ним боролись из версии к версии)
3) забить нано-болт и вместо редиплоя перегружать сервер
где то читал что если делать постоянно редеплой, то сервер начинает дозабивать пермген до тех пор пока он не кончится. а потом да он кончается и всё. но вроде пермген убрали в 8+? не?

Дело не в пермгене , если все правильно сделать то не будет никаких ликов

...

Рейтинг:

0 / 0

03.10.2019, 18:20

| Ответить | Цитировать | Написать

40 сообщений из 40, показаны все 2 страниц

все

Форумы / Java [игнор отключен] [закрыт для гостей] / Memory Leak?

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?all=1&fid=59&tid=2121084]:	0ms
get settings:	26ms
get forum list:	15ms
check forum access:	4ms
check topic access:	4ms
track hit:	115ms
get topic data:	11ms
get forum data:	3ms
get page messages:	759ms
get tp. blocked users:	2ms
others:	308ms

total:	1247ms