ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / ActiveMQ, создание большого числа консюмеров
25 сообщений из 51, страница 2 из 3
  2  все
ActiveMQ, создание большого числа консюмеров
    #37684257
livehacker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
livehacker
Участник
Blazkowicz,

Верно.
...
Рейтинг: 0 / 0
29.02.2012, 13:58:01
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684271
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
justforsqlruBlazkowicz , помнишь у меня то же самое но для продьюсера было ?
У тебя была совершенно другая ситуация. Для батч отправки создавался продюсер на каждый метод.

Здесь же в постановке задачи нужно много консюмеров. Хотя пока не объяснили зачем. Так же не понятно почему эти консюмеры связаны 1:1 с endpoing и прочей Axis2 инфраструктурой.
...
Рейтинг: 0 / 0
29.02.2012, 14:00:45
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684273
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
BlazkowiczУ тебя была совершенно другая ситуация. Для батч отправки создавался продюсер на каждый метод.

...На каждый "мессадж"
...
Рейтинг: 0 / 0
29.02.2012, 14:01:34
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684284
livehacker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
livehacker
Участник
Blazkowiczjustforsqlru

Здесь же в постановке задачи нужно много консюмеров. Хотя пока не объяснили зачем. Так же не понятно почему эти консюмеры связаны 1:1 с endpoing и прочей Axis2 инфраструктурой.

Хороший довод. Просто в рамках политики секретности, я не все объяснить) Но могу сказать, что есть вышестоящий жар, который, к сожалению привязывает 1:1 endpoint к "и прочей Axis2 инфраструктурой."..
...
Рейтинг: 0 / 0
29.02.2012, 14:04:08
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684285
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
livehackerв ServiceTaskManager.run()
сначала было в startEndpoint, теперь в ServiceTaskManager.run(), где я тоже не вижу новых потоков.
Зато вижу
/** The shared thread pool from the Listener */
private WorkerPool workerPool = null;

Ткни всё же носом, где создаётся новый потоко.
...
Рейтинг: 0 / 0
29.02.2012, 14:04:34
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684295
livehacker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
livehacker
Участник
Blazkowicz,

org.apache.axis2.transport.jms.ServiceTaskManager

Код: java
1.
2.
3.
4.
   log.info("Begin start  service : " + serviceName + " ...");
        for (int i = 0; i < concurrentConsumers; i++) {
            workerPool.execute(new MessageListenerTask());
         }



Где, MessageListenerTask, иннер класс, который реализует Runnable.
...
Рейтинг: 0 / 0
29.02.2012, 14:08:05
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684305
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
livehackerГде, MessageListenerTask, иннер класс, который реализует Runnable.
Да, но runnable это ещё не поток. Это задача. WorkerPool это пул потоков. Где он создаётся? Можно его зашарить между всеми?
...
Рейтинг: 0 / 0
29.02.2012, 14:10:58
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684329
livehacker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
livehacker
Участник
Blazkowicz,

Он как раз и расшарен. Создается там гдето наверху. Можете побродить по сорцам.
И когда потоков >1000, то время начинает уходить на workerPool.execute. Именно на execute.
...
Рейтинг: 0 / 0
29.02.2012, 14:16:46
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684330
livehacker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
livehacker
Участник
livehacker,

*когда консюмеров >1000
...
Рейтинг: 0 / 0
29.02.2012, 14:17:22
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684387
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
Посмотрите NativeWorkerPool. Возможно там размер очереди - 1000. И при создании более 1000 очередь блокируется. И освобождается постепенно. Ни о каком создании новых потоков речи не идёт.
...
Рейтинг: 0 / 0
29.02.2012, 14:36:07
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684412
livehacker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
livehacker
Участник
BlazkowiczПосмотрите NativeWorkerPool. Возможно там размер очереди - 1000. И при создании более 1000 очередь блокируется. И освобождается постепенно. Ни о каком создании новых потоков речи не идёт.

В самом начале писал, что увеличил размер пула. Сейчас core параметр увеличен до 3000.
...
Рейтинг: 0 / 0
29.02.2012, 14:41:23
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684428
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
livehackerВ самом начале писал, что увеличил размер пула. Сейчас core параметр увеличен до 3000.
Это не размер пула. А размер очереди задач в пуле. Это другой параметр. Покажите stacktarce создания JMSListener в тот момент когд тормозит. Включая WorkerPool.execute и то что там внутри.
...
Рейтинг: 0 / 0
29.02.2012, 14:44:22
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684506
livehacker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
livehacker
Участник
В аттаче
...
Рейтинг: 0 / 0
29.02.2012, 15:09:33
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684538
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
Мда. Атака провалилась. Очередь пустая :(
...
Рейтинг: 0 / 0
29.02.2012, 15:18:04
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684559
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
А если размер пула все же поменьше выставить? В 100, например. Это как-то повлияет на ситуацию?
...
Рейтинг: 0 / 0
29.02.2012, 15:24:03
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684700
livehacker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
livehacker
Участник
Blazkowicz,

Хм.. как, странно, но почти всё тоже самое. Чуточку медленнее
...
Рейтинг: 0 / 0
29.02.2012, 16:10:28
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684705
livehacker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
livehacker
Участник
livehacker,

Я очень хочу перейти на openmq, отзывы хорошие.. Но интегрировать транспорт тяжело:(
...
Рейтинг: 0 / 0
29.02.2012, 16:11:20
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684718
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
livehackerХм.. как, странно, но почти всё тоже самое. Чуточку медленнее
Надо запускать под сэмплирующим профайлером и таки посомтреть где тормозит. С jvisualvm работы на час, не больше.
...
Рейтинг: 0 / 0
29.02.2012, 16:17:58
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684719
livehacker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
livehacker
Участник
Blazkowicz,

Уже начал под jprofiler'ом
...
Рейтинг: 0 / 0
29.02.2012, 16:19:49
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684732
livehacker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
livehacker
Участник
Какие могут быть ещё идеи, по поводу возникновения экспешенов (возникают при возникновении тормозов):

Код: java
1.
2.
3.
4.
5.
6.
7.
 at java.nio.channels.spi.AbstractSelectableChannel.register(AbstractSelectableChannel.java:167)
 at org.apache.activemq.transport.nio.SelectorSelection$1.run(SelectorSelection.java:44)
 at org.apache.activemq.transport.nio.SelectorWorker.processIoTasks(SelectorWorker.java:75)
 at org.apache.activemq.transport.nio.SelectorWorker.run(SelectorWorker.java:91)
 at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
 at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
 at java.lang.Thread.run(Thread.java:662)
...
Рейтинг: 0 / 0
29.02.2012, 16:25:20
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684768
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
livehackerКакие могут быть ещё идеи, по поводу возникновения экспешенов (возникают при возникновении тормозов):

Channel с какого-то перепугу закрылся.
...
Рейтинг: 0 / 0
29.02.2012, 16:46:54
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684806
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
забыл ник
Участник
Может тупо файрвол какой-нибудь обрыгивается на большое число коннектов или что-то подобное
...
Рейтинг: 0 / 0
29.02.2012, 17:03:18
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37684811
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
забыл никМожет тупо файрвол какой-нибудь обрыгивается на большое число коннектов или что-то подобное
+1
...
Рейтинг: 0 / 0
29.02.2012, 17:05:11
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37685006
drsm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
drsm
Участник
ulimit -n можт?
...
Рейтинг: 0 / 0
29.02.2012, 19:19:31
| Ответить | Цитировать | Написать  
ActiveMQ, создание большого числа консюмеров
    #37685013
livehacker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
livehacker
Участник
drsmulimit -n можт?
А в винде такое есть?D
...
Рейтинг: 0 / 0
29.02.2012, 19:30:42
| Ответить | Цитировать | Написать  
25 сообщений из 51, страница 2 из 3
  2  все
Форумы / Java [игнор отключен] [закрыт для гостей] / ActiveMQ, создание большого числа консюмеров
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=37684719&tid=2132440]:
 0ms
get settings:
 14ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 40ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 56ms
get tp. blocked users:
 2ms
others: 329ms
total:  474ms
созд. / загр.: 474ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]