|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
andreykaTу меня всё это вылетает скажем так, параллельно это круто, но сторонний сервис валится типа ту мени реквестс. да и мне столько не надо.поподробнее) ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 12:55 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
andreykaTкороче, сделал актора, всё-равно на плее проект а плей на акке, актор одним концом читает данные из базы в очередь по онкомплиту, набивает очередь, как только очередь набилась, сам себе кидает ивент для того чтоб обработать очередь где она тоже в онкомплите поштучно обрабатывается, а когда обработает, и очередь кончается, шедулит первый ивент через какой-то период времени (аккасистем.шедуле) и снова его кидает и так по кругу. и всё получается в одном потоке. и задачи друг на друга не наслаиваются. правда, мне кажется, что костыль. Future.sequence А вообще Akka Streams + back pressure для такой задачи подойдет лучше. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 14:02 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
dimonz80andreykaTкороче, сделал актора, всё-равно на плее проект а плей на акке, актор одним концом читает данные из базы в очередь по онкомплиту, набивает очередь, как только очередь набилась, сам себе кидает ивент для того чтоб обработать очередь где она тоже в онкомплите поштучно обрабатывается, а когда обработает, и очередь кончается, шедулит первый ивент через какой-то период времени (аккасистем.шедуле) и снова его кидает и так по кругу. и всё получается в одном потоке. и задачи друг на друга не наслаиваются. правда, мне кажется, что костыль. Future.sequence А вообще Akka Streams + back pressure для такой задачи подойдет лучше. На мой дилетантский взгляд типа как-то так: Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35.
... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 14:47 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
dimonz80 Код: java 1.
это зачем? Я понимаю ещё, ограничить количество потоков или загрузку процессора. А тут? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 14:53 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
Petro123dimonz80 Код: java 1.
это зачем? Я понимаю ещё, ограничить количество потоков или загрузку процессора. А тут? А чего нам самих себя ограничивать в потоках? У нас все в порядке))) Проблема с удаленным сервисом авторно сторонний сервис валится типа ту мени реквестс Наша задача врубить троттлинг а там акка пусть сама ресурсами рулит. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 14:59 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
dimonz80Petro123пропущено... это зачем? Я понимаю ещё, ограничить количество потоков или загрузку процессора. А тут? А чего нам самих себя ограничивать в потоках? У нас все в порядке))) Проблема с удаленным сервисом авторно сторонний сервис валится типа ту мени реквестс Наша задача врубить троттлинг а там акка пусть сама ресурсами рулит. А хотя для ожидания удаленного сервиса неплохо бы отдельный тред пул для акки сконфигурить ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 15:02 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
dimonz80А чего нам самих себя ограничивать в потоках? У нас все в порядке))) Проблема с удаленным сервисомпро сервис автор молчит. Ты тоже не сказал, зачем воткнул ограничение. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 15:09 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
Petro123dimonz80А чего нам самих себя ограничивать в потоках? У нас все в порядке))) Проблема с удаленным сервисомпро сервис автор молчит. Ты тоже не сказал, зачем воткнул ограничение. Может я неверно постановку вопроса понял. Но видится мне что проблема в потопе удаленного сервиса и с нашей стороны надо умерить аппетит. andreykaT Собссно вопрос, как правильно сделать у меня есть вызов, он возвращает лист футур. я эти футуры разворачиваю, и далее через форыч мне с данными из каждой футуры надо сходить на сторонний сервис кое-что забрать. так вот, если я сделаю просто форыч по листу футур с вызовами на сторонний сервис (который тоже футуру возвращает) у меня всё это вылетает скажем так, параллельно это круто, но сторонний сервис валится типа ту мени реквестс. да и мне столько не надо. ну и вопрос, как мне заставить эти футуры выстреливать порционно . хотя бы. я могу впилить Thread.sleep(t) внутрь форыча и будет то, что я хочу. Но мне что-то подсказывает, что есть более правильное решение. Ждем ТСа. Пусть внесет ясность в постановку задачи ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 15:16 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
dimonz80, Да. Не должен падать рест сервис по ерунде) ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 15:34 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
да, всё верно. футура листа данных начинает его мапить в вебклиент, который конечно же тоже возвращает футуру, итого пробегает цикл неблокируемо, создающий набор футур от вебклиента, которые ессно в бэкграунде сразу же и стреляют фейерверком из всех стволов на все возможные потоки которые пулл ему выдал. а удаленный вебсервис имеет ограничение по количеству запросов параллельных с одного адреса. скажем, в параллели выстреливает 8 запросов из них 2 проходит, шесть фейлит с ошибкой тумениреквестс, следующим прогоном мне залетает уже 6 запросов из них 4 валится, далее, 4 ну и вы поняли. оно работает но не очень. сделай изначально последовательно - все 8 за проход бы прошлись. (зы если что это изначальная ситуация была) ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 15:36 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
andreykaTфейерверком из всех стволовтак и надо andreykaTвыстреливает 8 запросоввеб сервис не способен отработать 8 запросов? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 15:42 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
andreykaT, "Не ломай клиент под импотентный сервис"(с) ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 15:43 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
Да. Необходимость дросселя (throttle) под вопросом. Я считаю что мы должны консьюмить на максимально возможной скорости. Будем успевать обрабатывать или нет это уже второй вопрос. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 15:44 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
maytonДа. Необходимость дросселя (throttle) под вопросом. Я считаю что мы должны консьюмить на максимально возможной скорости. Будем успевать обрабатывать или нет это уже второй вопрос. Ага, и городить навороченного потребителя с политиками повторного опроса, километрами настроек и т.п., которого отладим до приемлемого состояния к 4 кварталу следующего года)) ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 16:03 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
Petro123andreykaTфейерверком из всех стволовтак и надо andreykaTвыстреливает 8 запросоввеб сервис не способен отработать 8 запросов? это не мой вебсервис, я не знаю. может и не может. а может просто не хотят. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 16:15 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
andreykaT, неужели в скале нет примитивного fixedThreadPool`а? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 16:21 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
ОзверинandreykaT, неужели в скале нет примитивного fixedThreadPool`а? Keep calm and use Java ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 16:40 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
andreykaTэто не мой вебсервис, я не знаю. может и не может. а может просто не хотят.ты хотя бы скрин ошибки показал. То есть два клиента не могут работать одновременно? Это как? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 16:46 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
ОзверинandreykaT, неужели в скале нет примитивного fixedThreadPool`а?ТС с play у нас единственный. А скалу наверно тормозить в однопоточность идиотская затея. "клиент не должен делать следующий запрос без ответа предыдущего"))) LOL ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 16:50 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
Imho весь топик не туда, так как автор не так понял ошибки веб сервиса. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 16:51 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
andreykaT, собственно, если чо, я про скалу ничего не знаю, и про плэей, но тут есть описание всяких тред пулов и не вижу особых проблем взять любой с фикированным размером использовать какой-нить блокинг аррэй, если надо получать exception при переполнении очереди или linkedqueue если нужна безрамерная очередь. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 16:55 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
ОзверинandreykaT, собственно, если чо, я про скалу ничего не знаю, и про плэей, но тут есть описание всяких тред пулов и не вижу особых проблем взять любой с фикированным размером использовать какой-нить блокинг аррэй, если надо получать exception при переполнении очереди или linkedqueue если нужна безрамерная очередь. https://www.playframework.com/documentation/2.7.x/ThreadPools ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 16:55 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
dimonz80maytonДа. Необходимость дросселя (throttle) под вопросом. Я считаю что мы должны консьюмить на максимально возможной скорости. Будем успевать обрабатывать или нет это уже второй вопрос. Ага, и городить навороченного потребителя с политиками повторного опроса, километрами настроек и т.п., которого отладим до приемлемого состояния к 4 кварталу следующего года)) Я этого не говорил. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 16:58 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
ОзверинandreykaT, собственно, если чо, я про скалу ничего не знаю, и про плэей, но тут есть описание всяких тред пулов и не вижу особых проблем взять любой с фикированным размером использовать какой-нить блокинг аррэй, если надо получать exception при переполнении очереди или linkedqueue если нужна безрамерная очередь. так я в итоге так и сделал через актор с блокинг-кью. ну мне кажется это костылина. хотя народ говорит что если мне надо то что мне надо то сойдет. но тут бы в крайности не впадать. ты можешь и пропихнуть тредпул с одним потоком, например, или асинкавайт сделать. вопрос скорее - насколько это верно в принципе. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 17:01 |
|
И снова скала немного многопоточки
|
|||
---|---|---|---|
#18+
Petro123andreykaTэто не мой вебсервис, я не знаю. может и не может. а может просто не хотят.ты хотя бы скрин ошибки показал. То есть два клиента не могут работать одновременно? Это как? могут. это внутренний сервис, для ограниченного числа клиентов. да. оно вернет 429 после определенного количества параллельных запросов с одного адреса. он такой какой он есть. он константа. ну вот так вот да. я не пойму что удивляет, а если у меня начнет бомбить скажем ну ладно не 8 запросов, а 80 или 800. мне всё же кажется, надо иметь какой-то инструмент ограничения подобного поведения. и всего то. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.03.2019, 17:04 |
|
|
start [/forum/topic.php?fid=59&msg=39791712&tid=2121407]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
43ms |
get topic data: |
7ms |
get forum data: |
3ms |
get page messages: |
51ms |
get tp. blocked users: |
1ms |
others: | 319ms |
total: | 452ms |
0 / 0 |