открыл для себя утилиту jstack и нашел в чем дело. я несколько бинов пометил SCOPE_PROTOTYPE и случайно на restTemplate тоже бахнул
@Scope(ConfigurableBeanFactory.SCOPE_PROTOTYPE)

и теперь у меня вопрос, а что же произошло ? судя jstack часть вызовов зависали на блокировке на сутки

"http-nio-8081-exec-71" #101 daemon prio=5 os_prio=0 cpu=17.60ms elapsed=83489.77s tid=0x00007f7adc0476c0 nid=0x6028 runnable [0x00007f7ad20dc000]
java.lang.Thread.State: RUNNABLE
at sun.nio.ch.SocketDispatcher.read0(java.base@15.0.1/Native Method)
at sun.nio.ch.SocketDispatcher.read(java.base@15.0.1/SocketDispatcher.java:47)
at sun.nio.ch.NioSocketImpl.tryRead(java.base@15.0.1/NioSocketImpl.java:261)
at sun.nio.ch.NioSocketImpl.implRead(java.base@15.0.1/NioSocketImpl.java:312)
at sun.nio.ch.NioSocketImpl.read(java.base@15.0.1/NioSocketImpl.java:350)
at sun.nio.ch.NioSocketImpl$1.read(java.base@15.0.1/NioSocketImpl.java:803)
at java.net.Socket$SocketInputStream.read(java.base@15.0.1/Socket.java:981)
at java.io.BufferedInputStream.fill(java.base@15.0.1/BufferedInputStream.java:244)
at java.io.BufferedInputStream.read1(java.base@15.0.1/BufferedInputStream.java:284)
at java.io.BufferedInputStream.read(java.base@15.0.1/BufferedInputStream.java:343)
- locked <0x000000008eec03a8> (a java.io.BufferedInputStream)
at sun.net.www.http.HttpClient.parseHTTPHeader(java.base@15.0.1/HttpClient.java:754)
at sun.net.www.http.HttpClient.parseHTTP(java.base@15.0.1/HttpClient.java:689)
at sun.net.www.protocol.http.HttpURLConnection.getInputStream0(java.base@15.0.1/HttpURLConnection.java:1623)
- locked <0x000000008eec9e88> (a sun.net.www.protocol.http.HttpURLConnection)
at sun.net.www.protocol.http.HttpURLConnection.getInputStream(java.base@15.0.1/HttpURLConnection.java:1528)
- locked <0x000000008eec9e88> (a sun.net.www.protocol.http.HttpURLConnection)
at java.net.HttpURLConnection.getResponseCode(java.base@15.0.1/HttpURLConnection.java:527)
at org.springframework.http.client.SimpleBufferingClientHttpRequest.executeInternal(SimpleBufferingClientHttpRequest.java:82)
at org.springframework.http.client.AbstractBufferingClientHttpRequest.executeInternal(AbstractBufferingClientHttpRequest.java:48)
at org.springframework.http.client.AbstractClientHttpRequest.execute(AbstractClientHttpRequest.java:66)
at org.springframework.web.client.RestTemplate.doExecute(RestTemplate.java:775)
at org.springframework.web.client.RestTemplate.execute(RestTemplate.java:710)
at org.springframework.web.client.RestTemplate.exchange(RestTemplate.java:601)
at com.sample.bitrixgw.BitrixRestController.productUpdate(BitrixRestController.java:85)
at jdk.internal.reflect.GeneratedMethodAccessor40.invoke(Unknown Source)
at jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(java.base@15.0.1/DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(java.base@15.0.1/Method.java:564)
at org.springframework.web.method.support.InvocableHandlerMethod.doInvoke(InvocableHandlerMethod.java:197)
at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:141)
at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:106)
at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.invokeHandlerMethod(RequestMappingHandlerAdapter.java:894)
at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.handleInternal(RequestMappingHandlerAdapter.java:808)
at org.springframework.web.servlet.mvc.method.AbstractHandlerMethodAdapter.handle(AbstractHandlerMethodAdapter.java:87)
at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:1061)
at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:961)
at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:1006)
at org.springframework.web.servlet.FrameworkServlet.doPost(FrameworkServlet.java:909)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:652)
at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:883)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:733)

я думал в худшем случае получу оверхед на создание нового объекта restTemplate, а тут выглядит что некая очередь образовалась.

да, дальше идут тысячи blocket, не удачный пример взял. но с этим тогда не понятно, elapsed=83489.77s не должен был рест столько ждать. у меня вот так создавался restTemplate:

PetroNotC Sharp,

там 10 юзеров, нет там никакой нагрузки. в целом за день порядка 10-15к вызовов, с пиками до 4 тысячи в отдельные часы. даже у связанных апп1 и апп2 еще запас на увеличение нагрузки в тысячи раз. проблема кажется найдена, присмотревшись к jstack логу увидел, что те что BLOCKED, они все уперлись в synchronized метод. это я подправлю.

но у меня остался вопрос по логу с Thread.State: RUNNABLE, почему у restTemplate не отработал ReadTimeout ? я помню, что летом у моего restTemplate был дефолтный timeout и я заметил, что у меня вылетали по timeout попытки записи огромных сделок с сотнями продуктов. потому добавил setReadTimeout(), но похоже вместо timeout получил бесконечное ожидание.

хм, а теперь я получил
java.util.ConcurrentModificationException
at java.base/java.util.ArrayList$ArrayListSpliterator.forEachRemaining(ArrayList.java:1631)
at java.base/java.util.stream.AbstractPipeline.copyInto(AbstractPipeline.java:484)
at java.base/java.util.stream.AbstractPipeline.wrapAndCopyInto(AbstractPipeline.java:474)
at java.base/java.util.stream.ReduceOps$ReduceOp.evaluateSequential(ReduceOps.java:913)
at java.base/java.util.stream.AbstractPipeline.evaluate(AbstractPipeline.java:234)
at java.base/java.util.stream.ReferencePipeline.collect(ReferencePipeline.java:578)
at org.springframework.web.client.RestTemplate$AcceptHeaderRequestCallback.doWithRequest(RestTemplate.java:891)
at org.springframework.web.client.RestTemplate$HttpEntityRequestCallback.doWithRequest(RestTemplate.java:951)
at org.springframework.web.client.RestTemplate.doExecute(RestTemplate.java:773)
at org.springframework.web.client.RestTemplate.execute(RestTemplate.java:710)
at org.springframework.web.client.RestTemplate.exchange(RestTemplate.java:601)
at com.sample.webapi.services.OpencartSyncService.processProduct(OpencartSyncService.java:109)
at com.sample.webapi.services.OpencartSyncService$$FastClassBySpringCGLIB$$4fe6ea9e.invoke(<generated>)
at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:218)
at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:687)
at com.sample.webapi.services.OpencartSyncService$$EnhancerBySpringCGLIB$$fa9863a9.processProduct(<generated>)
at com.sample.webapi.services.ProductProcessor.productUpdate(ProductProcessor.java:78)
at com.sample.webapi.RestGatewayController$2.run(RestGatewayController.java:125)
at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1130)
at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:630)
at java.base/java.lang.Thread.run(Thread.java:832)

это что, получается restTemplate нифига не thread safe и нужно SCOPE_PROTOTYPE возвращать ?

но стектрейс же уходит глубоко в restTempalte потроха. или я чего-то глобально не понимаю ?


ну а как остальные используют restTempalte ? врятли же выстраивают в очередь все вызовы рест клиента.
по стектрейсу четко видно, что внутри restTemplate что-то ломается при параллельных вызовах. как я понимаю самый адекватный ответ - PROTOTYPE и плодить на каждый вызов отдельный инстанс restTemplate
или я совсем неверно рассуждаю ?


так там же весь проект тогда надо выставлять, я еще к такому не готов.


я понял что речь о том что каждый мой поток синхронно ответ получит.



это проект, не основная моя работа и на половину ради того, что бы именно такие вещи для себя прокачать. долбить параллельно это правильно, ставить в очередь во первых не правильно, во вторых я попробовал. тот самый synchronized метод, который существенную часть нагрузки выстроил в очередь и я получил тысячи blocked тредов.