Basil A. SidorovУже здесь вы или нагло врёте или тупо не понимаете.
При ста HTTP-запросах в секунду IP-стек за минуту примет 60 тысяч подключений. Созданные 60 тысяч TCP-соединений будут существовать (при ваших исходных), как минимум, одну минуту - от подключения клиента до отправки ему последнего байта ответа.
Если ваша система в состоянии держать 60 тысяч TCP-соединений - 60 тысяч потоков исполнения не будут для неё слишком тяжким испытанием.
Лично я наблюдал JVM с ~15 тысячами потоков. Я сам создал эту стрессовую нагрузку и могу определённо утверждать, что ничего не зависло и всё работало. Сразу оговорюсь - активных потоков было на порядок меньше.

с одной стороны:
60 TCP-соединений
с другой:
60 TCP-соединений + 60 потоков

Уже выигрыш.

Я не представляю сколько ресурсов надо для соединения в сравнении с потоком.
авторНе я сказал "внешняя система", но я могу предположить, что с этой внешней системой мы общаемся по локальной сети.
Поскольку отсылки на авторитеты уже были, то и я позволю себе заметить, что IP-стек и умолчания для него делали весьма неглупые люди.
Так вот, тайм-аут записи составляет три, а чтения - пять минут. Если хотя бы один запрос вашего "infinite lool" (бесконечный цикл) повиснет - весь опрос будет остановлен на несколько минут.
Если, вдруг, опрос внешней системы станет чуточку медленнее (на десять миллисекунд для определённости) то с шестьюдесятью тысячами запросов (я вас за язык не тянул), потребуется лишних десять минут на очередную итерацию. Про закон подлости и "находится в последнем ящике" просто напомню.
Можно, конечно, и ещё поёрничать, но, блин, рано вам оптимизацией заниматься - пишите "как можно проще, лишь бы это работало".

у меня несколько потоков, разгребающих разные очереди(про этот "infinite lool" идёт речь или какой?). в моём конкретном случае система не начнёт дольше отвечать, а если начнёт, то можно машин добавить.. Вот это point я не понял у Вас.

Basil A. SidorovЯ не могу общаться с людьми, которые не умеют умножать. Ни в уме, ни на калькуляторе.
Могли, хотя бы, меня поправить - сто запросов в секунду в течении минуты это шесть тысяч, а не шестьдесят.

Да мне неинтересно считать, вопрос в концепции.
И так понятно, что A+B>A(у нас цифры положительные)

Basil A. Sidorov,

Что это за бенчмарк?

какого кода в первую очередь?

Что Вы хотите им показать?

Usmanquestionerсмотрите, приходит нам каждую секунду 100 запросов.откуда идут? фронт/бэк?

а разница есть? просто http запрос.
Usmanquestionerпри асинхронных

поток контейнера положил задачу в мапу и всё, свободен. Внешняя система получает все запросы с такой же скоростью, что и сервлет.

и есть поток(ну или пул), который разгребает результаты.

Всё, проблема решена.

Что не так?потоки - освободили, но количество незакрытых подключений растет.

Согласен, но это уже улучшение. Вопрос на сколько. Мне тяжело оценить.
Доказательств нет, но судя по всему держать соединение сильно дешевле, чем соединение и поток.