А кто тут не архитектор.. каждый раз из года в год, я создаю пост, успеваю получить несколько конструктивных ответов, и через 5 часов я обнаруживаю себя спорящим с вами на какие-то вообще не имеющие отношения к топику темы. Где, кстати, blazkowicz? Он всегда по делу писал...

Зачем на миллион? достаточно 50. На 50 легко, документы могут быть прилинкованы к другим документам, иметь связи, вот по этим связям пользователь и будет ходить. 50 потоков бах ему одному, не жирно?

вы типичный представитель русского IT форума, вы не советуете, вы говорите "топикстартер - унылый тупица, я весь в белом пальто тут только". Так дело не пойдет. Вопрос, который я тут задал, он вообще не про это, там я конкретно написал, что нам нужно в данной ситуации. У нас тут может все надо менять и переписывать, думаете я не знаю? Но конкретно сейчас мне надо решить эту задачу, зачем вы уводите в сторону так далеко?

вы сейчас про кого?

я если вижу что пост от петро, то стараюсь даже не читать. Просто пропускай их. Иначе все темы захламляются. Я не видел еще ни одной темы где бы он что-то адекватное (да что там - хотя бы просто в тему) написал.

О, спасибо, добрый человек! 😁 лучик здравого смысла, я тут увяз просто как-то не заметно для себя) все, я пошел

Нет, если надо обработать 50 документов, то я должен все 50 обработать. К слову, их может быть и 100 и больше, но не тысячи. Ничего обрубать нельзя - требование заказчика. Пользователь довольно долго может сидеть и втыкать в первый документ. Пока остальные как раз загружаются. Из тех 50 или 100 документов, он может следующим выбрать не обязательно первый, а, скажем, 37й, для примера. Если пользователь сворачивает с дорожки, то те документы, которые еще не обработаны - убираются с обработки. Те, которые уже были обработаны, они остаются, так что если пользователь вернется опять к ним, то у него все быстро отобразится.

Причем должен быть как блокирующий метод, типа ensureDocumentProcessed(id)
так и асинхронный типа ensureDocumentsProcessed(Collection<String> ids)
И при этом исключена "двойная" обработка одгого и того же документа.
Я думаю, завяжусь на ConcurrentHashMap с ее computeIfAbsent для блокирующего метода.
Ну а для асинхронного там надо локи будет как-то использовать, я потом могу скинуть что получится у меня в итоге, если интересно.

Из того, что уже загружено - ничего не надо обнулять. Лишь поставленные в очередь на обработку надо отменить.

PetroNotC Sharp,

ну все верно, каждый раз, когда пользователь выбирает новый документ, мы начинаем грузить новое множество согласно новому выбранному документу. Старую загрузку отменяем (ну то, что загрузили - то уже не удаляем с диска)

PetroNotC Sharp,

просто если я тупо буду брать из пула сервера потоки на это, понятно же в чем загвоздка?




если все потоки дать ему, то это будет больше 400 - понятно, что надо ограничить каким-то числом N

Так сколько потоков давать? два?