|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
lleming С приорити мне непонятно, каким образом у задачи определить приоритет? Вот пришла таск от пользователя он разбил ее на 5 подчазад и отправил в pool, от второго пришла. Как приоритет определить по какому параметру. Короче тут очень сложно сделать чтобы и утилизация была хорошей и при этом гарантии были. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 15:01 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
Stanislav Bashkyrtsev сколько вообще задач этот пользователь запускал за последнюю минуту ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 15:32 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
PetroNotC Sharp rabiter, Конкретнее! Что качают и на что лимиты! Ограничение это последнее дело программиста. Petro, я вас очень люблю, но не разводите пожалуйста флуд в моих постах, пишите по делу или вообще не пишите ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 16:50 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
Stanislav Bashkyrtsev lleming С приорити мне непонятно, каким образом у задачи определить приоритет? Вот пришла таск от пользователя он разбил ее на 5 подчазад и отправил в pool, от второго пришла. Как приоритет определить по какому параметру. Короче тут очень сложно сделать чтобы и утилизация была хорошей и при этом гарантии были. Это похоже на шедулер OS, тут пока вижу только одно замечание. В ос поток с меньшим приоритетом все равно свой квант получит а тут с priority queue не факт. Т.е. пользователь 1 запустил задачу она разделилась на 100 подзадач 99 выполнились одна осталась. где в конце еще один пользователь запустили свою итого пока его 99 задач не выполнится у первого задача не окончится. То бишь задачи будут иметь тенденцию заканчивать вместе. Пришел самый первый, ушел со всеми. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 17:37 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
Раскрою немного деталей. Задачи, которые планируется запускать параллельно - это копирование файлов. Если еще точнее, то у пользователей есть вьювер в браузере какой-то хитрый (к нему у меня доступа нет), так этот вьювер умеет показывать файлы (pdf, tiff, 3d, там много всяких форматов). Но для показа, файл должен лежать в определенной папке в файловом хранилище. Сейчас работает так: Пользователь открывает документ, мы читаем из этого документа файл, сохраняем его на диске, и тогда вьювер его подхватывает. Но это работает медленно, заказчик хочет, чтобы мы заранее обрабатывали пачку следующих документов, которые у пользователя на подходе, т.е. которые он откроет следующие (там специфика работы оператора довольно предсказуемая). Т.е. загрузка заранее так сказать. Так вот их-то и надо запускать в несколько потоков асинхронно. Причем пользователь может вернуться к старому документу, тогда надо избежать повторного копирования. Ну и чтобы пересечений никаких не было, типа чтобы не начали копировать два одинаковых файла одновременно. У меня возникает вопрос теперь а не станет ли файловое хранилище тонким местом? Да и вообще, может NIO попробовать, чтобы потоки вообще не держать пока копируется файл. Не хочется заморачиваться, это код "на окраине" проекта, его раз сделать и забыть. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 17:59 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
rabiter PetroNotC Sharp rabiter, Конкретнее! Что качают и на что лимиты! Ограничение это последнее дело программиста. Petro, я вас очень люблю, но не разводите пожалуйста флуд в моих постах, пишите по делу или вообще не пишите Что мешает все рассказать о задаче? Если умалчиваете значит специально набрасываете. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:12 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
rabiter Пользователь открывает документ, мы читаем из этого документа файл, сохраняем его на диске, и тогда вьювер его подхватывает. Но это работает медленно, - вася клиент дал запрос get http//sql.ru?doc=1 - он всегда начинает с первого и потом всегда по списку - первый док отдали за 30 сек. - второй док он не хочет ждать 30сек. Так? ... Тогда вопрос - где тут лимит на потокЮзверя? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:24 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
По моему юзкейсу решение элементарное с заранее создаваемым кешем при каждом входе юзверя. Никаких пулов тут не надо. Один фоновый поток создаст кеш пока юзверь разбирается с первым документом. Ограничение: - бэкенд тормозной - клиент импотент и не может сам запрашиаать по AJAX и делать кеш клиента. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:29 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
PetroNotC Sharp По моему юзкейсу решение элементарное с заранее создаваемым кешем при каждом входе юзверя. Никаких пулов тут не надо. Один фоновый поток создаст кеш пока юзверь разбирается с первым документом. Ограничение: - бэкенд тормозной мы не знаем, какой документ пользователь откроет, их 100500, мы не можем все закешировать заранее еще до входа пользователя. Только после того, как пользователь выбирает какой-нибудь документ, мы можем предсказать, какие он кликнет следующие, и вот тут надо начать из загружать заранее в несколько потоков. Сколько документов надо заранее скопировать - мы тоже не знаем, их может быть 5, может быть 100, зависит от того, что нам скажет предсказательный алгоритм. Но вне зависимости от этого, мы должны на эту работу выделить не более N потоков. Причем потоки я сам создавать не буду, я буду их брать из общего пула. Так вот чтобы один пользователь не окупировал весь пул, для этого и нужны "квоты" PetroNotC Sharp - клиент импотент и не может сам запрашиаать по AJAX и делать кеш клиента. То, что в браузере у клиента, всмысле этот вьювер, мы, к сожалению, не можем выбирать ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:39 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
rabiter мы не знаем, какой документ пользователь откроет, их 100500 rabiter там специфика работы оператора довольно предсказуемая). Т.е. загрузка заранее так сказать. ? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:41 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
PetroNotC Sharp rabiter мы не знаем, какой документ пользователь откроет, их 100500 rabiter там специфика работы оператора довольно предсказуемая). Т.е. загрузка заранее так сказать. ? ? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:41 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
PetroNotC Sharp, дайте угадаю, вы просто случайным образом клавиши нажимаете? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:42 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
PetroNotC Sharp, имеется ввиду, что мы знаем последовательность, но не знаем количество. И если алгоритм скажет надо 100 закешировать, в такой-то последовательности, то мы должны это сделать, но не более чем N потоками (по описанным выше причинам) ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:42 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
rabiter предсказательный алгоритм Один пилит пару месяцев предсказатель. Второй менеджер потоков. Третий пишет математику предсказтеля))) А почему документ читаем 30 сек молчим ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:44 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
rabiter PetroNotC Sharp, имеется ввиду, что мы знаем последовательность, но не знаем количество. И если алгоритм скажет надо 100 закешировать, в такой-то последовательности, то мы должны это сделать, но не более чем N потоками (по описанным выше причинам) мы не знаем, какой документ пользователь откроет ПЕРВЫМ, их 100500 как откроет первый - дальше уже можем предсказывать ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:44 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
rabiter PetroNotC Sharp, дайте угадаю, вы просто случайным образом клавиши нажимаете? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:45 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
PetroNotC Sharp rabiter предсказательный алгоритм Один пилит пару месяцев предсказатель. Второй менеджер потоков. Третий пишет математику предсказтеля))) А почему документ читаем 30 сек молчим знали бы вы что у нас за клиент))) ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:45 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
PetroNotC Sharp rabiter PetroNotC Sharp, дайте угадаю, вы просто случайным образом клавиши нажимаете? блин я раза три уже описал вам ситуацию, о чем вы ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:45 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
rabiter как откроет первый - дальше уже можем предсказывать IDnext= getReadDOC(IDcurrent) Так? Тогда вы сможете только следующий один загрузить. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:48 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
PetroNotC Sharp rabiter как откроет первый - дальше уже можем предсказывать IDnext= getReadDOC(IDcurrent) Так? Тогда вы сможете только следующий один загрузить. грубо говоря Код: java 1.
... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:50 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
rabiter блин я раза три уже описал вам ситуацию, о чем вы ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:51 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
rabiter PetroNotC Sharp пропущено... IDnext= getReadDOC(IDcurrent) Так? Тогда вы сможете только следующий один загрузить. грубо говоря Код: java 1.
но это не важно, вопрос вообще не в этом, вы все время уводите в сторону, на протяжении уже многих лет. Я тут пишу, и каждый раз я сталкиваюсь с вами, что вы за человек такой зачарованный, я уже не представляю жизни без вас тут ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:53 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
PetroNotC Sharp rabiter блин я раза три уже описал вам ситуацию, о чем вы Ну разве не очевидно? Один пользователь может занять все потоки собой, а другие будут лапу сосать. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:54 |
|
Вопрос по многопоточке
|
|||
---|---|---|---|
#18+
rabiter rabiter пропущено... грубо говоря Код: java 1.
но это не важно, вопрос вообще не в этом, вы все время уводите в сторону, на протяжении уже многих лет. Я тут пишу, и каждый раз я сталкиваюсь с вами, что вы за человек такой зачарованный, я уже не представляю жизни без вас тут Я выше вам дал юзкейс и решение. Вы молчите)))) ... |
|||
:
Нравится:
Не нравится:
|
|||
03.12.2021, 18:55 |
|
|
start [/forum/topic.php?fid=59&msg=40117070&tid=2120295]: |
0ms |
get settings: |
7ms |
get forum list: |
5ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
23ms |
get topic data: |
2ms |
get forum data: |
1ms |
get page messages: |
422ms |
get tp. blocked users: |
0ms |
others: | 268ms |
total: | 730ms |
0 / 0 |