|
Web api загрузка большого куска данных в ms sql
|
|||
---|---|---|---|
#18+
Shocker.ProДмитрий Мух500 тысяч POST запросов к Web API приложению, что крутится на винде в IIS? Если такое случится, то не хватит рабочих потоков, request queue вырастет до 5000 и приложение ляжет. До записи в БД просто не дойдёт :)ну это же не DDoS, а просто DoS Источник их тоже ведь сгенерит не одновременно. Все пролезет, просто будет 95% накладных расходов ) Я думаю, что сторонняя компания последовательно перешлёт данные за время, что всех устроит. А ТС фигнёй страдает :) ... |
|||
:
Нравится:
Не нравится:
|
|||
03.03.2019, 17:37 |
|
Web api загрузка большого куска данных в ms sql
|
|||
---|---|---|---|
#18+
panthe, а вообще вы по сути хотите организовать некую очередь, или промежуточный буффер я бы на вашем месте взял готовый инструмент для этого: RabbitMQ или Redis складывать тупо в память приложения не надёжно ... |
|||
:
Нравится:
Не нравится:
|
|||
03.03.2019, 17:55 |
|
Web api загрузка большого куска данных в ms sql
|
|||
---|---|---|---|
#18+
Аффтвр! Ты или честно рассказывай задачу. Или уходи в молчанку и несознанку). Вижу, ты выбрал второе. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.03.2019, 22:03 |
|
Web api загрузка большого куска данных в ms sql
|
|||
---|---|---|---|
#18+
pantheпо web api будут загружаться большие объемы данных около 500тыс записей за сессию. пакетный режим, проще и работать быстрее будет. 500К в цикле тоже будет работать, но нет смысла так делать ... |
|||
:
Нравится:
Не нравится:
|
|||
04.03.2019, 01:08 |
|
Web api загрузка большого куска данных в ms sql
|
|||
---|---|---|---|
#18+
stenford500К в цикле тоже будет работать голубиная почта тоже будет работать, можно флеху примотать ... |
|||
:
Нравится:
Не нравится:
|
|||
04.03.2019, 02:50 |
|
Web api загрузка большого куска данных в ms sql
|
|||
---|---|---|---|
#18+
stenfordpantheпо web api будут загружаться большие объемы данных около 500тыс записей за сессию. пакетный режим, проще и работать быстрее будет. 500К в цикле тоже будет работать, но нет смысла так делать Batch requests? Так это на стороне клиента надо писать, то есть сторонней кампании. Тогда уж можно договориться не раз в неделю данные передавать, а сразу. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.03.2019, 11:24 |
|
Web api загрузка большого куска данных в ms sql
|
|||
---|---|---|---|
#18+
..если уж так упёрлись в WebAPI, то оно же поддерживает FileUpload, тем более, что процедура формирования файла на клиенте уже давно отработана .. грузите файл в память, а потом пусть всю ночь грузит в базу ... ... |
|||
:
Нравится:
Не нравится:
|
|||
04.03.2019, 12:03 |
|
Web api загрузка большого куска данных в ms sql
|
|||
---|---|---|---|
#18+
skyANA, что АПИ, что рест, что директ коннект в БД, затолкать в единую транзакцию 500К записей и не получить за это люлей от админов -- это надо умудриться. ясно, что надо разбивать на порции. тем временем, до сих пор задача не озвучена. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.03.2019, 12:29 |
|
Web api загрузка большого куска данных в ms sql
|
|||
---|---|---|---|
#18+
hVostt, справедливости ради надо отметить, что ТС не писал о том, что собирается сохранять записи в единой транзакции я так понял, что идея в том, чтобы быстро их принять, а потом в фоне сохранять хоть всю следующую неделю ... |
|||
:
Нравится:
Не нравится:
|
|||
04.03.2019, 16:42 |
|
|
start [/forum/topic.php?fid=18&msg=39781576&tid=1355033]: |
0ms |
get settings: |
8ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
128ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
40ms |
get tp. blocked users: |
1ms |
others: | 12ms |
total: | 218ms |
0 / 0 |