powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / ASP.NET [игнор отключен] [закрыт для гостей] / Web api загрузка большого куска данных в ms sql
9 сообщений из 34, страница 2 из 2
Web api загрузка большого куска данных в ms sql
    #39781576
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Shocker.ProДмитрий Мух500 тысяч POST запросов к Web API приложению, что крутится на винде в IIS?
Если такое случится, то не хватит рабочих потоков, request queue вырастет до 5000 и приложение ляжет.

До записи в БД просто не дойдёт :)ну это же не DDoS, а просто DoS

Источник их тоже ведь сгенерит не одновременно. Все пролезет, просто будет 95% накладных расходов )
Я думаю, что сторонняя компания последовательно перешлёт данные за время, что всех устроит. А ТС фигнёй страдает :)
...
Рейтинг: 0 / 0
Web api загрузка большого куска данных в ms sql
    #39781580
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
panthe,

а вообще вы по сути хотите организовать некую очередь, или промежуточный буффер
я бы на вашем месте взял готовый инструмент для этого: RabbitMQ или Redis
складывать тупо в память приложения не надёжно
...
Рейтинг: 0 / 0
Web api загрузка большого куска данных в ms sql
    #39781642
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Аффтвр!
Ты или честно рассказывай задачу. Или уходи в молчанку и несознанку).
Вижу, ты выбрал второе.
...
Рейтинг: 0 / 0
Web api загрузка большого куска данных в ms sql
    #39781661
stenford
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pantheпо web api будут загружаться большие объемы данных около 500тыс записей за сессию.
пакетный режим, проще и работать быстрее будет. 500К в цикле тоже будет работать, но нет смысла так делать
...
Рейтинг: 0 / 0
Web api загрузка большого куска данных в ms sql
    #39781668
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
stenford500К в цикле тоже будет работать

голубиная почта тоже будет работать, можно флеху примотать
...
Рейтинг: 0 / 0
Web api загрузка большого куска данных в ms sql
    #39781788
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
stenfordpantheпо web api будут загружаться большие объемы данных около 500тыс записей за сессию.
пакетный режим, проще и работать быстрее будет. 500К в цикле тоже будет работать, но нет смысла так делать
Batch requests?

Так это на стороне клиента надо писать, то есть сторонней кампании.
Тогда уж можно договориться не раз в неделю данные передавать, а сразу.
...
Рейтинг: 0 / 0
Web api загрузка большого куска данных в ms sql
    #39781815
carrotik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
..если уж так упёрлись в WebAPI, то оно же поддерживает FileUpload, тем более, что процедура формирования файла на клиенте уже давно отработана .. грузите файл в память, а потом пусть всю ночь грузит в базу ...
...
Рейтинг: 0 / 0
Web api загрузка большого куска данных в ms sql
    #39781835
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
skyANA,

что АПИ, что рест, что директ коннект в БД, затолкать в единую транзакцию 500К записей и не получить за это люлей от админов -- это надо умудриться.

ясно, что надо разбивать на порции.

тем временем, до сих пор задача не озвучена.
...
Рейтинг: 0 / 0
Web api загрузка большого куска данных в ms sql
    #39782114
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hVostt,

справедливости ради надо отметить, что ТС не писал о том, что собирается сохранять записи в единой транзакции
я так понял, что идея в том, чтобы быстро их принять, а потом в фоне сохранять хоть всю следующую неделю
...
Рейтинг: 0 / 0
9 сообщений из 34, страница 2 из 2
Форумы / ASP.NET [игнор отключен] [закрыт для гостей] / Web api загрузка большого куска данных в ms sql
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]