Задача такая:
В некий класс/сервис должны поступать задачи. В рамках задачи нужно работать с базой в рамках транзакции + вызовы к сторонним системам через HttpClient, в случае успеха выполнения которых нужно успешно закрывать транзакцию. При этом стоит требование об ограничении количества параллельно выполняющихся таких задач (тасков).

Соответственно по задумке, при поступлении задачи должен стартовать новый Task и что-то там делать. Общее количество работающих задач я планирую ограничить через семафор. Но сложность в том, чтобы реализовать следующее:
Нужно проконтролировать, что задачи при успешном И не успешном выполнении отчистят все ресурсы за собой: закроют соединение, освободят семафор, уберут ссылку на себя - чтобы не утекала память. На все время выполнения задачи ссылку на нее нужно где-то сохранять, чтобы сборщик мусора не убил, но затем эту ссылку нужно почистить.

Как такое можно реализовать ? Есть ли готовые решения ?

Roman Mejtesточнее реализуйте свой. который будет запускать таск, с ограничением на количество, очередью выполнения и прочим, прочим, прочим

Про TaskScheduler не знал, спасибо, буду копать. А вот необходимость реализовывать "ограничением на количество, очередью выполнения и прочим, прочим, прочим" как раз смущает ) Этого я и хотел избежать.

Изопропил,

Ищем, приходите на собеседование )

Насчет TaskScheduler я переборщил. Из головы вылетело про него. Обычно напрямую таски создаем через Task.Run.

Petro123WaspNewCoreбазой в рамках транзакции + вызовы к сторонним системам через HttpClient,читать про РАСПРЕДЕЛЕННЫЕ транзакции.
Дорогая штука.

Распределенные задачи не нужны !
Требуется чтобы созданный таск в рамках транзакции обрабатывал данные из бд. Запрашивал дополнительную информацию у стороннего сервиса, и успешно закрывал транзакцию после обработки. Либо падал с откатом транзакции, чтобы кто-то другой подхватил задачу и попробовал ее сделать.

Основная сложность, при поступлении задач, генерить таски не больше заданного одновременного количества (думаю через семафор), а также следить за тем, чтобы таски завершаясь освобождали ресурсы - тот же семафор. Соотвественно где-то хранить список текущих тасков, защищая их от сборщика мусора, и удалять завершенные.

vb_subWaspNewCore,

в сторону pipeline- pattern смотрел?

В первый раз слышу про него, это явно не классический от GOF. Почитаю, может придумаю как задействовать. Надеюсь это не просто producer-consumer..... Ой. Кстати. Может BlockingCollection поможет решить мою задачу, нужно подумать..

Petro123,

Есть тонкость, которую я забыл упомянуть. Одновременно будет работать несколько таких сервисов, по обработке задач. Работать будут в одном приложении - в разных потоках. Поэтому ограничить через общий пул потоков не выйдет. Нужны индивидуальные настройки.

Petro123,

Упущено ограничение на одновременную работу не более заданного числа.

Т.е. должно быть примерно так:

Petro123WaspNewCoreобщий пул потоковон общий вроде на процесс

Вот именно. Он общий на весь процесс. Поэтому если нам нужно, чтобы Service1 мог породить только 3 одновременно работающих таска, а Service2 - 5, то и начнется проблема. Которую я и думаю как решать.

vb_subWaspNewCore, зачем ограничивать общее количество работающих задач?

Да просто, чтобы не завалить сторонний сервис, к которому обращение идет через HttpClient, потоком запросов. Ну и вообще, нужна возможность конфигурировать нагрузку. Например, чтобы уменьшить нагрузку на базу.

Petro123,

Какие 2 ? Насколько я помню формула "количество процессов*2". С учетом гипертрединга 4х ядерный процесс даст 16 потоков.
Вот эти 16 потоков нужно распределить между несколькими классами-сервисами. Этому 3, другому 5.

Petro123WaspNewCoreесли нам нужно, чтобы Service1 мог породить только 3 одновременно работающих таска, а Service2 - 5, тозачем 2 сервиса? Ты сам себе придумал задачу.
Типо есть один цикл for выбирающий очередь. Тебе захотелось два цикла for вызывающих один метод Run()

Каждый сервис обрабатывает данные по своей специфике. Это отдельные классы, в которых совершенно своя логика, и она может быть очень отличной.
Вся суть задачи - это сделать такой обработчик задач. Его будем расширять классами обработчиками. Их там уже штук 6 набирается. Но они не все одновременно будут работать. Вот я и думаю как это все реализовать.

WaspNewCorePetro123,

Какие 2 ? Насколько я помню формула "количество процессов*2". С учетом гипертрединга 4х ядерный процесс даст 16 потоков.
Вот эти 16 потоков нужно распределить между несколькими классами-сервисами. Этому 3, другому 5.

Количество Процессоров имелось ввиду. На сервере там может и больше вообще процессоров.

Petro123,

дело еще не в столько, чтобы не положить, но и в том, чтобы они между собой не конкурировали за потоки. Чтобы не стартануло 16 длительных задач, не дающих работать быстрым. Поэтому и нужно распределение пула потоков между ними.

Petro123WaspNewCoreЕго будем расширять классами обработчиками.выше я 3 метода написал. Внутри них нельзя расширить бизнес логику?
Сервис это запускалка. А логика в классе MyЛогика.Run();

ну вот нужно еще, чтобы они после своей работы семафор отпускали. плюс учитывать вероятность ошибок - падений. Чтобы при этом тоже семафор почистился.