Кто компилирует эти dll-ки? Вы по сути хотите сделать динамическое подсовывание нового кода в рантайме, не выгружая при этом старый. Это очень нетривиальная задача, и без различных ухищрений, вы это сделать не сможете.
Возможные направления:
- Давать уникальные имена классам в dll-ках. Например, TaskV1, TaskV2, ...
- Подгружать новые таски в отдельные апп-домены.

Но вообще сам факт того, что вы обновляете одни задачи, не выгружая при этом старые - это уже подход, попахивающий кривизной. Хотя хз, я не знаю контекста вашей задачи.

gr_vlArm79,
Проблема не в том что будут продолжены а в том что будут прерваны
Например админ или ктото там подправил таск или написал новый, он должен быть задействаван при запуске новых задач, но старые (уже запущенные) должны работать по старому алгоритму (тот что был на момент запуска)
Те как коректировать таски без срыва работы уже запущенных задач.Версионность. Почему вы не хотите решить эту проблему через версии?

gr_vlskyANA,

Счас рассматриваю вариант :
В одном процессе можно запустить несколько доменов приложений с таким же уровнем изоляции, какой обеспечивают отдельные процессы, но без дополнительных издержек на межпроцессные вызовы или переключение между процессами. Выполнение разных версий пользовательских задач осуществляется в разных доменах приложения.

Домен, содержащий сборку с более ненужной версией пользовательского таска, можно выгрузить без остановки всего приложения.

Как вам такой вариант? ктото пытался чтото подобное использовать???

ГригорийЭто нормальный вариант в принципе. Другое дело, что вы можете захлебнуться во множестве застартованных доменов, если версии задач будут обновляться достаточно часто, а задачи будут долгие.
О каком количестве задачи и частоте их изменений мы говорим?