Читаю всё это и наводит на мысль, что автор хочет тоже самое, что я сейчас активно пишу.

Сначала это было просто приложение WinForms, типо блокнотика для написания кода на VB/C#. Но в отличие от простого блокнота, здесь при вызове метода Main я передаю параметр SPA, в котором собрано большая куча объектов реализующие функций-прослоек для доступа к PostgreSQL, SQLite, Oracle, XML, Http, Soap, Ftp и т.д.

Пользователь "не программист" может писать простые обработки (сразу бизнес-логику) с возможностью приостановки кода на паузу и остановку (об этом отдельный разговор). Конечно же всё работает с многопоточностью и доступна вся платформа .NET со всеми классами.
Компиляция на лету работает на базе класса CodeDomProvider.

.

Спустя время понимаю, что есть неудобство, поэтому разделил приложение на ядро и визуальную часть. Сделал службу Windows, которая реализует простой REST интерфейс для приёма кода и выдачи статуса задачи пользователю. Пишу веб-страничку, где пользователь будет писать код/выбирать готовые обработки и отправлять через него. Да, это заработало. Теперь можно запускать задачи и вручную и планировать через службу (а серверов у нас не мало)



Кто-то скажет велосипед, но так и есть, но он работает, его поддерживать легко, а главное люди пользуются и не надо особо им объяснять что и где менять в коде, чтобы решить их задачу. Конкретно про невыгрузку DLL из домена: действительно, жрёт память чуть-чуть, пока не критично. Служба будет рестартоваться довольно часто, поэтому совсем не критично.
Читал статью, что можно создать отдельный домен и туда загружать сначала DLL, который будет реализовывать компиляцию. А оно уже будет загружать пользовательский скрипт (тоже DLL) в свой домен. Но пока класс компиляции не выносил в отдельную сборку, пока работает как есть. Итого: автору топика можно идти этим путём, потому как такие решения работают и на достаточно сложных задачах.