Привет.

Занимаемся разработкой системы запуска научных и производственных экспериментов на высокопроизводительных ресурсах - кластерах и суперкомпьютерах. Все ресурсы находятся в одном месте, в одной организации - вычислительный центр. Работает всё под Linux.

Мы реализуем следующую архитектуру нашей системы: один сервер, графические клиенты (работают с сервером через SSL) и по одному агенту на каждом ресурсе. Агент - постоянно работающая программа, любые действия инициируются на агенте сервером. Сервер хранит данные всех пользователей, описания экспериментов, запусков, результатов и множество сопутствующих данных.

Эксперимент по сути - WorkFlow - множество задач, где-то параллельных, где-то последовательных. Задачи ресурсоёмкие, запускаются только на ресурсах, выполняться могут часами, сутками, для множеств наборов данных. Сервер старается оптимально спланировать работу эксперимента, правильно подобрать ресурсы, мониторить запущенные задачи. Кроме того, передать входные данные, забрать (или запомнить местоположение) выходные данные.

Что важно - система не будет использовать ресурсы монопольно, а только параллельно с другими пользователями, которые работают с ресурсами без этой системы (SSH, Shell-скрипты и т.п.).

Ещё важный момент - система должна запускать задачи на ресурсах только от имени реальных пользователей, поскольку все задачи контролируются и оплачиваются. Процессорное время на ресурсах - это деньги.


ВОПРОС - правильна ли текущая архитектура? Основной вопрос - про агентов? Может вообще их не надо? А просто тупо серверу по SSH коннектиться и в терминальном режиме всё делать? Или например поднимать агента от имени реальных пользователей.

Почему возник вопрос - основной камень преткновения между разработчиками системы и администраторами - как запускать задачи от имени реальных пользователей. Никаких особых настроек для агентов админы делать категорически не будут. Ни возможности использовать команду sudo, ни уж тем более возможности запускать агента под рутом. Небезопасно - говорят.

Вот и не знаем, что делать? Искать прорехи в архитектуре и думать о другой или спорить с админами?

Всем кто откликнется - заранее спасибо.