Привет.
Коротко: C++. Как организовать доставку исполняемого кода на другой компьютер и выполнения его там?

Развернуто:
Есть очень интересная идея проекта обобщенных распределенных вычислений в гетерогенных средах.
Упрощенно говоря дело обстоит так: с помощью некой технологии, MPI, например, запускается N вычислительных нод. Нода может быть любой - физический процессор, виртуальная, обезьянка со счетами, не важно. Суть в том, что сервер заданий распределяет при этом специально сформированые задания по нодам, на которых они выполняются, а результаты их выполнения собираются тем же сервером заданий и сохраняются.
Пока не сложно?
Язык - обязательно С++, т.к. это требование одной из выч. платформ. Вот теперь начинаются трудности. Сейчас система реализована так, что для решения задачи необходимо пересобирать всю платформу, т.е. вычислительный код "вкомпиливается" намертво. Однако вдохновившись Java, хочется передавать ноде класс, который она будет выполнять, таким образом обеспечивая возможность на лету менять вычислительный код.

Кто знаком с J2EE, узнал подобие сервера приложений. Так вот, вопрос в том, как бы вы это реализовали?

У меня пока основная идея выч. код писать на каком-то скриптовом языке, lua, например. Однако меня очень тревожит вопрос производительности. Я одно время баловался с ней в связке с C++, и если мне не изменят память, во встраиваемом интерпретаторе была возможность компиляции в байт-код. Или например не плохо было бы научиться компилять код на каком-то языке в машинный прямо на лету. Тогда потери производительности во время выполнения должны отсутствовать полностью.

Есть какие-нибудь идеи?

Siemargl,

если идея выгорит, то на яву будет порт. Однако сейчас дело обстоит так, что основная доступная числодробилка имеет компилятор фортран и С++.


Usman,
тогда, думаю, лучше посмотреть в сторону Tiny CC.

To All,
а что вы думаете относительно javascript и v8 engine от гугла в качестве встроенного интерпретатора? Вообще вопрос, наверное прост. Какой встроенный скриптовый язык позволяет выжать максимум?

Usman,

интересно, хотел одно время изучить питон, но потыкав в него день, понял, что не лежит душа к нему. не вдохновило отсутствие private/public. А вообще спасибо, посмотрю в эту сторону.

Partisan M,

ага, а я вот на обоих сейчас программирую и вот что скажу, да, в том ключе как это реализовано в java, действительно не получиться... но есть варианты.

1) Доставить библиотеку кода. Будем считать,что мы собрали библиотеку под все нам известные платформы. Библиотека содержит один метод void сделатьЧудо(); и в принципе чудо происходит, если компиляторы совпадут, платформы окажутся правильными итд.
По скорости этот метод самый быстрый - исполняется оптимизированый скомпилированый машинный код.
Плюсы: максимальная производительность. Гетерогенность
Минусы: нечеловеческие усилия по разработке и отладке этой самой библиотеки. Если сама система разрабатывается один раз, и облысеет отлаживая ее один разработчик, то при использовании(кому она такая нужна?) облысеет в самых интимных местах целая армия.
Вывод: необходимо использовать только в случае острой необходимости и осознания затрат

2) Внедрить какой-нибудь скриптовый язык. Пусть будет питоном, хотя это не принципиально. Что мы получаем при этом: код по прежнему выполняется в том же окружении, но уже на неком подобии встроенной в контейнер виртуальной машине или интерпретаторе этого языка. Разумеется, производительность не самая высокая. Давайте будем реалистами и заложим 66,(6) % оверхеда этого долбаного питона. Итого мы получаем в три раза меньшую производительность всей системы в целом.
Я вообще физик по образованию, поэтому приведу реальный пример. Для диплома я на кластере считал поведение одной системы. Длилось это сутки и использовалось 100 ядер. Это не слишком много. На реализацию алгоритма я потратил 1 день. На то, чтобы заставить его работать параллельно при уже разработаной инфраструктуре, похожей на описанную здесь (предок этой системы) около двух недель.
Теперь вопрос: написав то же самое на питоне за 10 минут и скормив числодробилке со ста ядрами я бы заботился я об этом оверхеде? Разумеется, если писать что-то, что считается очень долго, год, например, то есть смысл потратить лишнюю неделю на написание на C++, но в случае не слишком крупных заданий....

vvm,

я столкнулся со следующей ситуацией. Существуют кластеры, они не общедоступны, но они есть. На кластере обычно есть планировщик, который выделяет ресурсы под задачу и запускает ее. Код работает по MPI. Тут и находится компилятор С++.
Кроме того, существуют гетерогенные среды, ярким примером которой является BOINC, который не работает на кластере, но тоже вполне крут... Плюс к этому еще существуют доморощенные кластеры, которые на MPI, например, можно развернуть за час...
ну собственно хочется объединить)