Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Формат заданий для распределённых вычислений, раскидываемых по сети. / 5 сообщений из 5, страница 1 из 1
31.08.2007, 11:53
    #34767246
pavelkolodin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Формат заданий для распределённых вычислений, раскидываемых по сети.
Какой способ оформления заданий для узлов сети распределённых вычислений считается самым вменяемым? Мне просто любопытно. Да, интересная тема. На работе есть двухпроцессорный ящик и ноутбук - есть над чем поизмываться.

Немножко порылся в гугле, нашёл MPI - протокол, ориентированный на процессы и события меж ними. Пока не разбирался. Подумал "событиями много не передашь". Да, есть BOINC - тоже не разбирался.

Интересно вот что - есть ли способ представить задачу компиляции некоторого исходника на С++ в формате пакета с некой математической задачей, чтобы отправить этот пакет узлу, получить от него ответ и преобразовать в результат (объектный файл, например). Таким образом каждый исходник перевёлся бы на математический язык и отправился бы узлам большой сети. Так опеноффис бы собрался за минуту ) Только боюсь, процесс формулировки задачи компиляции исходника на С++ будет по сложности сравним с самой компиляцией.

Ладно, тогда подскажите, какие есть решения, позволяющие, грубо говоря, одному ядру моей ОС (линукс, например) видеть чужие процессоры и память (доступные как-то через сеть), как свою? Соответственно, "make -j 1024" - и тысяча двадцать четыре исходника начнут компилироваться одновременно )

Мечты...
...
Рейтинг: 0 / 0
31.08.2007, 13:28
    #34767729
maXmo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Формат заданий для распределённых вычислений, раскидываемых по сети.
как я понимаю, в боинке у каждого проекта своё вычисляющее приложение, которое само знает, как устроен файл задания, применять тут универсальный формат неоправданно, приложение-менеджер действует со веми проектами по единой схеме: при подключении к проекту скачивает последнюю версию вычисляющего приложения и скармливает ему задания (в виде файлов), вычисляющее приложение делает саму обработку задания, результат менеджер отправляет на сервер (тоже в виде файла).
...
Рейтинг: 0 / 0
31.08.2007, 14:38
    #34768044
Lalr_one
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Формат заданий для распределённых вычислений, раскидываемых по сети.
pavelkolodin
Немножко порылся в гугле, нашёл MPI - протокол, ориентированный на процессы и события меж ними. Пока не разбирался. Подумал "событиями много не передашь". Да, есть BOINC - тоже не разбирался.

Да ну? Можно очень даже много передать, у меня до гигабайта траффика в секунду доходило в MPI (сеточная квантовая хромодинамика считалась).


Интересно вот что - есть ли способ представить задачу компиляции некоторого исходника на С++ в формате пакета с некой математической задачей, чтобы отправить этот пакет узлу, получить от него ответ и преобразовать в результат (объектный файл, например).

distcc это давно умеет делать.

Ладно, тогда подскажите, какие есть решения, позволяющие, грубо говоря, одному ядру моей ОС (линукс, например) видеть чужие процессоры и память (доступные как-то через сеть), как свою? Соответственно, "make -j 1024" - и тысяча двадцать четыре исходника начнут компилироваться одновременно )

OpenMOSIX или оригинальный MOSIX. Но тогда ядро старое придется использовать, они обломались более свежие поддерживать.

Мечты...

Все уже украдено до нас (c)
...
Рейтинг: 0 / 0
31.08.2007, 15:12
    #34768229
grieg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Формат заданий для распределённых вычислений, раскидываемых по сети.
Существует два понятия.

1. Параллельные вычисления. У нас есть несколько компьютеров, соединенных быстрой сеткой (тогда оперативная память у кажого процессора, скорей всего, своя). А может даже, есть один комп, в котором 10 процессоров (тогда память общая). MPI -- стандарит и библиотека для написания программ в таких условиях.

2. Распределенные системы. Куча компов в интернете, у каждого своя операционная система, своя толщина инета, своя архитектура процессора и прочее. Компьюетры подключаются и отлючаются хаотично. Тут ключевое слова Grid, Globus Toolkit.

Если создашь систему сборки, которая вот так вот может -- будет круто.
...
Рейтинг: 0 / 0
31.08.2007, 20:09
    #34769263
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Формат заданий для распределённых вычислений, раскидываемых по сети.
pavelkolodinПодумал "событиями много не передашь".
Плохо подумал.
...
Рейтинг: 0 / 0
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Формат заданий для распределённых вычислений, раскидываемых по сети. / 5 сообщений из 5, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]