Вопрос имеющим реальный опыт с Hadoop.

Есть некоторый граф, узлы которого являются задачами.
При этом каждый такой узел может иметь зависимости от других узлов.
Обработку некоторого подграфа можно стартовать от любого узла, при этом каждый узел в ходящий в этот запущенный подграф ожидает выполнения (уведомления о выполнении) всех своих зависимостей и запускается только тогда, когда все зависимости выполнены.
Сейчас у меня есть собственный сервис который реализует этот механизм (пока граф задач не очень большой).
Я хотел бы реализовать распределенную обработку на основе Apache Hadoop.
Есть ли что то готовое(какой то каркас) в Hadoop, что позволяет определить последовательность выполнения задач в соответствии с их зависимостями?
Или эту логику мне придется реализовывать самостоятельно?

just_vladimir,
>>обязательно прикрутить к этому MapReduce?
Да

>>>А почему именно Hadoop? Он заточен под MapReduce, а у вас задача более общего вида.
Задача сводится к шагам: Загрузка-Вычисления-Вывод результатов
>>Вы сначала сформулируйте требования к платформе:
>>- на одной машине или на кластере
на небольшом кластере
>>- с сохранением промежуточных данных для восстановления, или без
С сохранением
>>- вычислительный граф статический или может расширяться в процессе вычислений
Пока думаю что статический, по крайней мере весь граф известен при запуске процесса
>>- нужна ли особая эффективность реализации (это если у вас миллионы узлов, исполнение каждого менее миллисекунды, так что накладные расходы способны съесть всю прибыль от распараллеливания)

пока не знаю, зависит от сложности алгоритма и величины графа.
На первое время достаточен отклик в порядке 2 сек после первоначальной загрузки исторических данных (данные впоследствии стримом подгружаются в реалтайме, или даже по таймеру)

>>>Почитайте http://www.doc.ic.ac.uk/~vc100/papers/Scientific_workflow_systems.pdf
Потом погуглите java scientific workflow or dataflow.
И найдете наиболее подходящую готовую реализацию.
Все существующие workflow системы ориентированы на старт процесса с заранее заданной точки.
Мне (упрощенно) нужен старт с произвольной точки. Смотрел много чего, но не видел подобных реализаций в существующих workflow. Знаете что то подобное?

rfq Это точка в пространстве графа (узел) или во времени (этап вычислений)? В обоих случаях, для исполнения заданной точки необходимо исполнить предысторию с начальной точки - как вы хотите начать исполняться с середины, не исполнив начала?
Это точка и в пространстве графа, и во времени.
Начальная точка характеризует какой то подпроцесс, определяемый подграфом зависимостей от этой точки.
При этом почти одновременно я могу стартовать несколько точек и если какое то подмножество точек пересекается и часть из них уже выполняется, то они не стартуют повторно.
У каждой вершины есть состояние (может быть сброшено). Если точка когда либо была успешно расчитана, то запуск какого-либо подграфа не должен вызвать ее повторный расчет(процессинг) если только не перерасчитываются нижележащие зависимости.

rfqпри чем здесь MapReduce
MapReduce позволяет быстро выполнить загрузку и преобразование данных с расчетом агрегатов и/или каких-либо промежуточных данных, сохраняет все это в распределенной файловой системе, используя запросы к которой можно получить довольно быстрый отклик.

Каждая точка по сути это процесс MapReduce, но мне как то необходимо контролировать запуск этих процессов, некоторой специфичной логикой, основанной на ярусной форме графа.

Penkov Vladimir,

я не говорил что 100 Мб...