rdmзабыл никНу чем независимее таск тем лучше.
А в чем ваша трудность? Делите А на А1 и А2, Когда заканчивается А1 посылаете А2, и тд.
Дело в том, что эта последовательность A->B->C->D циклически повторяется много раз(от 100 и более) создавать столько однотипных тасков? насколько это правильно?
Ваше возражение мне совершенно непонятно. А сейчас у вас сколько таксов? разве не 400? Ну будет 800, но как вы сказали, они довольно тяжеловесные, так что затраты на синхронизацию будут незаметны.

И вообще, что вы подразумеваете под словом "таск"? Runnable под управлением Executor'a или Thread?

Мне кажется, вы не перешли в систему координат параллельного программирования. Для вас задача - это нечто замкнутое с точки зрения бизнес-логики, в то время как для выявления и эксплуатации параллельности нужно выявить параллельные участки и сформулировать зависимости по данным. В результате должен получиться ациклический граф, гда каждый узел - это элементарная задача, которая дождалась входных данных, испустила из себя выходные данные и умерла. Повторять ее нет смысла, так как результат будет тот же самый. Если граф большой (или неопределенного размера), его можно генерить в процессе работы (создавать новые узлы динамически).
Далее, при реализации, можно программистские объекты переиспользовать, для экономии памяти, так что один и тот же объект будет представлять разные задачи. Но это надо делать осторожно, чтобы не дай бог, объект не оказался задействован в одновременно выполняемых задачах, и понимать, что это - оптимизация, и ее надо делать в конце, когда все ясно. Преждевременная оптимизация - корень всех бед. Вы же с этой оптимизации начинаете, когда хотите повторять свой небольшой набор задач несколько раз. Неудивительно, что у вас возникают проблемы - просто потому, что вы искусственно задали себе ограничения (4 задачи по 100 раз), и спрашиваете публику, как вам в эти ограничения уложиться. А никак. Вы обрисуйте задачу как она есть, без ограничений, и мы подскажем.