В чем фишка программы? Какие результаты она может выдавать? Как эту программу предполагается использовать? Нужна ли интерактивность? Я имею скромный опыт работы с таким родом софта. В первую очередь рекомендую подумать над тем, как этот софт будет использоваться и развиваться далее. Вообще, соображения следующие.

Нужно подумать о разделении программы на считалку и рисовалку (а может и еще на что).

Крутую математику, я полагаю, нужно реализовывать на крутых специализированных пакетах типа Математики (потому что можно одной командой посчитать интеграл, а не писать метод трапеций самому). Либо, если алгоритмы более низкоуровневые, на каком-нибудь С или С++ (чистом). Java -- это ж сами говорите, в сторону информационных систем, а не ЧМов. Если использовать стандартный С или С++, никаких проблем с переносимостью не должно возникать по определению.

Результаты. А вы уверены, что они всегда нужны в виде графиков и не файлов с числами? А если они нужны в виде графиков, то есть куча программ, которые умеют эти графики строить. А потому самому писать ничего не надо. Или есть некоторая специфика?