GPU это для много-много посчитать, это комп в компе, внутри память и много ядер процов. GPU это замкнутая система, она слабо связана с памятью и диском. Передача в/из GPU это узкое место, поэтому если считать особо нечего, то передача туда-обратно съест всю экономию.

Задача должна быть много-много посчитать и алгоритм должен хорошо параллелиться. Например рендер картинок, для чего GPU и созданы. С недавних пор - майнинг криптовалют. Есть еще какие-то специфические задачи, которые имеет смысл на GPU решать, но для решения большинства обыденных задач GPU не поможет.