sysn1k,

чтобы удостовериться - PySpark не предлагать?
мне вполне хватает и вполне нормально работает с другими питоновскими библиотеками (Pandas и пр.)

это ведь извечная дилемма противоположностей - скриптовые подходы против компилированных
гибкость и простота против производительности и долгой разработки
естественно что чем длиннее цепь PySpark->Scala->Java API/интерпретаторов
тем медленнее это будет работать.

просто большинство классов задач в моей практике обычно ставят приоритет
определённого баланса между сложностью решения и чтобы это было быстро доставлено бизнесу
с доступной поддержкой (где ресурсы можно найти на рынке труда быстро и дёшево)

понятно что где-то на более узком сегменте приоритеты будут немного другие.
(но там и объём рынка намного меньше)

так что стандартный подход поиска нужного соотношения недостатков и преимуществ
в котором у каждого свои предпочтения.