начать со спарк UI, там видны стейджи, таски. вероятно что-то падает и рестартится. потом выкачивать лог драйвера и смотреть причину падений тасков

полагаю вы стартуете спарк в режиме yarn-cluster, тогда драйвер программа спарка стартует где-то на кластере. первый вариант когда стартуете джобу spark-submit пишет урл джобы, по этому урлу выйти на экран джоба.
второй вариант смотреть в админке вашего хадупа (cloudera manager или ambari ) yarn applications. должен быть список yarn джобов, что бежит на кластере. найти ваш джоб со спарком



справа внизу ссылка log, там stdout смотреть, обычно он огромный и схлопнут. надо тыкать на "Click here for the full log."