Ещё накину плюсов к предложению выше: spark ui и логи .
У нас стриминг из EventHub на DataBricks (PySpark)
из-за ограниченности операций над стриминговыми батчами датасетов приходилось вводить
дополнительные строки для вывода в логи (driver log , в самом notebook, или вообще отдельно в файл или базу)
в самом notebook есть состояние стрима (продолжительность батча, время начала, кол-во событий в нём)
если батч подвис (нода на кластере глючит {ganglia, gc в driver log, и пр.) - то сразу видно по аномалии времени исполнения.
на Spark UI операции тоже видны - состояние, продолжительность, ошибки (с полной java детализацией), планы исполнения
ну и стандартный Python-овский (в нашем случае вместо Scala) Try/Except тоже в некоторых местах для стриминга вполне справляется..