Есть двумерный массив из float (32-bit). На нем надо убрать всплески (резкие скачки) отличающиеся от соседних точек более, чем на 100, как в плюс, так и в минус, если их размер не превышает 10 пикселей по любому из направлений. В результате, на месте всплеска должны быть значения отличающиеся не более, чем на 5 от соседних точек.

Можно было бы медианным фильтром пройтись с окном 21х21, и он бы убрал все все всплески круглой/квадратной формы размером 10х10 и менее, но он также и убрал бы, например, любой длинный хребет толщиной 10 и менее - что не нужно.
Да и остальную часть массива может попортить.

Есть ли какой-то наиболее оптимальный алгоритм/фильтр для устранения именно скачков, не затрагивающий точки не входящие в скачок?

scf https://ru.wikipedia.org/wiki/Квантиль

Попробуйте по квантилю фильтровать
Я так понимаю это повлияет только на чувствительность к отклонению скачка, но не на его размер в точках, т.е. так же удалит тонкий, но длинный (100 или 1000 точек...) хребет?