Как-бы это не проблема, реализовано в браузерах: пока контрол активен, работает его скролл. Жмешь back и контрол теряет фокус, соответственно и скролл уже не его активен, а его владельца.
Я, к примеру, так делал: закладки (с фреймами), которые меняются при свайпах влево-вправо, а в них есть контролы наподобие календаря и графика, которые тоже ловят свайпы. Просто при необходимости (или наоборот), не обрабатываешь тут, а отдаешь в super.onTouchEvent.

Но это уже вопрос за пределами этой темы/раздела. :о)