Пытаюсь понять, как лучше всего организовать перенос данных между Oracle и Hadoop, вроде как подходящим инструментом должен быть Sqoop, но когда стал смотреть более детально понял, что есть какой-то бардак с версиями, очень походит, что более новый sqoop 2 ничего не умеет (а возможно и не развивается, cloudera пишет, что хочет выпиливать его из своего дистрибутива).

В общем интересуют советы, что лучше использовать в новом проекте sqoop 1 или sqoop 2 или может быть вообще какой другой инструмент?

Потенциально еще вижу следующие варианты:
1. Экспортнуть из Oracle через SET MARKUP CSV ON, скопировать в hdfs, прочитать spark'ом.
2. Подключиться Spark'ом напрямую к Oracle (создать соответствующий Dataset)

Apex,
задача не разовая, нужно делать на регулярной основе, нужны обращения как к набору небольших таблиц справочников (в режиме удалили в таблицу в hadoop, перенесли целиком заново), так и ежедневно по итогу дня переносить некий инкремент от большой таблицы фактов.