Jack CarverКоллеги, добрый день!
Подскажите, кто как решал подобную проблему.

Дано:
1) Перекачивается таблица со столбцами типа DATE из Oracle в Hive с помощью Sqoop.
2) На стороне Oracle временная зона - "Asia/Yekaterinburg".
3) На стороне Hadoop временная зона - "Asia/Yekaterinburg".
4) В данных есть значение '1983-04-01 00:00:00'. Это значение для временной зоны Екатеринбурга является моментом перехода на летнее время (DST).
т.е. запросы в Oracle:


вернет 1983-04-01


вернет ошибку "ORA-01878: в кодировке или интервале указанное поле не найдено"
5) Для хранения на стороне Hive используется parquet-таблица. В которой нет типа Date, можно использовать только Timestamp.
6) При записи данных mapreduce-джобом Sqoop'а происходит преобразование извлеченной из Оракла строки "1983-04-01 00:00:00" в timestamp с временной зоной кластера (Екатеринбург) с автоматическим смещением. Т.е. в parquet-таблице будет храниться дата вида "1983-04-01 01 :00:00"
7) Пользователям, которые работают с данными в parquet-таблице этот добавленный час НЕ НУЖЕН !!! Они привыкли работать с датами БЕЗ ТАЙМЗОН в Оракле.

Вопрос: как быть?


Пока решил проблему следующим образом:
Перевел кластер на временную зону UTC, в которой нет переходов DST.
И все входящие данные из Екатеринбурга вставляю без изменений (это подавляющее большинство) как будто они в UTC зоне.

Так пробовал?