|
Переключение существующих mappings to HIVE database.
|
|||
---|---|---|---|
#18+
Дорогие друзья, помогите у кого есть опыт работы с Hive? В данный момент начали новый проект. Цель- загрузить данные в Hive database используя существующие маппинги. SOURCE (Oracle) -> Target (Hive) Друзья, есть ли подводные камни при переключении соединения на Hive? очень буду рад вашей помощи. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.09.2021, 11:58 |
|
Переключение существующих mappings to HIVE database.
|
|||
---|---|---|---|
#18+
Yelibay, У нас Azure-облачный Databricks (PySpark), много данных в процессе переваривания под разные нужды (аналитика, частично визуализация, ETL на Python + ADF) перекладываем из (Azure) SQL Server в DataBricks (включая Delta {для Merge} но без Photon) и обратно, большинство колонок просто идёт как/конвертируем в String (в т.ч. UID и пр.), немного числовых (int /decimal), бул для флагов, и дат со временем может конечно задачи простые но особых заморочек небыло, единственный раз пришлось дополнительную проверку с стэйджинге вводить для валидации datetime а так-то конечно немного следить надо было но немного за другими вещами специфичными для платформы - т.к. с консистенцией данных и оптимизациями (напр. индексы) в Hive очень всё ограничено. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2021, 11:28 |
|
|
start [/forum/topic.php?fid=48&fpage=1&tid=1856520]: |
0ms |
get settings: |
11ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
30ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
46ms |
get tp. blocked users: |
2ms |
others: | 279ms |
total: | 407ms |
0 / 0 |