|
|
|
Переключение существующих mappings to HIVE database.
|
|||
|---|---|---|---|
|
#18+
Дорогие друзья, помогите у кого есть опыт работы с Hive? В данный момент начали новый проект. Цель- загрузить данные в Hive database используя существующие маппинги. SOURCE (Oracle) -> Target (Hive) Друзья, есть ли подводные камни при переключении соединения на Hive? очень буду рад вашей помощи. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.09.2021, 11:58 |
|
||
|
Переключение существующих mappings to HIVE database.
|
|||
|---|---|---|---|
|
#18+
Yelibay, У нас Azure-облачный Databricks (PySpark), много данных в процессе переваривания под разные нужды (аналитика, частично визуализация, ETL на Python + ADF) перекладываем из (Azure) SQL Server в DataBricks (включая Delta {для Merge} но без Photon) и обратно, большинство колонок просто идёт как/конвертируем в String (в т.ч. UID и пр.), немного числовых (int /decimal), бул для флагов, и дат со временем может конечно задачи простые но особых заморочек небыло, единственный раз пришлось дополнительную проверку с стэйджинге вводить для валидации datetime а так-то конечно немного следить надо было но немного за другими вещами специфичными для платформы - т.к. с консистенцией данных и оптимизациями (напр. индексы) в Hive очень всё ограничено. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.09.2021, 11:28 |
|
||
|
|

start [/forum/topic.php?fid=48&tid=1856520]: |
0ms |
get settings: |
10ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
31ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
37ms |
get tp. blocked users: |
1ms |
| others: | 231ms |
| total: | 340ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...