Гость
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Переключение существующих mappings to HIVE database. / 2 сообщений из 2, страница 1 из 1
21.09.2021, 11:58
    #40098928
Yelibay
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Переключение существующих mappings to HIVE database.
Дорогие друзья,

помогите у кого есть опыт работы с Hive?

В данный момент начали новый проект.
Цель- загрузить данные в Hive database используя существующие маппинги.

SOURCE (Oracle) -> Target (Hive)

Друзья, есть ли подводные камни при переключении соединения на Hive?

очень буду рад вашей помощи.
...
Рейтинг: 0 / 0
24.09.2021, 11:28
    #40099704
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Переключение существующих mappings to HIVE database.
Yelibay,

У нас Azure-облачный Databricks (PySpark), много данных в процессе переваривания под разные нужды (аналитика, частично визуализация, ETL на Python + ADF)
перекладываем из (Azure) SQL Server в DataBricks (включая Delta {для Merge} но без Photon) и обратно,
большинство колонок просто идёт как/конвертируем в String (в т.ч. UID и пр.), немного числовых (int /decimal), бул для флагов, и дат со временем
может конечно задачи простые но особых заморочек небыло, единственный раз пришлось дополнительную проверку с стэйджинге вводить для валидации datetime
а так-то конечно немного следить надо было но немного за другими вещами специфичными для платформы - т.к. с консистенцией данных и оптимизациями (напр. индексы) в Hive очень всё ограничено.
...
Рейтинг: 0 / 0
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Переключение существующих mappings to HIVE database. / 2 сообщений из 2, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]