powered by simpleCommunicator - 2.0.40     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Переключение существующих mappings to HIVE database.
2 сообщений из 2, страница 1 из 1
Переключение существующих mappings to HIVE database.
    #40098928
Yelibay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Дорогие друзья,

помогите у кого есть опыт работы с Hive?

В данный момент начали новый проект.
Цель- загрузить данные в Hive database используя существующие маппинги.

SOURCE (Oracle) -> Target (Hive)

Друзья, есть ли подводные камни при переключении соединения на Hive?

очень буду рад вашей помощи.
...
Рейтинг: 0 / 0
Переключение существующих mappings to HIVE database.
    #40099704
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Yelibay,

У нас Azure-облачный Databricks (PySpark), много данных в процессе переваривания под разные нужды (аналитика, частично визуализация, ETL на Python + ADF)
перекладываем из (Azure) SQL Server в DataBricks (включая Delta {для Merge} но без Photon) и обратно,
большинство колонок просто идёт как/конвертируем в String (в т.ч. UID и пр.), немного числовых (int /decimal), бул для флагов, и дат со временем
может конечно задачи простые но особых заморочек небыло, единственный раз пришлось дополнительную проверку с стэйджинге вводить для валидации datetime
а так-то конечно немного следить надо было но немного за другими вещами специфичными для платформы - т.к. с консистенцией данных и оптимизациями (напр. индексы) в Hive очень всё ограничено.
...
Рейтинг: 0 / 0
2 сообщений из 2, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Переключение существующих mappings to HIVE database.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]