ReSQL.ru
     
powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Map
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
25 сообщений из 26, страница 1 из 2
  1  все
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060610
Nixic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nixic
Участник
Привет всем!
Поставили тут задачу, генерить hive скрипт. Погуглил-погуглил, толком ничего не нашёл: одна либа на Scala и hplsql который вот этот https://github.com/apache/hive/tree/master/hplsql
И вроде как второй то, что надо, но никак примеров не могу найти как конвертнуть SQL в Hive с его помощью, ковыряюсь в исходниках...
Может есть какие-то варианты, кто-то уже что-то для подобного использовал?
Спасибо.
...
Рейтинг: 0 / 0
08.04.2021, 10:19
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060625
Lelouch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lelouch
Участник
Nixic,

https://github.com/apache/hive/blob/master/hplsql/src/test/java/org/apache/hive/hplsql/TestHplsqlOffline.java - вот этот пример вам не поможет?
...
Рейтинг: 0 / 0
08.04.2021, 11:06
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060627
SpringMan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SpringMan
Гость
Что значит "генерации Hive скрипта из POJO или из SQL скрипта" ? - hive это уже sql. Что конкретно надо сделать то?
...
Рейтинг: 0 / 0
08.04.2021, 11:17
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060629
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Nixic,
Вам в ветку big data.
Я так понял, это скрипт в линуксе в командной строке. Как питон. Причем тут java?
...
Рейтинг: 0 / 0
08.04.2021, 11:26
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060687
Nixic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nixic
Участник
Есть файл, со скриптами, заливаем его в сервис джава, через метод контроллера.
Читаем строчки, получаем текст одного из скриптов на SQL
Код: plsql
1.
2.
3.
4.
5.
6.
CREATE TABLE public.Customers (
  id integer Primary KEY UNIQUE NOT NULL,
  name varchar(255),
  phone integer UNIQUE,
  email varchar(255)
);


Надо этот текст, преобразовать в SQL который можно выполнить в хадупе, то есть, как я понял, в синтаксис hive, и если бы он не отличался от стандартного SQL, наверное бы и задачи такой не было.

Сам изначальный SQL который выше, генерится на основе объекта json, переданного с фронта или же хранящегося в бд, через SQLBuilder (com.healthmarketscience.sqlbuilder).
п.с. Petro, не пиши, пожалуйста, ты опять щас тут разведешь такое, что все переосмыслят свою жизнь и уйдут в грузчики в штаты работать))
...
Рейтинг: 0 / 0
08.04.2021, 13:50
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060697
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Nixic,
У меня нюх на тупые задачи))))
И кодировщиков которые пишут строго по ТЗ ничего не понимая.
...
Рейтинг: 0 / 0
08.04.2021, 14:09
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060706
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Nixic,
Из этого
Код: java
1.
2.
3.
4.
5.
6.
CREATE TABLE public.Customers (
  id integer Primary KEY UNIQUE NOT NULL,
  name varchar(255),
  phone integer UNIQUE,
  email varchar(255)
);


сделать это автоматом?
Код: java
1.
2.
3.
4.
5.
6.
7.
8.
CREATE EXTERNAL TABLE IF NOT EXISTS employee_external ( eid int, name String,
salary String, destination String)
COMMENT 'Employee details'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE
LOCATION '/user/root/external_files/';
...
Рейтинг: 0 / 0
08.04.2021, 14:22
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060707
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Nixic,
Мне жаль. Тебе все равно придется разъяснять задачу)
...
Рейтинг: 0 / 0
08.04.2021, 14:24
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060763
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Nixic

Код: plsql
1.
2.
3.
4.
5.
6.
CREATE TABLE public.Customers (
  id integer Primary KEY UNIQUE NOT NULL,
  name varchar(255),
  phone integer UNIQUE,
  email varchar(255)
);



Нужен пример не только input, но и output. Я думаю что Hive-диалект здесь знает меньше 1% читателей.

Как работает либа на Scala я не знаю. Не смотрел. И сомнительно что кто-то станет погружаться в этот вопрос
глубже чем этот топик.

Вобщем если не удасться решить ее простыми строковыми заменами (как это делал один господин на Perl недавно)
- то считай что решение будет очень дорого стоить.
...
Рейтинг: 0 / 0
08.04.2021, 16:17
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060767
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
mayton,
Он фактически хочет переводчик с одного ЯП на другой.
Очень странно.
...
Рейтинг: 0 / 0
08.04.2021, 16:27
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060770
Nixic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nixic
Участник
Да, я не в теме, для меня это новое, клонировал несколько либ, всё не то :)
Сейчас ждем пример скрипта, который нужно получить... Пока, видимо отложу эту задачу, крайней размытая постановка получается.
Но! Я-то думал, что задача почти тривиальна, подумаешь один диалект в другой перевести, аннет..
Спасибо всем отписавшим!
...
Рейтинг: 0 / 0
08.04.2021, 16:31
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060771
Nixic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nixic
Участник
И да, тут получается "переводчик" конвертер,
но я так же искал генератор, на основе объектов или json или java... аля SQLBuilder для SQL
...
Рейтинг: 0 / 0
08.04.2021, 16:34
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060776
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
mayton,
Блин, был язык к бд sql - не понравился
Придумали язык hql - не понравился
Теперь придумали hive - тоже не нравится что работать надо)))
...
Рейтинг: 0 / 0
08.04.2021, 16:47
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060780
Nixic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nixic
Участник
HiveQL он и есть HQL
я как услышал, подумал, причем здесь хибернейт вообще)
...
Рейтинг: 0 / 0
08.04.2021, 17:08
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060781
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Nixic,
Нет
HQL (Hibernate Query Language) – это объекто-ориентированный язык запросов, который очень похож на SQL. Главное различие языков HQL и SQL связано с тем, что SQL формирует запросы из наименований таблиц в базе данных и их столбцов, а HQL работает с сущностями (классами) и их полями (аттрибутами класса).
...
Рейтинг: 0 / 0
08.04.2021, 17:11
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060786
SpringMan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SpringMan
Гость
Если используешь хайв, то ты должен четко понимать формат, в котором хранить данные, и как эти данные партицировать. А это можно выбрать, только если ты знаешь как используются эти данные. Т.е автоматизированные перевод этого добра довольно бессмысленный в общем случае
...
Рейтинг: 0 / 0
08.04.2021, 17:21
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060787
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
забыл ник
Участник
SpringMan
Если используешь хайв, то ты должен четко понимать формат, в котором хранить данные, и как эти данные партицировать. А это можно выбрать, только если ты знаешь как используются эти данные. Т.е автоматизированные перевод этого добра довольно бессмысленный в общем случае


Все правильно, тут обыкновенный случай попытки не разбираясь глубоко сделать бац-бац и в дамки. Ну... к успеху шли как говорится. Совсем скоро придет осознание того что bigdata это не просто поменять oracle на hive, ничего.. все проходили. Сам скрипт конечно же врядли будет написан, ибо правильная схема данных - это чуть ли не самое главное в такого рода проектах, поэтому так либо иначе им придется все делать руками.
...
Рейтинг: 0 / 0
08.04.2021, 17:29
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060802
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Я немного знаком с bigdata. И hive - это некое подмножество реализаций в платформе Hadoop и принципов MapReduce.

Скорее всего язык там - неполноценный. Больше расчитанный на CTAS и выборки. Обновления там часто не поддерживаются
вообще. Поэтому перед тем как вообще ставить задачу перевода - надо решить задачу идеологическую. А именно - возможно
ли принципиально перевести SQL->HiveQL.

Это все равно что я-бы в форуме лингвистов просил перевода современного технического английского текста из домена It
в древне-вавилонскую клинопись.
...
Рейтинг: 0 / 0
08.04.2021, 18:19
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060837
Nixic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nixic
Участник
Ну я еще раз напишу :) я не разбираюсь в hive, на следующей неделе мне подкинут базиста с этими знаниями и будет понятнее.
Честно говоря, я не совсем понимаю, почему я должен быть на связи с хадупом, для генерации скрипта создания таблиц.
Мне ведь не нужно его запускать...
И еще раз - перевод SQL в HiveQL было моим предположением, как, показавшийся мне, наиболее короткий путь.
п.с. селекты, джойны и прочее не интересны, нужны(если на языке SQL) только CREATE TABLE и ALTER TABLE, ну и индексы, если они вообще в HiveQL есть...
п.п.с А почему вообще такая идея у меня появилась (перевод SQL в HiveQL) - потому что сам SQL уже моим кодом генерится на основе объектов json, которые взялись с фронта на котором накидали формочками схему данных с разными полями и связями. Т.е. думать над структурой БД - не моя задача.
...
Рейтинг: 0 / 0
08.04.2021, 22:08
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060846
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Nixic, а какой смысл тебе тогда делать эту задачу? Ты нагенеришь каких-то сомнительных скриптов и потом
придет другой чел и все равно будет их исправлять и разбираться.

Медвежья услуга IMHO. Впрочем - делай если хочешь. Просто я-бы вообще ничего не делал при такй постановке.
...
Рейтинг: 0 / 0
08.04.2021, 22:45
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060879
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Nixic,

>сам SQL уже моим кодом генерится на основе объектов json, которые взялись с фронта на котором накидали формочками схему данных с разными полями и связями
= ну допустим у вас построитель бд а-ля access.
Где тут бизнес задача. За которую фирма прибыль получает?
Вместо разработчика БД ваша тетя Маша накидала схему много ко многим?
Не верю.
И никто в твоем топике пока тебе не верит.
Разберешься, приходи.
...
Рейтинг: 0 / 0
09.04.2021, 07:03
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060884
Nixic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nixic
Участник
Петро, выспись, я же на галере работаю, мне-то какая разница какая там бизнес-задача и кто и за что деньги получает))
И зачем мне что-то придумывать, врать? - Риторический вопрос, не требует ответа :)
п.с. ты же в курсе, что на фронте тоже можно ограничить функционал и сделать зависимости возможных действий от текущего состояния объектов? Тоже риторический вопрос :)
...
Рейтинг: 0 / 0
09.04.2021, 07:47
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060892
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mad_nazgul
Участник
Nixic
Ну я еще раз напишу :) я не разбираюсь в hive, на следующей неделе мне подкинут базиста с этими знаниями и будет понятнее.
Честно говоря, я не совсем понимаю, почему я должен быть на связи с хадупом, для генерации скрипта создания таблиц.
Мне ведь не нужно его запускать...
И еще раз - перевод SQL в HiveQL было моим предположением, как, показавшийся мне, наиболее короткий путь.
п.с. селекты, джойны и прочее не интересны, нужны(если на языке SQL) только CREATE TABLE и ALTER TABLE, ну и индексы, если они вообще в HiveQL есть...
п.п.с А почему вообще такая идея у меня появилась (перевод SQL в HiveQL) - потому что сам SQL уже моим кодом генерится на основе объектов json, которые взялись с фронта на котором накидали формочками схему данных с разными полями и связями. Т.е. думать над структурой БД - не моя задача.


А документацию почитать?!

<:o)
...
Рейтинг: 0 / 0
09.04.2021, 08:24
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060900
Nixic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nixic
Участник
mad_nazgul

А документацию почитать?!
<:o)

Я бы почитал, конечно, если бы мне на это выделили время и задачу поставили, а так - для себя.. да как-то хватает чтения документаций по джаве, спрингу, микросервисам... :)
Я же ожидал, что уже есть готовые решения с понятной апишкой, но оказалось, что нет :)
Но видимо придется, раз никто из коллег на работе не может ни задачу поставить четкую, ни спеца по хадупу пока не выделили... сижу курю...
...
Рейтинг: 0 / 0
09.04.2021, 08:47
| Ответить | Цитировать | Написать  
Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
    #40060902
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
Nixic,

Если твою задачу никто не понял и не верит, то разумеется дело не в галере где гребешь.
Это понятно?
Приходится задавать вопрос выше так как ты сам сказал - тетя Дуся строит SQL DDL формочками.
Вот кто в твою фразу поверил?
>И зачем мне что-то придумывать, врать?
=тут многие врут. Придумывают сами себе задачи про 600 полей в сущности.
Логично?
...
Рейтинг: 0 / 0
09.04.2021, 08:53
| Ответить | Цитировать | Написать  
25 сообщений из 26, страница 1 из 2
  1  все
Форумы / Java [игнор отключен] [закрыт для гостей] / Что можно взять для генерации Hive скрипта из POJO или из SQL скрипта?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru, Чат Кролика       Пашэ: Рисунки, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=40060625&tid=2120471]:
 0ms
get settings:
 4ms
get forum list:
 6ms
check forum access:
 1ms
check topic access:
 1ms
track hit:
 59ms
get topic data:
 5ms
get forum data:
 1ms
get page messages:
 459ms
get tp. blocked users:
 1ms
others: 311ms
total:  848ms
созд. / загр.: 848ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]