ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
49 сообщений из 49, показаны все 2 страниц
  все  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39713063
Yelibay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yelibay
Гость
Добрый день Друзья,
Как поживаете? Надеюсь у вас все хорошо.
Начну с главного, мы начали проект по хранилищу данных.
В данный момент определились с интеграционной программой ETL ODI 12 (Oracle Data Integration).

и мы предложили следующее:
БД - ORACLE 12 (OLTP partitioned построчно) или POSTGRESQL(Greenplum полоколоночно)
ETL- ODI 12
BI - SAP BI

Почему POSTGRE начали рассматривать, потому что цена приемлемая и БД OLAP.

Мне нужны все плюсы и минусы БД ORACLE и POSTGRE

В общем до завтра надо определиться с программами, но я хз о преимуществах данного программного продукта.
Помогите советом.

В форуме начал темы сравнения, но они 2008 года и думаю что в данный момент эти информации не актуальные.
...
Рейтинг: 0 / 0
04.10.2018, 15:25
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39713127
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
а источник что за субд? у оракла 12 есть In-Memory Column Store. логичней его противопоставлять Greenplum
...
Рейтинг: 0 / 0
04.10.2018, 16:53
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39713133
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
H5N1логичней

Кого волнует логика при выборе "на чём бы попилить"? Оракул рулит!
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
04.10.2018, 17:03
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39713308
Yelibay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yelibay
Гость
H5N1, OLAP ORACLE дорого стоит. Можем себе позволить OLTP partitioned или GreenPlum
...
Рейтинг: 0 / 0
05.10.2018, 06:35
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39713311
Yelibay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yelibay
Гость
Dimitry Sibiryakov,

Я сам с ораклист, но в greenplum меня заинтриговал OLAP, но так как опыта с данным продуктом не было я хотел бы получить совет.

Параллельно читаю достоинства и недостатки построчного и поколоночного хранения данных.
...
Рейтинг: 0 / 0
05.10.2018, 07:08
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39713684
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
в гринпламе по дефолту построчное хранение. У нас сейчас в GP все строчное, например.

у кого есть опыт там применения колонок и насколько широко?

у кого ГП будете покупать, у пивотал или наши поделки от аренадаты?
...
Рейтинг: 0 / 0
05.10.2018, 15:52
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39714320
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
Бумбарашв гринпламе по дефолту построчное хранение. У нас сейчас в GP все строчное, например.

у кого есть опыт там применения колонок и насколько широко?

у кого ГП будете покупать, у пивотал или наши поделки от аренадаты?
мы применяли колоночное. Вполне работает.
Но это мелочь. Сила гринплама в MPP кластере!! Оракл у вас односерверный. А на гп у вас может быть 10-ки серверов в паралели.
А слабость - в администрировании - нужные реально топовые активные админы гринплама. А таких во всех РФ 3 штуки.
...
Рейтинг: 0 / 0
08.10.2018, 11:45
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39714325
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
еще сложность с вашим ODI будет.
Он умеет ELT и Push-down или кастомный sql под трансформациями?
Greenplum силен в ELT парадигме. Ресурсами ODI трансформы делать - терять всю мощь MPP кластера
...
Рейтинг: 0 / 0
08.10.2018, 11:52
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39714403
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
Ivan Durakеще сложность с вашим ODI будет.
Он умеет ELT и Push-down или кастомный sql под трансформациями?
Greenplum силен в ELT парадигме. Ресурсами ODI трансформы делать - терять всю мощь MPP кластераКак раз таки основная фишка ODI это ELT, а pushdown там нет, потому что pushdown это придумка ETL инструментов, которые не умеют полный ELT делать. Так что ODI, если так можно выразиться, это полный pushdown.
...
Рейтинг: 0 / 0
08.10.2018, 14:03
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39714411
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
Скорее ОДИ это ELT, который не может ETL.

Как он будет работать с гринпламом - вот этот вопрос стоит провентилировать.
...
Рейтинг: 0 / 0
08.10.2018, 14:10
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39714445
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
БумбарашСкорее ОДИ это ELT, который не может ETL.

Как он будет работать с гринпламом - вот этот вопрос стоит провентилировать.Может он и ETL. Просто best practice для ODI это ELT.
...
Рейтинг: 0 / 0
08.10.2018, 14:45
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39714453
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
Бест практис это не использовать ODI )

Или любую другую ETL-поделку за 100+к усд
...
Рейтинг: 0 / 0
08.10.2018, 14:52
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39714462
Yelibay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yelibay
Гость
Бумбараш,

разработал ХД с нуля для банка с помощью ODI 11 версии. нормально работает.

а в чем в принципе недостаток ?
...
Рейтинг: 0 / 0
08.10.2018, 15:03
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39714467
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
БумбарашБест практис это не использовать ODI )

Или любую другую ETL-поделку за 100+к усдА что использовать?
...
Рейтинг: 0 / 0
08.10.2018, 15:11
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39714797
Фотография Shtock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shtock
Участник
ну всё опенсурсофилы либо костылят на питоне етл, либо пентахо
...
Рейтинг: 0 / 0
09.10.2018, 10:55
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39714799
Фотография Shtock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shtock
Участник
ну а насчёт оракл инмемори это цена * 2 и в нём куча нюансов. посмотри на дистрибутив гринплама от ArenaData. народ весьма забавно собрал.
...
Рейтинг: 0 / 0
09.10.2018, 10:57
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39714879
Yelibay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yelibay
Гость
Shtock,

Вы имеете ввиду утилиту для администрирования Greenplum?
Так эта утилита стоит 54000 долларов ) плюс админов я не нашел, которые имели опыт с работы ГП
...
Рейтинг: 0 / 0
09.10.2018, 13:03
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39715018
Фотография Shtock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shtock
Участник
ну я бы не был так категоричен в названии дистрибутива утилитой, но да :)

ну а насчёт ГП да, там те кто в теме в тинькове, ростелекоме и газпромнефти, хотя мне кажется людей можно прекрасно обучить
...
Рейтинг: 0 / 0
09.10.2018, 16:41
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39715230
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
При прочтении сего рыдалъ. Смешались в кучу хранилища без описания требования к оным, и оценки TCO на уровне "а там сказали дешевле", но для затравки.
...
Рейтинг: 0 / 0
09.10.2018, 23:21
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39715320
Yelibay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yelibay
Гость
pkarklin,

расскажите. не держите в себе. =)
...
Рейтинг: 0 / 0
10.10.2018, 06:39
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39715321
Yelibay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yelibay
Гость
Shtock,

Я был против ГП так как специалистов нету. Искал по всему сайту, но администратора с опытом работы с ГП не нашел.
Я знаю что можно обучить, но зависит от не его в будущем не хочу, если он уйдет мне придет взять другого админа и его обучать.

в итоге решили сделать так

Решение по СУДБ.
STAGE область - POSTGRE
PREPARE область - POSTGRE
DWH область - ORACLE

решение по ETL ODI 12

решение по BI
SAP BO - Средство дизайна информации и WEB intelegence. Эти программы идут в стэке.
...
Рейтинг: 0 / 0
10.10.2018, 06:41
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39715415
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
Yelibayразработал ХД с нуля для банка с помощью ODI 11 версии. нормально работает.

а в чем в принципе недостаток ?
ну так по большому счету все етль-тулы плюс минус одинаковые
...
Рейтинг: 0 / 0
10.10.2018, 10:32
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39715532
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
БумбарашYelibayразработал ХД с нуля для банка с помощью ODI 11 версии. нормально работает.

а в чем в принципе недостаток ?
ну так по большому счету все етль-тулы плюс минус одинаковыеПо большому счету все машины одинаковые :)
...
Рейтинг: 0 / 0
10.10.2018, 13:20
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39715581
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
Alexander RyndinБумбарашпропущено...

ну так по большому счету все етль-тулы плюс минус одинаковыеПо большому счету все машины одинаковые :)
по большому счету ВСЕ одинаковое
...
Рейтинг: 0 / 0
10.10.2018, 14:33
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39715589
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
Alexander RyndinБумбарашБест практис это не использовать ODI )

Или любую другую ETL-поделку за 100+к усдА что использовать?
использовать самописный ЕТL. К такому приходят все зрелые хранилища/команды, которые я видел. Основной плюс 1. сильно более быстрая автоматизация типовых задач.

ну и далее 2. более гибкие возможности разработки. 3. не надо платить 100к+ за "рисовалку".

Если хотите что-нибудь хорошее про ODI - как-то увидел на проекте с ODI, что там нельзя было сделать какой-то стандартный граф потоков загрузки - типо сначала параллельно загрузки, потом последовательно, потом параллельно. Или типа того. Пришел в другой банк - там тоже самое. Для обхода лепиться какая-то костылина.
С учетом того, что любой подкованный етльщик напишет на скриптах обертку реализующую такой кейс за мало человекодней/часов - возникает недоумение - за что платиться такое бабло.
...
Рейтинг: 0 / 0
10.10.2018, 14:43
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39715593
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
БумбарашAlexander Ryndinпропущено...
А что использовать?
использовать самописный ЕТL. К такому приходят все зрелые хранилища/команды, которые я видел. Основной плюс 1. сильно более быстрая автоматизация типовых задач.

ну и далее 2. более гибкие возможности разработки. 3. не надо платить 100к+ за "рисовалку".А я вот видел последствия реализации таких самописных ETL, когда
- полностью новой команде невозможно разобраться в проекте, а просто новый член команды тратит огромное количество времени на то, чтобы "войти" в проект
- невозможно визуализировать все это в инструментах управления метаданными
- перенос такого ETL на другую поатформу/базу данных это реимлементация
...
Рейтинг: 0 / 0
10.10.2018, 14:51
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39715604
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
Alexander RyndinА я вот видел последствия

сдуру можно и й сломать(с)

Alexander Ryndinа просто новый член команды тратит огромное количество времени на то, чтобы "войти" в проект

Это зависит от того, как поставлено сопровождение проекта в части документации, ввода нового члена и т.п. Присутствие или отсутствие ODI не является решением этих проблем при их наличии. Совсем.

Alexander Ryndin- невозможно визуализировать все это в инструментах управления метаданными
Что под этим имеется ввиду? Не помню, что там где было ODI была какая-то "визуализация в инструментах управления метаданными" и что это приносило какой-то ощутимый профит.

Alexander Ryndin- перенос такого ETL на другую поатформу/базу данных это реимлементация
Большинство проектов, которые видел по "переносу на другую платформу", мотивировались политотой "у вас тут платформа говно, сейчас сделаем как надо". Какой-то существенного профита при наличии ETL-тула при переносе не наблюдалось. Зачастую его выкидывали вместе со всем остальным скрабом.
...
Рейтинг: 0 / 0
10.10.2018, 15:15
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39715623
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
БумбарашAlexander Ryndinа просто новый член команды тратит огромное количество времени на то, чтобы "войти" в проект

Это зависит от того, как поставлено сопровождение проекта в части документации, ввода нового члена и т.п. Присутствие или отсутствие ODI не является решением этих проблем при их наличии. Совсем.Программный код есть программный код. Он не обладает функцией самодокументирования. ODI при грамотном использовании уже обладает элементами самодокументированности.

БумбарашAlexander Ryndin- невозможно визуализировать все это в инструментах управления метаданными
Что под этим имеется ввиду? Не помню, что там где было ODI была какая-то "визуализация в инструментах управления метаданными" и что это приносило какой-то ощутимый профит.Приносит. Сейчас многие компании озабочены отслеживанием метаданных: откуда пришли данные, кто их туда грузит, когда они туда были загружены, бизнес-описание данных. Все это крайне сложно сделать, если все написано на коленке.
БумбарашAlexander Ryndin- перенос такого ETL на другую поатформу/базу данных это реимлементация
Большинство проектов, которые видел по "переносу на другую платформу", мотивировались политотой "у вас тут платформа говно, сейчас сделаем как надо". Какой-то существенного профита при наличии ETL-тула при переносе не наблюдалось. Зачастую его выкидывали вместе со всем остальным скрабом.Ага. Самописные ETL обычно так и выкидывают.
...
Рейтинг: 0 / 0
10.10.2018, 15:46
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39715890
Yelibay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yelibay
Гость
Бумбараш,

авториспользовать самописный ЕТL. К такому приходят все зрелые хранилища/команды, которые я видел. Основной плюс 1. сильно более быстрая автоматизация типовых задач.

ну и далее 2. более гибкие возможности разработки. 3. не надо платить 100к+ за "рисовалку".

Если хотите что-нибудь хорошее про ODI - как-то увидел на проекте с ODI, что там нельзя было сделать какой-то стандартный граф потоков загрузки - типо сначала параллельно загрузки, потом последовательно, потом параллельно. Или типа того. Пришел в другой банк - там тоже самое. Для обхода лепиться какая-то костылина.
С учетом того, что любой подкованный етльщик напишет на скриптах обертку реализующую такой кейс за мало человекодней/часов - возникает недоумение - за что платиться такое бабло.

вы наверное имеете ввиду LOAD_PLAN))
Я тоже так думал пока не начал активно работать. В итоге я делал все что хотел.
Соглашусь с тем что на первый взгляд работа с ODI кажется трудной и за ее тупости работы, но это и за не опытности.

ODI не стоит 100 кусков, это смотря как вы с ними договоритесь. Всегда можно договориться.
...
Рейтинг: 0 / 0
11.10.2018, 06:31
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39715891
Yelibay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yelibay
Гость
Бумбараш,

а вы представьте что за 2 месяца вся ваша проектная команда встанут и уйдут.

Риски с учетом того что вы построили все на open source, ладно даже с документации.
они долго будут входить в работу.

По мне Новый сотрудник через неделю должен работать как пони))
...
Рейтинг: 0 / 0
11.10.2018, 06:37
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39715907
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
Yelibayа вы представьте что за 2 месяца вся ваша проектная команда встанут и уйдут.

Риски с учетом того что вы построили все на open source, ладно даже с документации.
они долго будут входить в работу.

По мне Новый сотрудник через неделю должен работать как пони))

хм ... откуда уверенность, что в подобной ситуации в эпоху ETL на бигдатах и реалтайм стриминга вы найдете хоть кого-то, кто видел ODI ?
...
Рейтинг: 0 / 0
11.10.2018, 08:50
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39715932
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
YelibayБумбараш,

а вы представьте что за 2 месяца вся ваша проектная команда встанут и уйдут.

Риски с учетом того что вы построили все на open source, ладно даже с документации.
они долго будут входить в работу.

По мне Новый сотрудник через неделю должен работать как пони))


так, с этого же и надо было начинать :

--"что делать, если я, в т.ч. как начальник, такая ....., что люди больше 2-х месяцев меня не выносят. да и платить по рынку я им никогда не буду."
...
Рейтинг: 0 / 0
11.10.2018, 10:00
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39716668
Yelibay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yelibay
Гость
H5N1,

ну вы с БИГ ДАТА переборщили ))) ТАМ ГДЕ БИГ ДАТА Я ВЫБИРАЮ INFORMATICA
...
Рейтинг: 0 / 0
12.10.2018, 14:01
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39716673
Yelibay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yelibay
Гость
qwwq,

Слушай дорогой, в жизни всякое бывает(Переезд, замена на другую работу с более высокой ЗП итд.)
и мы тут говорим о вероятности риска замены кадра на другого.

Модератор: Skipped
...
Рейтинг: 0 / 0
12.10.2018, 14:05
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39716811
обед
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
обед
Гость
Alexander RyndinБумбарашпропущено...

Это зависит от того, как поставлено сопровождение проекта в части документации, ввода нового члена и т.п. Присутствие или отсутствие ODI не является решением этих проблем при их наличии. Совсем.Программный код есть программный код. Он не обладает функцией самодокументирования. ODI при грамотном использовании уже обладает элементами самодокументированности.

грамотный самописный фреймворк как раз больше проблем с самодокументированием способен решить. ОДИ почти ничего не умеют в этом плане.
Alexander RyndinБумбарашпропущено...

Что под этим имеется ввиду? Не помню, что там где было ODI была какая-то "визуализация в инструментах управления метаданными" и что это приносило какой-то ощутимый профит.Приносит. Сейчас многие компании озабочены отслеживанием метаданных: откуда пришли данные, кто их туда грузит, когда они туда были загружены, бизнес-описание данных. Все это крайне сложно сделать, если все написано на коленке.

именно проблемы с отслеживанием зависимостей данных побудили писать свой фреймворк для етля. покупные решения практически ничего не могут сказать о взаимосвязях того что грузят.
Alexander RyndinБумбарашпропущено...

Большинство проектов, которые видел по "переносу на другую платформу", мотивировались политотой "у вас тут платформа говно, сейчас сделаем как надо". Какой-то существенного профита при наличии ETL-тула при переносе не наблюдалось. Зачастую его выкидывали вместе со всем остальным скрабом.Ага. Самописные ETL обычно так и выкидывают.

Выкидывают и выкидывают. Если нет разницы написать свой фреймворк за пару месяцев или покупать etl ожидая закупки по полгода, то не все ли равно.
А что устаревает так а IT все уже устарело.
...
Рейтинг: 0 / 0
12.10.2018, 16:43
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39716814
обед
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
обед
Гость
YelibayH5N1,

ну вы с БИГ ДАТА переборщили ))) ТАМ ГДЕ БИГ ДАТА Я ВЫБИРАЮ INFORMATICA

хорошая шутка. на информатике новый человек в проекте будет разбираться месяца 2. Окинуть взглядом пару сотен недокументированных ворфлоу и тут же все понять, угу угу.
...
Рейтинг: 0 / 0
12.10.2018, 16:50
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39716929
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Плюс если говорить о поиске людей и технологиях, то чем технология "топорнее", тем реботники дешевле и их проще найти

Т.ч. при кейсах: найти за 1 месяц человека со знанием PL/SQL который за 3 месяца в "pure PL/SQL" разберется или год искать со знанием ODI + 1 месяц разбираться = lдля бизнеса / надежности / отсутвия рисков. первое может быть предпочтительнее. А с учетом разницы зарплат... так и вообще не сравнимо

AFAIK на саппорте бюджеты/зарплаты как-то сильно меньше, чем при распилах на внедрениях
...
Рейтинг: 0 / 0
12.10.2018, 21:16
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39716971
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Yelibay[b]БД - ORACLE 12 (OLTP partitioned построчно) или POSTGRESQL(Greenplum полоколоночно)

Я не знаком с POSTGRESQL(Greenplum полоколоночно). Но обычно Oracle для хранилищ по количеству фич
почти всегда рвёт другую СУБД.
...
Рейтинг: 0 / 0
12.10.2018, 23:51
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39717032
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
Yelibayqwwq,

Слушай дорогой, в жизни всякое бывает(Переезд, замена на другую работу с более высокой ЗП итд.)
и мы тут говорим о вероятности риска замены кадра на другого.

учись понимать правильно
слушай,те, любезный.
в жизни всякое бывает. и 10 обвешанных сертификатами доступных ора-примочко-делов дороже и сбегливее/сбегучее пары ботанов--самомейдов. при том что многие из них, медалистов оракала, ещё и бестолковее. а по чистым замерам спецов тож на то и получается (изрядная часть достойных персоналий может совпадать с обеих сторон)

и мы тут говорим про условные (теорвер) вероятности рисков блаблабла.
при условии , что наниматель -- скареда и хам.
Модератор: Skipped
...
Рейтинг: 0 / 0
13.10.2018, 11:19
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39717432
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
maytonYelibay[b]БД - ORACLE 12 (OLTP partitioned построчно) или POSTGRESQL(Greenplum полоколоночно)

Я не знаком с POSTGRESQL(Greenplum полоколоночно). Но обычно Oracle для хранилищ по количеству фич
почти всегда рвёт другую СУБД.
про фичи - полноценный mpp claster когда будет?
Если что, то его даже в EXADATA не осилили, зашарили сторадж.
А для хранилища это в общем-то киллер фича. Настолько киллер, что даже хайв как бд который ничего хорошо не умеет кроме как в кластере работать - долю рынка отъедает в хранилищах с огромной скоростью.
...
Рейтинг: 0 / 0
15.10.2018, 10:47
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39717493
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Ivan Durakmaytonпропущено...

Я не знаком с POSTGRESQL(Greenplum полоколоночно). Но обычно Oracle для хранилищ по количеству фич
почти всегда рвёт другую СУБД.
про фичи - полноценный mpp claster когда будет?

Можете привести примеры систем где это уже реализовано?
...
Рейтинг: 0 / 0
15.10.2018, 12:09
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39717507
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
maytonНо обычно Oracle для хранилищ по количеству фич
почти всегда рвёт другую СУБД.
ну может он где-то что-то рвёт (скорее только в воображении) но по факту он теряет долю рынка и половина самых больших хранилищ в энтерпрайзе (в рф) - неоракл. Хотя 10 лет назад он там доминировал. Видимо не в том месте рвёт.
...
Рейтинг: 0 / 0
15.10.2018, 12:19
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39717561
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
ну и у него чисто исторически не может быть больше фич для хранилищ, чем у special purpose баз, которые сделаны только для хранилищ. Как та же терадата, которая 40 лет существует. А оракл изначально олтп база.
...
Рейтинг: 0 / 0
15.10.2018, 13:08
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39717713
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
maytonIvan Durakпропущено...

про фичи - полноценный mpp claster когда будет?

Можете привести примеры систем где это уже реализовано?
Teradata, Vertica, Greenplum, HANA, Sybase IQ, IBM Netezza, MS SQL PDW или как его там сейчас, ну и хадуп стек - Hive, Spark etc
Даже Postgres XL есть такой mpp
...
Рейтинг: 0 / 0
15.10.2018, 15:51
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39719157
Yelibay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yelibay
Гость
Ivan Durak,

авторДаже Postgres XL есть такой mpp
Это точно, MMP реальная тема
...
Рейтинг: 0 / 0
18.10.2018, 06:32
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39726060
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Ivan Durakmaytonпропущено...

Можете привести примеры систем где это уже реализовано?
Teradata, Vertica, Greenplum, HANA, Sybase IQ, IBM Netezza, MS SQL PDW или как его там сейчас, ну и хадуп стек - Hive, Spark etc

Даже Postgres XL есть такой mpp

Из документации по Postgres XL
Postgres-XL, a plan is generated once on a coordinator, and sent down to the individual data nodes.

Не очень понятно, чем это отличается от ALTER TABLE SET PARALLEL в Oracle
...
Рейтинг: 0 / 0
31.10.2018, 17:50
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39726527
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
Leonid KudryavtsevIvan Durakпропущено...

Teradata, Vertica, Greenplum, HANA, Sybase IQ, IBM Netezza, MS SQL PDW или как его там сейчас, ну и хадуп стек - Hive, Spark etc

Даже Postgres XL есть такой mpp

Из документации по Postgres XL
Postgres-XL, a plan is generated once on a coordinator, and sent down to the individual data nodes.

Не очень понятно, чем это отличается от ALTER TABLE SET PARALLEL в Oracle
не очень понимаю как можно не понять чем отличается кластер из N серверов и каждый со своим независимым стораджем,
от оракла с общим единственным стораджем. Его хоть паралель, хоть перпиндикулярь, больше максимума для одного стораджа I/O не выжмет.
...
Рейтинг: 0 / 0
01.11.2018, 13:23
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39726538
Yelibay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yelibay
Гость
Ivan Durak,

Real Sh*t
...
Рейтинг: 0 / 0
01.11.2018, 13:35
| Ответить | Цитировать | Написать  
ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
    #39726777
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Ivan Durakне очень понимаю как можно не понять чем отличается кластер из N серверов и каждый со своим независимым стораджем,
от оракла с общим единственным стораджем. Его хоть паралель, хоть перпиндикулярь, больше максимума для одного стораджа I/O не выжмет.
кластер Oracle с разными сторайджами называется Exadata.
но денег конечно стоит конских

банальный шардинг в Oracle - тоже есть, называется партиции

но шардинг имеет смысл, только если структура данных/приложений/запросов это позволяет. Если уж сильно хочется, сделать шардинг руками, раскидать в разные БД и связать через DB LInk - явно не бином Ньютона. Другое дело, не думаю, что кто-то в обычной практике занимается такой фигней и велосипедостроением.

Ivan DurakЕго хоть паралель, хоть перпиндикулярь, больше максимума для одного стораджа I/O не выжмет.
задача СУБД, не выжимать максимум IO, а обеспечивать быстрое выполнение запросов и/или транзакций (в стандартных тестах)

как я понимаю, в реальных железках/задачах/кластерах, проблема не с доступок к сторайдж, а со скоростью interconnect. Ее и так не хватает. А гонять по interconnect'у и шарднутые данные, да еще на тормознутых Ethernet - такой фигней Oracle не занимается. Не зря в ExaData не поскупились и interconnect сделали на InfiniBand, а не на китайском Ethernet 10 G (как обычно "кластеростроители" собирают)

AFAIK & IMHO
...
Рейтинг: 0 / 0
01.11.2018, 18:13
| Ответить | Цитировать | Написать  
49 сообщений из 49, показаны все 2 страниц
  все  
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=35&tid=1552207]:
 0ms
get settings:
 8ms
get forum list:
 12ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 156ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 76ms
get tp. blocked users:
 2ms
others: 236ms
total:  514ms
созд. / загр.: 514ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]