ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;)) / Сравнение СУБД

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

24 сообщений из 49, страница 2 из 2

все

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39715593

Alexander Ryndin

Участник

Сообщения: 4 863

Рейтинг: 0 / 0

БумбарашAlexander Ryndinпропущено...
А что использовать?
использовать самописный ЕТL. К такому приходят все зрелые хранилища/команды, которые я видел. Основной плюс 1. сильно более быстрая автоматизация типовых задач.

ну и далее 2. более гибкие возможности разработки. 3. не надо платить 100к+ за "рисовалку".А я вот видел последствия реализации таких самописных ETL, когда
- полностью новой команде невозможно разобраться в проекте, а просто новый член команды тратит огромное количество времени на то, чтобы "войти" в проект
- невозможно визуализировать все это в инструментах управления метаданными
- перенос такого ETL на другую поатформу/базу данных это реимлементация

...

Рейтинг:

0 / 0

10.10.2018, 14:51

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39715604

Бумбараш

Участник

Откуда: никем не победимая, самая любимая

Сообщения: 1 090

Рейтинг: 0 / 0

Alexander RyndinА я вот видел последствия

сдуру можно и й сломать(с)

Alexander Ryndinа просто новый член команды тратит огромное количество времени на то, чтобы "войти" в проект

Это зависит от того, как поставлено сопровождение проекта в части документации, ввода нового члена и т.п. Присутствие или отсутствие ODI не является решением этих проблем при их наличии. Совсем.

Alexander Ryndin- невозможно визуализировать все это в инструментах управления метаданными
Что под этим имеется ввиду? Не помню, что там где было ODI была какая-то "визуализация в инструментах управления метаданными" и что это приносило какой-то ощутимый профит.

Alexander Ryndin- перенос такого ETL на другую поатформу/базу данных это реимлементация
Большинство проектов, которые видел по "переносу на другую платформу", мотивировались политотой "у вас тут платформа говно, сейчас сделаем как надо". Какой-то существенного профита при наличии ETL-тула при переносе не наблюдалось. Зачастую его выкидывали вместе со всем остальным скрабом.

...

Рейтинг:

0 / 0

10.10.2018, 15:15

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39715623

Alexander Ryndin

Участник

Сообщения: 4 863

Рейтинг: 0 / 0

БумбарашAlexander Ryndinа просто новый член команды тратит огромное количество времени на то, чтобы "войти" в проект

Это зависит от того, как поставлено сопровождение проекта в части документации, ввода нового члена и т.п. Присутствие или отсутствие ODI не является решением этих проблем при их наличии. Совсем.Программный код есть программный код. Он не обладает функцией самодокументирования. ODI при грамотном использовании уже обладает элементами самодокументированности.

БумбарашAlexander Ryndin- невозможно визуализировать все это в инструментах управления метаданными
Что под этим имеется ввиду? Не помню, что там где было ODI была какая-то "визуализация в инструментах управления метаданными" и что это приносило какой-то ощутимый профит.Приносит. Сейчас многие компании озабочены отслеживанием метаданных: откуда пришли данные, кто их туда грузит, когда они туда были загружены, бизнес-описание данных. Все это крайне сложно сделать, если все написано на коленке.
БумбарашAlexander Ryndin- перенос такого ETL на другую поатформу/базу данных это реимлементация
Большинство проектов, которые видел по "переносу на другую платформу", мотивировались политотой "у вас тут платформа говно, сейчас сделаем как надо". Какой-то существенного профита при наличии ETL-тула при переносе не наблюдалось. Зачастую его выкидывали вместе со всем остальным скрабом.Ага. Самописные ETL обычно так и выкидывают.

...

Рейтинг:

0 / 0

10.10.2018, 15:46

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39715890

Yelibay

Гость

Бумбараш,

авториспользовать самописный ЕТL. К такому приходят все зрелые хранилища/команды, которые я видел. Основной плюс 1. сильно более быстрая автоматизация типовых задач.

ну и далее 2. более гибкие возможности разработки. 3. не надо платить 100к+ за "рисовалку".

Если хотите что-нибудь хорошее про ODI - как-то увидел на проекте с ODI, что там нельзя было сделать какой-то стандартный граф потоков загрузки - типо сначала параллельно загрузки, потом последовательно, потом параллельно. Или типа того. Пришел в другой банк - там тоже самое. Для обхода лепиться какая-то костылина.
С учетом того, что любой подкованный етльщик напишет на скриптах обертку реализующую такой кейс за мало человекодней/часов - возникает недоумение - за что платиться такое бабло.

вы наверное имеете ввиду LOAD_PLAN))
Я тоже так думал пока не начал активно работать. В итоге я делал все что хотел.
Соглашусь с тем что на первый взгляд работа с ODI кажется трудной и за ее тупости работы, но это и за не опытности.

ODI не стоит 100 кусков, это смотря как вы с ними договоритесь. Всегда можно договориться.

...

Рейтинг:

0 / 0

11.10.2018, 06:31

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39715891

Yelibay

Гость

Бумбараш,

а вы представьте что за 2 месяца вся ваша проектная команда встанут и уйдут.

Риски с учетом того что вы построили все на open source, ладно даже с документации.
они долго будут входить в работу.

По мне Новый сотрудник через неделю должен работать как пони))

...

Рейтинг:

0 / 0

11.10.2018, 06:37

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39715907

H5N1

Участник

Откуда: Yo.! из "Сравнения субд"

Сообщения: 685

Рейтинг: 0 / 0

Yelibayа вы представьте что за 2 месяца вся ваша проектная команда встанут и уйдут.

Риски с учетом того что вы построили все на open source, ладно даже с документации.
они долго будут входить в работу.

По мне Новый сотрудник через неделю должен работать как пони))

хм ... откуда уверенность, что в подобной ситуации в эпоху ETL на бигдатах и реалтайм стриминга вы найдете хоть кого-то, кто видел ODI ?

...

Рейтинг:

0 / 0

11.10.2018, 08:50

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39715932

qwwq

Участник

Сообщения: 2 880

Рейтинг: 0 / 0

YelibayБумбараш,

а вы представьте что за 2 месяца вся ваша проектная команда встанут и уйдут.

Риски с учетом того что вы построили все на open source, ладно даже с документации.
они долго будут входить в работу.

По мне Новый сотрудник через неделю должен работать как пони))

так, с этого же и надо было начинать :

--"что делать, если я, в т.ч. как начальник, такая ....., что люди больше 2-х месяцев меня не выносят. да и платить по рынку я им никогда не буду."

...

Рейтинг:

0 / 0

11.10.2018, 10:00

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39716668

Yelibay

Гость

H5N1,

ну вы с БИГ ДАТА переборщили ))) ТАМ ГДЕ БИГ ДАТА Я ВЫБИРАЮ INFORMATICA

...

Рейтинг:

0 / 0

12.10.2018, 14:01

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39716673

Yelibay

Гость

qwwq,

Слушай дорогой, в жизни всякое бывает(Переезд, замена на другую работу с более высокой ЗП итд.)
и мы тут говорим о вероятности риска замены кадра на другого.

Модератор: Skipped

...

Рейтинг:

0 / 0

12.10.2018, 14:05

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39716811

обед

Гость

Alexander RyndinБумбарашпропущено...

Это зависит от того, как поставлено сопровождение проекта в части документации, ввода нового члена и т.п. Присутствие или отсутствие ODI не является решением этих проблем при их наличии. Совсем.Программный код есть программный код. Он не обладает функцией самодокументирования. ODI при грамотном использовании уже обладает элементами самодокументированности.

грамотный самописный фреймворк как раз больше проблем с самодокументированием способен решить. ОДИ почти ничего не умеют в этом плане.
Alexander RyndinБумбарашпропущено...

Что под этим имеется ввиду? Не помню, что там где было ODI была какая-то "визуализация в инструментах управления метаданными" и что это приносило какой-то ощутимый профит.Приносит. Сейчас многие компании озабочены отслеживанием метаданных: откуда пришли данные, кто их туда грузит, когда они туда были загружены, бизнес-описание данных. Все это крайне сложно сделать, если все написано на коленке.

именно проблемы с отслеживанием зависимостей данных побудили писать свой фреймворк для етля. покупные решения практически ничего не могут сказать о взаимосвязях того что грузят.
Alexander RyndinБумбарашпропущено...

Большинство проектов, которые видел по "переносу на другую платформу", мотивировались политотой "у вас тут платформа говно, сейчас сделаем как надо". Какой-то существенного профита при наличии ETL-тула при переносе не наблюдалось. Зачастую его выкидывали вместе со всем остальным скрабом.Ага. Самописные ETL обычно так и выкидывают.

Выкидывают и выкидывают. Если нет разницы написать свой фреймворк за пару месяцев или покупать etl ожидая закупки по полгода, то не все ли равно.
А что устаревает так а IT все уже устарело.

...

Рейтинг:

0 / 0

12.10.2018, 16:43

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39716814

обед

Гость

YelibayH5N1,

ну вы с БИГ ДАТА переборщили ))) ТАМ ГДЕ БИГ ДАТА Я ВЫБИРАЮ INFORMATICA

хорошая шутка. на информатике новый человек в проекте будет разбираться месяца 2. Окинуть взглядом пару сотен недокументированных ворфлоу и тут же все понять, угу угу.

...

Рейтинг:

0 / 0

12.10.2018, 16:50

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39716929

Leonid Kudryavtsev

Участник

Сообщения: 9 300

Рейтинг: 0 / 0

Плюс если говорить о поиске людей и технологиях, то чем технология "топорнее", тем реботники дешевле и их проще найти

Т.ч. при кейсах: найти за 1 месяц человека со знанием PL/SQL который за 3 месяца в "pure PL/SQL" разберется или год искать со знанием ODI + 1 месяц разбираться = lдля бизнеса / надежности / отсутвия рисков. первое может быть предпочтительнее. А с учетом разницы зарплат... так и вообще не сравнимо

AFAIK на саппорте бюджеты/зарплаты как-то сильно меньше, чем при распилах на внедрениях

...

Рейтинг:

0 / 0

12.10.2018, 21:16

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39716971

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 2 / 0

Yelibay[b]БД - ORACLE 12 (OLTP partitioned построчно) или POSTGRESQL(Greenplum полоколоночно)

Я не знаком с POSTGRESQL(Greenplum полоколоночно). Но обычно Oracle для хранилищ по количеству фич
почти всегда рвёт другую СУБД.

...

Рейтинг:

0 / 0

12.10.2018, 23:51

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39717032

qwwq

Участник

Сообщения: 2 880

Рейтинг: 0 / 0

Yelibayqwwq,

Слушай дорогой, в жизни всякое бывает(Переезд, замена на другую работу с более высокой ЗП итд.)
и мы тут говорим о вероятности риска замены кадра на другого.

учись понимать правильно
слушай,те, любезный.
в жизни всякое бывает. и 10 обвешанных сертификатами доступных ора-примочко-делов дороже и сбегливее/сбегучее пары ботанов--самомейдов. при том что многие из них, медалистов оракала, ещё и бестолковее. а по чистым замерам спецов тож на то и получается (изрядная часть достойных персоналий может совпадать с обеих сторон)

и мы тут говорим про условные (теорвер) вероятности рисков блаблабла.
при условии , что наниматель -- скареда и хам.
Модератор: Skipped

...

Рейтинг:

0 / 0

13.10.2018, 11:19

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39717432

Ivan Durak

Участник

Откуда: Minsk!!!

Сообщения: 2 602

Рейтинг: 0 / 0

maytonYelibay[b]БД - ORACLE 12 (OLTP partitioned построчно) или POSTGRESQL(Greenplum полоколоночно)

Я не знаком с POSTGRESQL(Greenplum полоколоночно). Но обычно Oracle для хранилищ по количеству фич
почти всегда рвёт другую СУБД.
про фичи - полноценный mpp claster когда будет?
Если что, то его даже в EXADATA не осилили, зашарили сторадж.
А для хранилища это в общем-то киллер фича. Настолько киллер, что даже хайв как бд который ничего хорошо не умеет кроме как в кластере работать - долю рынка отъедает в хранилищах с огромной скоростью.

...

Рейтинг:

0 / 0

15.10.2018, 10:47

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39717493

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 2 / 0

Ivan Durakmaytonпропущено...

Я не знаком с POSTGRESQL(Greenplum полоколоночно). Но обычно Oracle для хранилищ по количеству фич
почти всегда рвёт другую СУБД.
про фичи - полноценный mpp claster когда будет?

Можете привести примеры систем где это уже реализовано?

...

Рейтинг:

0 / 0

15.10.2018, 12:09

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39717507

Бумбараш

Участник

Откуда: никем не победимая, самая любимая

Сообщения: 1 090

Рейтинг: 0 / 0

maytonНо обычно Oracle для хранилищ по количеству фич
почти всегда рвёт другую СУБД.
ну может он где-то что-то рвёт (скорее только в воображении) но по факту он теряет долю рынка и половина самых больших хранилищ в энтерпрайзе (в рф) - неоракл. Хотя 10 лет назад он там доминировал. Видимо не в том месте рвёт.

...

Рейтинг:

0 / 0

15.10.2018, 12:19

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39717561

Бумбараш

Участник

Откуда: никем не победимая, самая любимая

Сообщения: 1 090

Рейтинг: 0 / 0

ну и у него чисто исторически не может быть больше фич для хранилищ, чем у special purpose баз, которые сделаны только для хранилищ. Как та же терадата, которая 40 лет существует. А оракл изначально олтп база.

...

Рейтинг:

0 / 0

15.10.2018, 13:08

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39717713

Ivan Durak

Участник

Откуда: Minsk!!!

Сообщения: 2 602

Рейтинг: 0 / 0

maytonIvan Durakпропущено...

про фичи - полноценный mpp claster когда будет?

Можете привести примеры систем где это уже реализовано?
Teradata, Vertica, Greenplum, HANA, Sybase IQ, IBM Netezza, MS SQL PDW или как его там сейчас, ну и хадуп стек - Hive, Spark etc
Даже Postgres XL есть такой mpp

...

Рейтинг:

0 / 0

15.10.2018, 15:51

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39719157

Yelibay

Гость

Ivan Durak,

авторДаже Postgres XL есть такой mpp
Это точно, MMP реальная тема

...

Рейтинг:

0 / 0

18.10.2018, 06:32

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39726060

Leonid Kudryavtsev

Участник

Сообщения: 9 300

Рейтинг: 0 / 0

Ivan Durakmaytonпропущено...

Можете привести примеры систем где это уже реализовано?
Teradata, Vertica, Greenplum, HANA, Sybase IQ, IBM Netezza, MS SQL PDW или как его там сейчас, ну и хадуп стек - Hive, Spark etc

Даже Postgres XL есть такой mpp

Из документации по Postgres XL
Postgres-XL, a plan is generated once on a coordinator, and sent down to the individual data nodes.

Не очень понятно, чем это отличается от ALTER TABLE SET PARALLEL в Oracle

...

Рейтинг:

0 / 0

31.10.2018, 17:50

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39726527

Ivan Durak

Участник

Откуда: Minsk!!!

Сообщения: 2 602

Рейтинг: 0 / 0

Leonid KudryavtsevIvan Durakпропущено...

Teradata, Vertica, Greenplum, HANA, Sybase IQ, IBM Netezza, MS SQL PDW или как его там сейчас, ну и хадуп стек - Hive, Spark etc

Даже Postgres XL есть такой mpp

Из документации по Postgres XL
Postgres-XL, a plan is generated once on a coordinator, and sent down to the individual data nodes.

Не очень понятно, чем это отличается от ALTER TABLE SET PARALLEL в Oracle
не очень понимаю как можно не понять чем отличается кластер из N серверов и каждый со своим независимым стораджем,
от оракла с общим единственным стораджем. Его хоть паралель, хоть перпиндикулярь, больше максимума для одного стораджа I/O не выжмет.

...

Рейтинг:

0 / 0

01.11.2018, 13:23

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39726538

Yelibay

Гость

Ivan Durak,

Real Sh*t

...

Рейтинг:

0 / 0

01.11.2018, 13:35

| Ответить | Цитировать | Написать

ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

#39726777

Leonid Kudryavtsev

Участник

Сообщения: 9 300

Рейтинг: 0 / 0

Ivan Durakне очень понимаю как можно не понять чем отличается кластер из N серверов и каждый со своим независимым стораджем,
от оракла с общим единственным стораджем. Его хоть паралель, хоть перпиндикулярь, больше максимума для одного стораджа I/O не выжмет.
кластер Oracle с разными сторайджами называется Exadata.
но денег конечно стоит конских

банальный шардинг в Oracle - тоже есть, называется партиции

но шардинг имеет смысл, только если структура данных/приложений/запросов это позволяет. Если уж сильно хочется, сделать шардинг руками, раскидать в разные БД и связать через DB LInk - явно не бином Ньютона. Другое дело, не думаю, что кто-то в обычной практике занимается такой фигней и велосипедостроением.

Ivan DurakЕго хоть паралель, хоть перпиндикулярь, больше максимума для одного стораджа I/O не выжмет.
задача СУБД, не выжимать максимум IO, а обеспечивать быстрое выполнение запросов и/или транзакций (в стандартных тестах)

как я понимаю, в реальных железках/задачах/кластерах, проблема не с доступок к сторайдж, а со скоростью interconnect. Ее и так не хватает. А гонять по interconnect'у и шарднутые данные, да еще на тормознутых Ethernet - такой фигней Oracle не занимается. Не зря в ExaData не поскупились и interconnect сделали на InfiniBand, а не на китайском Ethernet 10 G (как обычно "кластеростроители" собирают)

AFAIK & IMHO

...

Рейтинг:

0 / 0

01.11.2018, 18:13

| Ответить | Цитировать | Написать

24 сообщений из 49, страница 2 из 2

все

Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / ORACLE OLTP Partitioned VS POSTGRESQL Greenplum (Пошла жара ;))

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=35&msg=39715623&tid=1552207]:	0ms
get settings:	10ms
get forum list:	15ms
check forum access:	4ms
check topic access:	4ms
track hit:	36ms
get topic data:	12ms
get forum data:	3ms
get page messages:	51ms
get tp. blocked users:	1ms
others:	236ms

total:	372ms