|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
Расширяя уровни мракобесия я могу предположить что хайлоад - это просто температура процессора. Офигеть технологии. Мало того что инженеришко Мур подкинул нам свинью. Сначала усыпил нас сладким мёдом дескыть - Закон имени меня... Каждые 1.5 года перформанс магически растет. А потом в 2005 году - Херак! И всё. Тут-то всем нам и пришёл хайлоад. Кинулись кластеризовать... ан нет. Не кластеризуется бизнес. Или кластеризуется но с такими потерями что... может лучше переписать на ассемблере и выкрутить ручку частоты в крайнее правое положение. Где-то на 3.5 Мегагерца и даст бох еще 2 года проработаем. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 11:36 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
crutchmaster booby Это очень хорошо, когда update не нужен. А когда он нужен? Почти всегда надо хранить историю операций. Ну, по крайней мере у нас. а зачем тут уже какую страницу об версионность, которой якобы нет трутся? Версионность, это когда, вместо того, чтобы затирать старое говно новым, просто продолжают набрасывать новое, где-то рядом со старым. crutchmaster booby Я никакого не хочу, мне не надо Никто не хочет. А бызнес говорит, делайте. ... Мудаковатого бизнеса, произносящего слова, смысла которых он не понимает, надо либо стараться избегать, либо, если не получается, то как-то так исподволь образовывать, чтобы в нем просыпалось счастье от осознания того, что сам до всего додумался, да еще и прозой по дороге разговаривать научился. Вариантов-то не так и много... crutchmaster Ну вообще я часто от своих ораклистов слышу что-то про хайлоад. Не знаю, что они имеют ввиду, вот и набрасываю. Ну, вот это просто враки, на лавочке на закате. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 11:51 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
Да. Бизнесу плевать на версионность или блокировочность. Бизенс говорит - хочу такой ендпойнт чтоб загрузив туда с одной стороны все события в мире - с другой стороны получить команды к трейдингу. Дальше - мы во усём уиноуаты. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 11:55 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
mayton Да. Бизнесу плевать на версионность или блокировочность. Бизенс говорит - хочу такой ендпойнт чтоб загрузив туда с одной стороны все события в мире - с другой стороны получить команды к трейдингу. Дальше - мы во усём уиноуаты. Здесь предполагается, что у виноватых должно быть достаточно образования, чтобы объяснить бизнесу, на что деньги тратить не надо , какого класса система должна искаться под подобную задачу, а заодно и сообщить, существует ли она в природе на текущий момент времени. А если в этом месте виноватый скажет "да щаз я вам на яве слабаю такой хайлоад", и бизнес поверит, значит виноватый с бизнесом счастливо нашли друг-друга. Вот как-то так, наверно. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 12:35 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
crutchmaster H5N1 далее у оракла версионность наложена на блоки И гешефт от неё где? Ты выборки делаешь по этой версионности? Когда что-то надо было откатить, мы откатывали полдня на резервном серваке. Надо было это один раз за 4 года, после этого, это самое undo сделали уже на уровне данных бд. H5N1 нагородить полноценный кластер с единым, размазанным по всем нодам кешом Который юзлесс, потому что перед тормозной субд всё равно все ставят какой-нибудь ram кэш, а кто не ставит - те двузвенщики, что с них взять. оракл это и есть рам кеш, больше чем что либо виденное тобой в этом мире. не пиши сюда, ты явно не врубаешься даже в самые базовые термины. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 13:02 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
H5N1 crutchmaster пропущено... И гешефт от неё где? Ты выборки делаешь по этой версионности? Когда что-то надо было откатить, мы откатывали полдня на резервном серваке. Надо было это один раз за 4 года, после этого, это самое undo сделали уже на уровне данных бд. пропущено... Который юзлесс, потому что перед тормозной субд всё равно все ставят какой-нибудь ram кэш, а кто не ставит - те двузвенщики, что с них взять. оракл это и есть рам кеш, больше чем что либо виденное тобой в этом мире. не пиши сюда, ты явно не врубаешься даже в самые базовые термины. Если положить всю базу в RAM - то Оракловый кеш становится слегка избыточным. В самом деле. Зачем нам всякие абстракции ROWID/BlockId? Это попытка вывести данные из контекста адресной арифметики памяти и перейти к диску. Уберем отсюда диск. Заменим ROWID на С++ pointers и получим хорший такой хайлоад. А всё остальное - компромиссы. TimesTen - явное тому подтверждение. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 13:33 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
mayton Если положить всю базу в RAM - то Оракловый кеш становится слегка избыточным. В самом деле. Зачем нам всякие абстракции ROWID/BlockId? Это попытка вывести данные из контекста адресной арифметики памяти и перейти к диску. Уберем отсюда диск. Заменим ROWID на С++ pointers и получим хорший такой хайлоад. А всё остальное - компромиссы. TimesTen - явное тому подтверждение. ну и где ты видел таймстен перед оракловым кластером ? те кто готовы жить с евеншинал консистени на оторванном от бд кеше, те выкидывают оракл целиком. фишка оркла в том, что его кеш не просто размазан по нодам, но и имеет SCN, имеет несколько версий блоков на разные SCN и обеспечивает MVCC. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 13:49 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
mayton, TimesTen - отважная попытка одной из первых исторически memory-oriented database. Но выписывалась в такие древние времена, когда все писалось исходя из модели плоской равнодоступной памяти, это настолько неадекватно современному комьютеростроению, что ее родной исходный вариант индексации просто неработоспособен на современных архитектурах и по умолчанию отключен, с оставленной возможностью воспользоваться для особо желающих. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 13:58 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
booby, Когда я переводил один из проектов с mysql -> pg то на innodb была какая-никакая консистентность. И foreign key. А вот полнотекста на этом движке не было, а он был нужен, надо было искать по документам. pl/pgsql удобнее процедурного языка mysql, экспертная система до сих пор пашет. mysql, когда мы с него решили бежать, до mariadb было далеко, как до Луны. ИМХО, но лучше иметь один движок таблиц, но доведённый до конца, чем кучу недоделанных. INNODB был самым нормальным. Он кстати вёл себя как оракловский. Когда начались непонятки с лицензиями и была вероятность, что ORACLE просто этот проект закроет нафиг, директор решил делать новую версию на PG. Как-то так. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 14:09 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
H5N1 mayton Если положить всю базу в RAM - то Оракловый кеш становится слегка избыточным. В самом деле. Зачем нам всякие абстракции ROWID/BlockId? Это попытка вывести данные из контекста адресной арифметики памяти и перейти к диску. Уберем отсюда диск. Заменим ROWID на С++ pointers и получим хорший такой хайлоад. А всё остальное - компромиссы. TimesTen - явное тому подтверждение. ну и где ты видел таймстен перед оракловым кластером ? те кто готовы жить с евеншинал консистени на оторванном от бд кеше, те выкидывают оракл целиком. фишка оркла в том, что его кеш не просто размазан по нодам, но и имеет SCN, имеет несколько версий блоков на разные SCN и обеспечивает MVCC. Я и не говорю про кластер. Я по инерции продолжаю ворчать про хайлоад. Хотите хайлоад на 1 ноде - жертвуйте хоть чем-то. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 14:11 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
maytonВ семинарах и конфах говорят что хайлоад - это когда ваше железо занято на 100% и нет возможности уже ничего улучшить. Немаловажное уточнение: не может ничего улучшить конкретный криворукий кодер. Чтобы далеко за примером не ходить - https://www.sql.ru/forum/actualthread.aspx?tid=1340446 Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 14:21 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov maytonВ семинарах и конфах говорят что хайлоад - это когда ваше железо занято на 100% и нет возможности уже ничего улучшить. Немаловажное уточнение: не может ничего улучшить конкретный криворукий кодер. Чтобы далеко за примером не ходить - https://www.sql.ru/forum/actualthread.aspx?tid=1340446 Как говорил Мартиросян - "И тем не менее...." HiLoad существует. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 14:24 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
maytonHiLoad существует. Так я же и не отрицал существование криворуких разработчиков, делающих тормозные приложения на интерпретируемых языках, способные сожрать все имеющиеся в наличии ресурсы. Это же не совпадение, что на каждой первой конференции по "HiLoad" всплывает PHP и Java... Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 14:45 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
Ммм... не согласен. Я сужу по этому каналу https://www.youtube.com/c/HighLoadChannel/playlists ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 14:48 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
Использование видео там, где достаточно текста... Это типично для "HiLoad". Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 15:03 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
booby mayton Да. Бизнесу плевать на версионность или блокировочность. Бизенс говорит - хочу такой ендпойнт чтоб загрузив туда с одной стороны все события в мире - с другой стороны получить команды к трейдингу. Дальше - мы во усём уиноуаты. Здесь предполагается, что у виноватых должно быть достаточно образования, чтобы объяснить бизнесу, на что деньги тратить не надо , какого класса система должна искаться под подобную задачу, а заодно и сообщить, существует ли она в природе на текущий момент времени. А если в этом месте виноватый скажет "да щаз я вам на яве слабаю такой хайлоад", и бизнес поверит, значит виноватый с бизнесом счастливо нашли друг-друга. Вот как-то так, наверно. Кстати, очень далеко ходить-то, может, и не придется. Yandex.Database, например, может быть даже с некоторым избытком по заложенному функционалу для такой задачи будет. Может что и попроще можно найти. Но она действительно на относительно свежих идеях стоит, opensource и обладает преимуществом независимости от санкций. Это не прямо рекомендация - бери и приделывай/переделывай. Но присмотреться можно, хотя бы, чтобы понять, можно ли, и в куда ей rdma over ethernet совать для вливания битов прямо в кеш соседней таблетки. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 15:34 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
booby я именно за темой dml error logging не слежу, по сути, но на память помню, что ее исходная функциональность была достаточно ограниченной, чтобы вообще принимать за интересную для боевой в случае OLTP ситуации. Пропуск dup_val_on_index автоматически обесценивает "фичу" для случая OLTP-нагрузки, а отказ отслеживать direct path load по сути обесценивает ее и для прочих сценариев, оставляя очень узкое окно возможностей. Подытоживая это своими ощущениями касательно обесценивания. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 23:30 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
Бумбараш Кобанчег, осталось только найти тех, кто сейчас до сих пор хранилища на оракле делает но это будет очень сложно Например, требования такие: - Загрузка Данные берутся в разной форме из разных источников (при этом загрузка разных порций данных может идти параллельно). В итоге всё это консолидируется и грузится в звезду с приростом 10 лярдов фактов в сутки. Здесь именно критично что в звезду (с фактами, измерениями и генерацией ключей для измерений) а не широкую таблицу на 100500 колонок как можно было бы запилить в хадуп. - Редактирование/Чтение Пользователи должны иметь возможность получать (и редактировать) наборы данных по определенным критериям [за секунды]. Здесь важно что крайне желательно избежать полного сканирования фактов а значит должен быть аналог subpartitioning (ибо пользователи работают с данными за конкретный день + критерии). Вместо subpartitioning это может быть даже smart storage когда блоки данных отсекаются на основании фильтров или другая фича которая поможет избавиться от сканирования ненужного. Мне удалось добиться некоторых успехов на AWS Redshift, но какие будут альтернативы Ораклу on-premises? ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 23:49 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
Кобанчег, <много эмоций> вспоминается бисер а по теме - денег нет в постгресе, и гнуть спину за эту поделку (да даже и против - не вижу смысли=) ... |
|||
:
Нравится:
Не нравится:
|
|||
30.11.2021, 23:54 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
ОКТОГЕН booby, Когда я переводил один из проектов с mysql -> pg то на innodb была какая-никакая консистентность. И foreign key. А вот полнотекста на этом движке не было, а он был нужен, надо было искать по документам. pl/pgsql удобнее процедурного языка mysql, экспертная система до сих пор пашет. mysql, когда мы с него решили бежать, до mariadb было далеко, как до Луны. ИМХО, но лучше иметь один движок таблиц, но доведённый до конца, чем кучу недоделанных. INNODB был самым нормальным. Он кстати вёл себя как оракловский. Когда начались непонятки с лицензиями и была вероятность, что ORACLE просто этот проект закроет нафиг, директор решил делать новую версию на PG. Как-то так. 22401619 Это вызывает определенные опасения. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.12.2021, 00:03 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
Кобанчег Интересно узнать на чем делает хранилища прогрессивное человечество. hadoop + spark + delta + витрины на impala. оракл отправлен на покой, хадуп готовится к переезду в азур. за бюджет оракла наверно хадуп на m2 samsung 980 pro можно строить и ddr5 памяти. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.12.2021, 00:13 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
Siemargl Кобанчег, <много эмоций> вспоминается бисер а по теме - денег нет в постгресе, и гнуть спину за эту поделку (да даже и против - не вижу смысли=)Можно придумать узко специализированную задачу для которой PG лучше Оракла. В частности я отвечал тут ( 22401641 ) про вектора/массивы для ptr128 который хорошо начал, но аргументацию дал ложную. Если переформулировать реальный use-case: Бывают ситуции когда число метрик или атрибутов или подставь_свое неизветсно на этапе дизайна. Представим для простоты что нам приходят сущности с массивом метрик. В таком случае это можно - каждую метрику хранить в отдельной строке (читай EAV) - либо хранить все метрики в одном поле JSON/XML - либо хранить все метрики в массиве/векторе/nested table/whatever Проблема Оракла, что при хранении всех метрик в одном атрибуте к ним невозможно достучаться SQL-но так же быстро как если бы они были каждая в отдельном столбце. Парсинг JSON/XML тяжелые операции по CPU, unnnesting для nested table еще хуже. В PG элементарно в SQL доступ к элементу массива по индексу. Особо креативные люди могут запилить свои SQL-ные типы , например ассоциативный массив с доступом по тегу типа JSON. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.12.2021, 00:18 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
Кобанчег но какие будут альтернативы Ораклу on-premises? Oracle Autonomous Data Warehouse Cloud Service. Очень неплохо работает и позволяет гибко выделять ресурсы по потребности. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.12.2021, 00:21 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
SQL*Plus Кобанчег но какие будут альтернативы Ораклу on-premises? Oracle Autonomous Data Warehouse Cloud Service. Очень неплохо работает и позволяет гибко выделять ресурсы по потребности. Бездумный пиар вызывает скорее отторжение. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.12.2021, 00:28 |
|
Что есть в oracle и нет в postgresql?
|
|||
---|---|---|---|
#18+
H5N1 Кобанчег Интересно узнать на чем делает хранилища прогрессивное человечество. hadoop + spark + delta + витрины на impala В 2017 когда я тесно с этим работал, после определенного числа пользователей импала отваливалась с нехваткой памяти (ясное дело, выполняемые запросы тоже имели значение, не только их число). Потом правда вроде были заметные улучшения по управлению ресурсами. Но касательно стабильности импалы и масштабируемости по числу пользователей отношение уже очень скептическое. Стек hadoop + spark абсолютно нежизнеспособен когда есть требования 1) параллельной заливки из разных источников (с генерацией суррогатных айдишников для измерений) 2) возможность редактирования данных Если загрузку еще можно выставить в очередь, то необходимость редактирования убивает стек технологий на корню. У нас умельцы пытались разрулить через in-memory cache (читай GridGain), но это добавляло проблем а не решений. PS. Про delta почитаю, не сталкивался. А какие проблемы этот инуструмент помог решить в вашем случае? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.12.2021, 00:38 |
|
|
start [/forum/topic.php?fid=35&msg=40116127&tid=1552157]: |
0ms |
get settings: |
7ms |
get forum list: |
6ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
33ms |
get topic data: |
2ms |
get forum data: |
1ms |
get page messages: |
397ms |
get tp. blocked users: |
0ms |
others: | 353ms |
total: | 801ms |
0 / 0 |