|
|
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
По теме: какие есть мнения относительно критериев целесообразности применения МРР вместо обычных СУБД? Например, факты от млрд. строк, и т.п. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2020, 15:15 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
.Евгений, Самое большое мое ХД содержало чуть меньше 20 Тб данных, но там было колоночное хранение в самых объемных таблицах. При этом нагрузка на cpu было в среднем 20%. Так что переходить на mpp я бы подумал, когда сжатый объем дорастет до 50Тб, или где-то 200 Тб csv-данных. Или если будет обоснованное требование легкой горизонтальной масштабируемости, которая будет нужна для чего-то там. Для обычных организаций это не нужно, а вот всякие соцсети, где нагрузка может расти кратно - самое то. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2020, 18:44 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
.Евгений По теме: какие есть мнения относительно критериев целесообразности применения МРР вместо обычных СУБД? Например, факты от млрд. строк, и т.п. если у вас хранилище, то используйте MPP. Вот и весь критерий. "Обычная СУБД" сделана под OLTP нагрузку. А MPP под OLAP ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2020, 19:23 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
.Евгений По теме: какие есть мнения относительно критериев целесообразности применения МРР вместо обычных СУБД? Например, факты от млрд. строк, и т.п. есть мнение, что все всегда упирается в цену. лицензировать каждое ядрышко в обычных субд зачастую просто по деньгам теряет смысл. собственно отсюда и желание везде бигдату натолкать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2020, 19:41 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
Бумбараш если у вас хранилище, то используйте MPP. Вот и весь критерий. Насколько я могу судить, чисто количественно большинство ХД сделаны на обычных SQL серверах: MS, Oracle и т.п. Недавно здесь даже про MySQL упоминали. Критик Так что переходить на mpp я бы подумал, когда сжатый объем дорастет до 50Тб, или где-то 200 Тб csv-данных. Если с масштабируемостью все понятно, то общий объем данных мне кажется слабым критерием. Значительная часть объема может, например, относиться к историческим данным и использоваться крайне редко. Данные могут храниться в огромных денормализованных простынях или совсем наоборот - в десятках тысяч таблиц 6-й НФ (и сжиматься будут совершенно по-разному). Есть даталейки, куда можно залить 500 фильмов 4К общим объемом >50Тб и 100 Кб метаданных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2020, 22:17 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
.Евгений Насколько я могу судить, чисто количественно большинство ХД сделаны на обычных SQL серверах: MS, Oracle и т.п. Недавно здесь даже про MySQL упоминали. Большинство хранилищ в РФ сделаны до того, как здесь появилсь MPP базы. Некоторые MPP лет 15 назад появились в бета версии только. Другие причины использвания обычных СУБД: Если хранилище маленькое, то профита от MPP можно не увидеть. И когда у тебя вокруг хранилища стоят десять MS SQL, то проще взять MS SQL. Они будут проще интегрироваться, например. Может быть чел-начальник, который отвечает за выбор, вообще ничего не выбирает. Он просто делает всё на оракле, как делал это 50 лет до этого. Может быть у организации уже есть набор лицензий, который ей проще использовать. Может быть у них весь штат - ораклисты 50+, которые любой новой технологии сопротивляются, как будто Осовец защищают. А я написал простое решение, если нет никаких этих связующих обстоятельств. Выбирать для хранилища базу, созданную специально для хранилищ. Самое естественное решение. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2020, 02:06 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
.Евгений По теме: какие есть мнения относительно критериев целесообразности применения МРР вместо обычных СУБД?
Я не очень понимаю, зачем МРР использовать для хранения дикого объёма исторических данных. А вот BigData для этого вполне подходит, так как стоимость хранения данных там сильно ниже. Поэтому мы и видим подобное разделение - часть данных в BD (пусть будет, потом разберемся / HDS), часть - в быстрый ODS, который можно реализовать с помощью МРР-технологии. С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.08.2020, 10:20 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
George Nordic [li]Понятно зачем МРР (тот же Exasol) Ситимобайлу - надо знать, где какая машина, чтобы оперативно предложить подходящий подходящий вариант клиенту - выслать предложение таксистам недалеко от места вызова, или которые скоро закончат поездку в данном районе и предложить варианты клиенту, спрогнозировать спрос, оптимизировать логистику и распределение машин, рассчитать стоимость поездки и комиссионные. Вот уж не знаю, я прочитал про них - 2000 машин и 2.4 млн поездок в месяц в 2018, пусть даже сейчас больше в 2 раза... Что там можно считать на mpp? Для примера - лет 10 назад у Связного было 3000 магазинов и тогда вполне нормально справлялся 1 весьма слабенький сервер.. Но инвесторы у Ситимобайла - tele2 и mail.ru, поэтому скорее всего просто шла проба технологии для какой-то из этих 2х компаний. Если есть тут кто-то из Ситимобайла, то было бы весьма интересно узнать, что вы там умудряетесь хранить на 100 Тб? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.08.2020, 10:58 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
Критик Но инвесторы у Ситимобайла - tele2 и mail.ru, поэтому скорее всего просто шла проба технологии для какой-то из этих 2х компаний. Критик Если есть тут кто-то из Ситимобайла, то было бы весьма интересно узнать, что вы там умудряетесь хранить на 100 Тб? С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.08.2020, 11:15 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
George Nordic, я правильно понял, что вы видите специализацию, эволюцию ХД от общего предка к потомкам большого объема (BD) и скоростного чтения (MPP)? Кстати, в отношении последних уже прошел бум NoSQL/No ACID? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.08.2020, 12:04 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
George Nordic В принципе, МРР подошел бы и телекому, но они в последнее время, с развитием соответствующего инструментария, предпочитают онлайн-аналитику потоков данных и логов - оценка качества связи / линий / направления звонков / продолжительности звонка и т.д. во всех телекомах РФ стоят MPP уже лет десять ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.08.2020, 12:48 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
.Евгений George Nordic, я правильно понял, что вы видите специализацию, эволюцию ХД от общего предка к потомкам большого объема (BD) и скоростного чтения (MPP)? Кстати, в отношении последних уже прошел бум NoSQL/No ACID? 1. Да, вижу движение в этой сторону. Вернее, вижу некое разделение: BD + песочницы для датасатанистов и ODS на МРР для оперативной отчетности и решений задач по оптимизации, в т.ч. многофакторной. 2. А по тут пока не видно ничего - в МРР обычно хранится индексированная структурированная информация, NoSQL тут каким боком? Бумбараш во всех телекомах РФ стоят MPP уже лет десять С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.08.2020, 14:00 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
George Nordic А по тут пока не видно ничего - в МРР обычно хранится индексированная структурированная информация, NoSQL тут каким боком? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.08.2020, 23:49 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
можно вставлю свои 5 копеек нет хороших или плохих продуктов, все проблемы от пользователей! Они все что хотят: выгрузить всю базу в excel чтобы строить там сводные таблицы и при необходимости продрилиться до записи и исправить цифру А разрабы думают что сделаем мы мпп и будем джойнить все со всем, а нефига это не работает ! потому что портянки ни она система не любит и вот и сидит "бизнес " на своих олапах Ибо эксель и ни кликвью ни кликхаус тут не поможет, а поможет https://www.sql-ex.ru/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.09.2020, 23:33 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
мигель1, учить бизнес-пользователя SQL / MDX / DAX - бесполезно. Они-то и со своими непосредственными обязанностями не все справляются, а тут еще такая нагрузка. Да и не все технари, для них это тёмный лес. Поэтому и были придуманы Self-Service BI, чтобы инкапсулировать бизнес-пользователей от разработки, и при этом разгрузить ИТ и аналитический отделы. Но большинство SS BI не переваривает большой объём информации, они каждый раз БД дергают и работают со скоростью отклика от БД. Поэтому и была придумана связка - реляционная БД (быстро пишет, медленно извлекает) или витрины КХД - МРР (обычно в неё медленная запись, так как сразу строится индекс и данные хранятся уже индексируемые и быстроизвлекаемые) и сверху Self-Service BI для издевательств бизнес-пользователей. Ставить МРР "просто так", без вышеуказанных задач онлайн-оптимизации или построения оперативной аналитики - ну, не знаю... хотя, если платят, можно и поэкспериментировать С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2020, 14:00 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
George Nordic мигель1, учить бизнес-пользователя SQL / MDX / DAX - бесполезно Частично не соглашусь, пользователи вполне обучаемы в части SQL, например, у меня на одной работе было целое управление, которое могло писать запросы к ХД. Я сам сначала воспринял это с большим удивлением, но потом привык. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2020, 14:04 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
У биайщиков пользователи никогда не будут уметь в SQL, потому что иначе эти биайщики со своими рисовалками не нужны будут. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2020, 14:10 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
Критик Частично не соглашусь, пользователи вполне обучаемы в части SQL, например, у меня на одной работе было целое управление, которое могло писать запросы к ХД. Я сам сначала воспринял это с большим удивлением, но потом привык. Бумбараш У биайщиков пользователи никогда не будут уметь в SQL, потому что иначе эти биайщики со своими рисовалками не нужны будут. С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2020, 15:03 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
George Nordic Главное - не учить DELETE, BULK INSERT и, возможно, DISTINCT COUNT В основном так, но для особо продвинутых - выделяли отдельную базу-песочницу, где в схеме конкретного пользователя были все нужные права. Там только единственное ограничение было - объекты полугодовой давности подлежали экстерминатусу. И все довольны, никаких BI-средств, кроме Excel, пользователи не просили ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2020, 15:22 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
Бумбараш У биайщиков пользователи никогда не будут уметь в SQL, потому что иначе эти биайщики со своими рисовалками не нужны будут. Я вот рисовалками никогда не занимался. ETL -- вот сердце BI ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2020, 19:04 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
a_voronin Я вот рисовалками никогда не занимался. ETL -- вот сердце BI Оно, конечно, да. Но дают обычно за смазливую вебморду и вглубь грудной клетки обычно не влезают, ограничиваясь поверхностной стимуляцией ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2020, 19:12 |
|
||
|
MPP Databases
|
|||
|---|---|---|---|
|
#18+
a_voronin Я вот рисовалками никогда не занимался. ETL -- вот сердце BI С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2020, 20:24 |
|
||
|
|

start [/forum/topic.php?fid=49&gotonew=1&tid=1857265]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
55ms |
get topic data: |
11ms |
get first new msg: |
8ms |
get forum data: |
3ms |
get page messages: |
65ms |
get tp. blocked users: |
2ms |
| others: | 227ms |
| total: | 399ms |

| 0 / 0 |
