| 
 | 
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  По теме: какие есть мнения относительно критериев целесообразности применения МРР вместо обычных СУБД? Например, факты от млрд. строк, и т.п. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 23.08.2020, 15:15 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  .Евгений, Самое большое мое ХД содержало чуть меньше 20 Тб данных, но там было колоночное хранение в самых объемных таблицах. При этом нагрузка на cpu было в среднем 20%. Так что переходить на mpp я бы подумал, когда сжатый объем дорастет до 50Тб, или где-то 200 Тб csv-данных. Или если будет обоснованное требование легкой горизонтальной масштабируемости, которая будет нужна для чего-то там. Для обычных организаций это не нужно, а вот всякие соцсети, где нагрузка может расти кратно - самое то. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 23.08.2020, 18:44 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  .Евгений По теме: какие есть мнения относительно критериев целесообразности применения МРР вместо обычных СУБД? Например, факты от млрд. строк, и т.п. если у вас хранилище, то используйте MPP. Вот и весь критерий. "Обычная СУБД" сделана под OLTP нагрузку. А MPP под OLAP ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 23.08.2020, 19:23 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  .Евгений По теме: какие есть мнения относительно критериев целесообразности применения МРР вместо обычных СУБД? Например, факты от млрд. строк, и т.п. есть мнение, что все всегда упирается в цену. лицензировать каждое ядрышко в обычных субд зачастую просто по деньгам теряет смысл. собственно отсюда и желание везде бигдату натолкать. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 23.08.2020, 19:41 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Бумбараш если у вас хранилище, то используйте MPP. Вот и весь критерий. Насколько я могу судить, чисто количественно большинство ХД сделаны на обычных SQL серверах: MS, Oracle и т.п. Недавно здесь даже про MySQL упоминали. Критик Так что переходить на mpp я бы подумал, когда сжатый объем дорастет до 50Тб, или где-то 200 Тб csv-данных. Если с масштабируемостью все понятно, то общий объем данных мне кажется слабым критерием. Значительная часть объема может, например, относиться к историческим данным и использоваться крайне редко. Данные могут храниться в огромных денормализованных простынях или совсем наоборот - в десятках тысяч таблиц 6-й НФ (и сжиматься будут совершенно по-разному). Есть даталейки, куда можно залить 500 фильмов 4К общим объемом >50Тб и 100 Кб метаданных. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 23.08.2020, 22:17 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  .Евгений Насколько я могу судить, чисто количественно большинство ХД сделаны на обычных SQL серверах: MS, Oracle и т.п. Недавно здесь даже про MySQL упоминали. Большинство хранилищ в РФ сделаны до того, как здесь появилсь MPP базы. Некоторые MPP лет 15 назад появились в бета версии только. Другие причины использвания обычных СУБД: Если хранилище маленькое, то профита от MPP можно не увидеть. И когда у тебя вокруг хранилища стоят десять MS SQL, то проще взять MS SQL. Они будут проще интегрироваться, например. Может быть чел-начальник, который отвечает за выбор, вообще ничего не выбирает. Он просто делает всё на оракле, как делал это 50 лет до этого. Может быть у организации уже есть набор лицензий, который ей проще использовать. Может быть у них весь штат - ораклисты 50+, которые любой новой технологии сопротивляются, как будто Осовец защищают. А я написал простое решение, если нет никаких этих связующих обстоятельств. Выбирать для хранилища базу, созданную специально для хранилищ. Самое естественное решение. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 24.08.2020, 02:06 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  .Евгений По теме: какие есть мнения относительно критериев целесообразности применения МРР вместо обычных СУБД? 
 Я не очень понимаю, зачем МРР использовать для хранения дикого объёма исторических данных. А вот BigData для этого вполне подходит, так как стоимость хранения данных там сильно ниже. Поэтому мы и видим подобное разделение - часть данных в BD (пусть будет, потом разберемся / HDS), часть - в быстрый ODS, который можно реализовать с помощью МРР-технологии. С Уважением, Георгий ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 25.08.2020, 10:20 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  George Nordic [li]Понятно зачем МРР (тот же Exasol) Ситимобайлу - надо знать, где какая машина, чтобы оперативно предложить подходящий подходящий вариант клиенту - выслать предложение таксистам недалеко от места вызова, или которые скоро закончат поездку в данном районе и предложить варианты клиенту, спрогнозировать спрос, оптимизировать логистику и распределение машин, рассчитать стоимость поездки и комиссионные. Вот уж не знаю, я прочитал про них - 2000 машин и 2.4 млн поездок в месяц в 2018, пусть даже сейчас больше в 2 раза... Что там можно считать на mpp? Для примера - лет 10 назад у Связного было 3000 магазинов и тогда вполне нормально справлялся 1 весьма слабенький сервер.. Но инвесторы у Ситимобайла - tele2 и mail.ru, поэтому скорее всего просто шла проба технологии для какой-то из этих 2х компаний. Если есть тут кто-то из Ситимобайла, то было бы весьма интересно узнать, что вы там умудряетесь хранить на 100 Тб? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 25.08.2020, 10:58 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Критик Но инвесторы у Ситимобайла - tele2 и mail.ru, поэтому скорее всего просто шла проба технологии для какой-то из этих 2х компаний. Критик Если есть тут кто-то из Ситимобайла, то было бы весьма интересно узнать, что вы там умудряетесь хранить на 100 Тб? С Уважением, Георгий ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 25.08.2020, 11:15 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  George Nordic, я правильно понял, что вы видите специализацию, эволюцию ХД от общего предка к потомкам большого объема (BD) и скоростного чтения (MPP)? Кстати, в отношении последних уже прошел бум NoSQL/No ACID? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 25.08.2020, 12:04 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  George Nordic В принципе, МРР подошел бы и телекому, но они в последнее время, с развитием соответствующего инструментария, предпочитают онлайн-аналитику потоков данных и логов - оценка качества связи / линий / направления звонков / продолжительности звонка и т.д. во всех телекомах РФ стоят MPP уже лет десять ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 25.08.2020, 12:48 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  .Евгений George Nordic, я правильно понял, что вы видите специализацию, эволюцию ХД от общего предка к потомкам большого объема (BD) и скоростного чтения (MPP)? Кстати, в отношении последних уже прошел бум NoSQL/No ACID? 1. Да, вижу движение в этой сторону. Вернее, вижу некое разделение: BD + песочницы для датасатанистов и ODS на МРР для оперативной отчетности и решений задач по оптимизации, в т.ч. многофакторной. 2. А по тут пока не видно ничего - в МРР обычно хранится индексированная структурированная информация, NoSQL тут каким боком? Бумбараш во всех телекомах РФ стоят MPP уже лет десять С Уважением, Георгий ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 25.08.2020, 14:00 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  George Nordic А по тут пока не видно ничего - в МРР обычно хранится индексированная структурированная информация, NoSQL тут каким боком? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 25.08.2020, 23:49 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  можно вставлю свои 5 копеек нет хороших или плохих продуктов, все проблемы от пользователей! Они все что хотят: выгрузить всю базу в excel чтобы строить там сводные таблицы и при необходимости продрилиться до записи и исправить цифру А разрабы думают что сделаем мы мпп и будем джойнить все со всем, а нефига это не работает ! потому что портянки ни она система не любит и вот и сидит "бизнес " на своих олапах Ибо эксель и ни кликвью ни кликхаус тут не поможет, а поможет https://www.sql-ex.ru/ ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 02.09.2020, 23:33 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  мигель1, учить бизнес-пользователя SQL / MDX / DAX - бесполезно. Они-то и со своими непосредственными обязанностями не все справляются, а тут еще такая нагрузка. Да и не все технари, для них это тёмный лес. Поэтому и были придуманы Self-Service BI, чтобы инкапсулировать бизнес-пользователей от разработки, и при этом разгрузить ИТ и аналитический отделы. Но большинство SS BI не переваривает большой объём информации, они каждый раз БД дергают и работают со скоростью отклика от БД. Поэтому и была придумана связка - реляционная БД (быстро пишет, медленно извлекает) или витрины КХД - МРР (обычно в неё медленная запись, так как сразу строится индекс и данные хранятся уже индексируемые и быстроизвлекаемые) и сверху Self-Service BI для издевательств бизнес-пользователей. Ставить МРР "просто так", без вышеуказанных задач онлайн-оптимизации или построения оперативной аналитики - ну, не знаю... хотя, если платят, можно и поэкспериментировать  С Уважением, Георгий ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 03.09.2020, 14:00 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  George Nordic мигель1, учить бизнес-пользователя SQL / MDX / DAX - бесполезно Частично не соглашусь, пользователи вполне обучаемы в части SQL, например, у меня на одной работе было целое управление, которое могло писать запросы к ХД. Я сам сначала воспринял это с большим удивлением, но потом привык. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 03.09.2020, 14:04 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  У биайщиков пользователи никогда не будут уметь в SQL, потому что иначе эти биайщики со своими рисовалками не нужны будут. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 03.09.2020, 14:10 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Критик Частично не соглашусь, пользователи вполне обучаемы в части SQL, например, у меня на одной работе было целое управление, которое могло писать запросы к ХД. Я сам сначала воспринял это с большим удивлением, но потом привык. Бумбараш У биайщиков пользователи никогда не будут уметь в SQL, потому что иначе эти биайщики со своими рисовалками не нужны будут. С Уважением, Георгий ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 03.09.2020, 15:03 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  George Nordic Главное - не учить DELETE, BULK INSERT и, возможно, DISTINCT COUNT  В основном так, но для особо продвинутых - выделяли отдельную базу-песочницу, где в схеме конкретного пользователя были все нужные права. Там только единственное ограничение было - объекты полугодовой давности подлежали экстерминатусу. И все довольны, никаких BI-средств, кроме Excel, пользователи не просили ) ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 03.09.2020, 15:22 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Бумбараш У биайщиков пользователи никогда не будут уметь в SQL, потому что иначе эти биайщики со своими рисовалками не нужны будут. Я вот рисовалками никогда не занимался. ETL -- вот сердце BI ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 03.09.2020, 19:04 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  a_voronin Я вот рисовалками никогда не занимался. ETL -- вот сердце BI Оно, конечно, да. Но дают обычно за смазливую вебморду и вглубь грудной клетки обычно не влезают, ограничиваясь поверхностной стимуляцией ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 03.09.2020, 19:12 | 
  
  
  
   | 
||
| 
 
MPP Databases 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  a_voronin Я вот рисовалками никогда не занимался. ETL -- вот сердце BI С Уважением, Георгий ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 03.09.2020, 20:24 | 
  
  
  
   | 
||
| 
 | 

start [/forum/topic.php?fid=49&msg=39992157&tid=1857265]:  | 
    0ms | 
get settings:  | 
    9ms | 
get forum list:  | 
    13ms | 
check forum access:  | 
    4ms | 
check topic access:  | 
    4ms | 
track hit:  | 
    50ms | 
get topic data:  | 
    11ms | 
get forum data:  | 
    3ms | 
get page messages:  | 
    50ms | 
get tp. blocked users:  | 
    1ms | 
| others: | 15ms | 
| total: | 160ms | 

| 0 / 0 | 

На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даете согласие с использованием данных технологий.