| 
 | 
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Есть MS SQL Server 2016 Enterprise Edition - база и кубы. Все развернуто на арендованных серверах. Руководство IT говорит, что это все уже не актуально, нужно переезжать в облака. Хранить сырые данные в AWS S3, потом все это, используя Spark или NiFi обрабатывать, складывать в RedShift и пользователи смогут, используя PowerBI строить свои отчеты. Но разве PowerBI может заменить кубы и эксель, пользователю, который уже привык к этому? Претензии такие: 1) Много сырых данных качается на сервер, а он не резиновый. 2) Вся логика зашита в хранимых процедурах и это работает долго. А если будет spark, то будет быстрее гораздо. 3) Переход на RedShift - а это MPP (Massive Parallel Processing) и значит опять же будет быстрее считаться все. 4) Кубы обсчитываются долго, а хочется, чтобы хранилище, почти моментально обновлялось и все могли строить отчеты свои и запускать своим запросы, любой сложности. 5) Cube - Это legacy, можно просто дать людям PowerBI и они будут счастливы. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 06.12.2019, 15:19 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Oleon, так это ж щастье поучиться за счет работадателя - освоить новые технологии и пофиг то на пользоваетлей - их никто не спрашивает НЕ факт что это все взлетит - (в том плане если без опыта ) но пощупать так точно можно стэк интересный - и ПРЕСПЕКТИВНЫЙ возможно кстати и плюсы будут - тоже вполне возможно насчет моментально - оч. даже интересно что имеется ввиду - но я тут слаб ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 06.12.2019, 17:56 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Гулин Федор, согласен ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 08.12.2019, 00:52 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Если нужно только увеличение скорости - то почему бы просто не арендовать сервер помощнее? Как бы место и память в облаке тоже не бесплатные. Но если руководство хочет потратить бюджет на освоение новых технологий, то почему бы и нет ) ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 08.12.2019, 13:48 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Oleon, Если РКН вам заблочит ваши облачные сервера - что будете делать? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 08.12.2019, 16:57 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Критик Если РКН вам заблочит ваши облачные сервера - что будете делать? пойдет на облачные сервера через vpn. делов то ? тут интересней что делать с железяками в российских датацентрах, когда циски, майкрософт или оракл выключит софт как террористам? небольшим российским компаниям из России как раз в облаке безопасней. хотя я бы все равно делал с оглядкой на то что S3 и RedShift было бы легко заменить. Oleon Руководство IT говорит, что это все уже не актуально, нужно переезжать в облака. Хранить сырые данные в AWS S3, потом все это, используя Spark или NiFi обрабатывать, складывать в RedShift и пользователи смогут, используя PowerBI строить свои отчеты. глобально они правы. кубики объявлены легаси, как показывает история майкрософт может в любой момент снять с поддержки, начихав на пользователей. спарк за счет чудовищной параллельности будет много быстрей + приоткроет дорогу к streaming процессингу. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 08.12.2019, 17:26 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  H5N1 тут интересней что делать с железяками в российских датацентрах, когда циски, майкрософт или оракл выключит софт ... небольшим российским компаниям из России как раз в облаке безопасней ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 08.12.2019, 19:07 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Oleon 1) Много сырых данных качается на сервер, а он не резиновый. 2) Вся логика зашита в хранимых процедурах и это работает долго. А если будет spark, то будет быстрее гораздо. 4) Кубы обсчитываются долго, а хочется, чтобы хранилище, почти моментально обновлялось и все могли строить отчеты свои и запускать своим запросы, любой сложности. 5) Cube - Это legacy ужасы какие рассказываете надеюсь ребята из этого раздела не увидят ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 08.12.2019, 19:16 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  vikkiv H5N1 тут интересней что делать с железяками в российских датацентрах, когда циски, майкрософт или оракл выключит софт ... небольшим российским компаниям из России как раз в облаке безопасней ну понятно, что на российскую компанию аккаунт открывать глупо. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 08.12.2019, 20:40 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Нужно учитывать, что по AWS будет трудней найти кадры. И они будут стоить дороже. По Spark-Nifi, конечно тоже, дороже. Но их хотя бы побольше будет. Если контора среднего размера, то это будет для неё проблемой. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 08.12.2019, 21:25 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Oleon, + Знания R/Python/Matlab и соответствующая мат. подготовка (Про Excel/VBA/T-SQL забыть); 2) Не факт, многие задачи не распараллеливаются и могут начать тормозить. Обязательно сделайте "пилот" на одинаковом "железе". Можете получить просадку до 70-80%. P.S, ХП - это быстро; 3) см. п. 2; 4) Не вопрос, только не удивляйтесь счетам за AWS/RedShift; 5) AWS это Vendor/Cloud Lock. PowerBI - вы хотели сказать R/Python/Matlab; ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 08.12.2019, 22:35 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  bideveloper Если нужно только увеличение скорости - то почему бы просто не арендовать сервер помощнее? Как бы место и память в облаке тоже не бесплатные. Но если руководство хочет потратить бюджет на освоение новых технологий, то почему бы и нет ) Если нужно увеличение скорости, нужно внедрять правильную архитектуру и методологию. Хотя бы Кимбала правильно внедрить. А "сервер помощнее" потребует лишь ещё более мощный сервер. При Якорной модели можно ворочить миллиардами строк на тухлом железе. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 09.12.2019, 08:19 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Oleon, Вы не в том направлении думаете. Надо думать в направлении правильной архитектуры хранилища. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 09.12.2019, 08:20 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Oleon Есть MS SQL Server 2016 Enterprise Edition - база и кубы. Все развернуто на арендованных серверах. Руководство IT говорит, что это все уже не актуально, нужно переезжать в облака. Хранить сырые данные в AWS S3, потом все это, используя Spark или NiFi обрабатывать, складывать в RedShift и пользователи смогут, используя PowerBI строить свои отчеты. Но разве PowerBI может заменить кубы и эксель, пользователю, который уже привык к этому? Претензии такие: 1) Много сырых данных качается на сервер, а он не резиновый. Это нормально. Кладите в колумнстор большие таблицы. 2) Вся логика зашита в хранимых процедурах и это работает долго. А если будет spark, то будет быстрее гораздо. А если это будет правильная методология, правильный инкремент, то и на тухлом железе полетит. 3) Переход на RedShift - а это MPP (Massive Parallel Processing) и значит опять же будет быстрее считаться все. Без правильной архитектуры структуры данных вас ММР не спасёт. 4) Кубы обсчитываются долго, а хочется, чтобы хранилище, почти моментально обновлялось и все могли строить отчеты свои и запускать своим запросы, любой сложности. Кубы обрабатываются долго. ТАК ОПТИМИЗИРУЙТЕ ИХ. Партиции у вас есть? ROLAP, где уместно. 5) Cube - Это legacy, можно просто дать людям PowerBI и они будут счастливы. OLAP кубы по прежнему лидируют перед современными инструментами. И это никакое не легаси. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 09.12.2019, 08:25 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  H5N1 ну понятно, что на российскую компанию аккаунт открывать глупо. Еще более глупо работать вот таким странным образом, как вы предлагаете. У разных стран разные законы о трансграничной передаче данных, о тех же персональных данных. Как все это выстрелит - большой вопрос, т.к. в этом случае прищучить могут сразу с обеих сторон. Держать команду юристов и согласовывать с ними задачи? Допустим построили вы хд где-то в иностранном облаке, а вот кусок с персональными данными (и общими ключами ) - на серверах родной юрисдикции. Зачем такой зоопарк и как прикажете с этим работать пользователям? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 09.12.2019, 09:06 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Критик Еще более глупо работать вот таким странным образом, как вы предлагаете. У разных стран разные законы о трансграничной передаче данных, о тех же персональных данных. Как все это выстрелит - большой вопрос, т.к. в этом случае прищучить могут сразу с обеих сторон. Держать команду юристов и согласовывать с ними задачи? Допустим построили вы хд где-то в иностранном облаке, а вот кусок с персональными данными (и общими ключами ) - на серверах родной юрисдикции. Зачем такой зоопарк и как прикажете с этим работать пользователям? вы слышали звон но не поняли о чем он. ни одна страна мира не запрещает процессить и хранить данные в иностранном облаке. проще всего с РФ, они лишь просят хранить копии исходных данных на своей территории. ну так по любому копии сырых файлов нужно куда-то копировать, не важно облако это или винда в офисе. пользователи же работают с обработанными данными в даталейке. с европейским gdpr - да, они требуют что бы в канторе были люди детально знающие закон. у нас нанимали кантору которая обучала весь персонал на тему gdpr, разъясняла нюансы. плюс аудит проходили. но в РФ все просто - в прошлом году у 1с сдохли датацентры, они за день все битрикс облако в амазон скопировали и ни у одного юриста вопросов не было. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 09.12.2019, 11:01 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Критик Oleon, Если РКН вам заблочит ваши облачные сервера - что будете делать? Этого вопроса нет в списке. По секрету скажу что многие другие сервисы у нас уже годами в AWS (да, мы коллеги), проблем не было. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 09.12.2019, 11:34 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Bsplesk Oleon, + Знания R/Python/Matlab и соответствующая мат. подготовка (Про Excel/VBA/T-SQL забыть); 2) Не факт, многие задачи не распараллеливаются и могут начать тормозить. Обязательно сделайте "пилот" на одинаковом "железе". Можете получить просадку до 70-80%. P.S, ХП - это быстро; 3) см. п. 2; 4) Не вопрос, только не удивляйтесь счетам за AWS/RedShift; 5) AWS это Vendor/Cloud Lock. PowerBI - вы хотели сказать R/Python/Matlab; Да нет, Mathlab вообще не нужен, простите. Его даже датасатанисты не знают. R - ну так, я его использую чтобы в две строки импорт/экспорт в CSV делать. Датасатанисты, опять же, вроде что-то слышали, но на самом деле тоже нет. Питон - да, полезно, но прямого отношения тоже не имеет. Ну, там AWS Lambda-функции на нём пишем, да той лямбды не так много. Ещё разная интеграция: в ELK питоном взял, в MSSQL положил - типа того. автор PowerBI - вы хотели сказать R/Python/Matlab Тоже нет. То что в PBI есть возможность выполнять R никого на самом деле не волнует. Всем нравится, что там можно меры из списка справа мышкой прям на графики бросать и тут же всё пыщь-пыщь - анимированно перерисовывается. Какая для формирования этих мер работа проделана в DWH - никто не думает. Собственно вопрос в том что если уж нас гонят туда, то реально ли это заставить работать? Есть ли у кого-то опыт? Например во всех наших кубах в сумме несколько десятков измерений и всяко больше сотни мер, даже если убрать дубликаты. Я не представляю как это будет выглядеть в PBI для пользователя в плане навигации: там же ни папок (вроде), ничего такого. Плюс кубы ведь неспроста так долго считаются - это чтобы на этапе составления отчёта не ждать. И то в некоторых заковыристых случаях получается запрос минут на 5. А что в этом смысле предлагает PBI? Ну он там, вроде, собирает все данные внутрь себя и как-то что-то там ускоряет in-memory (типа AWS SPICE), но насколько это в реальности быстро? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 09.12.2019, 11:53 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  a_voronin Oleon, Вы не в том направлении думаете. Надо думать в направлении правильной архитектуры хранилища. Вы не вполне правильно поняли вопрос. Мы в данном случае не думаем, нас заставляют делать так-то и так-то. У Вас в компании нет архитектурного борда? Ну такого места, где все архитекторы собрались отдельной кучкой вместо того чтобы сидеть в командах. И витают там в облаках, звездолёты строят. Нет? Свечку поставьте тогда Ж) ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 09.12.2019, 11:56 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  a_voronin Oleon Есть MS SQL Server 2016 Enterprise Edition - база и кубы. Все развернуто на арендованных серверах. Руководство IT говорит, что это все уже не актуально, нужно переезжать в облака. Хранить сырые данные в AWS S3, потом все это, используя Spark или NiFi обрабатывать, складывать в RedShift и пользователи смогут, используя PowerBI строить свои отчеты. Но разве PowerBI может заменить кубы и эксель, пользователю, который уже привык к этому? Претензии такие: 1) Много сырых данных качается на сервер, а он не резиновый. Это нормально. Кладите в колумнстор большие таблицы. 2) Вся логика зашита в хранимых процедурах и это работает долго. А если будет spark, то будет быстрее гораздо. А если это будет правильная методология, правильный инкремент, то и на тухлом железе полетит. 3) Переход на RedShift - а это MPP (Massive Parallel Processing) и значит опять же будет быстрее считаться все. Без правильной архитектуры структуры данных вас ММР не спасёт. 4) Кубы обсчитываются долго, а хочется, чтобы хранилище, почти моментально обновлялось и все могли строить отчеты свои и запускать своим запросы, любой сложности. Кубы обрабатываются долго. ТАК ОПТИМИЗИРУЙТЕ ИХ. Партиции у вас есть? ROLAP, где уместно. 5) Cube - Это legacy, можно просто дать людям PowerBI и они будут счастливы. OLAP кубы по прежнему лидируют перед современными инструментами. И это никакое не легаси. Этот список - не наше мнение. Это мнение руководства. Мы знаем, что кубы - это хорошо. Мы используем ROLAP, у нас чуть ли не всё нарезано на партиции и лежит в зависимости от актуальности на разных дисках. Мы умеем в columnstore. У НАС всё хорошо, более-менее. НО никакие из перечисленных Вами слов руководству неизвестны и неинтересны. Поймите, вопрос не в том что делать так или по-другому. Вопрос в том что нам говорят делать так-то, а мы хотим узнать у коллег: "Ну чёрт с ним, придётся. Но как быть чтобы архитекторы были сыты, а пользователи - целы?". Может (и наверняка) что-то из списка излишне или вредно, или может есть подобный опыт интеграции. Может PBI тут не к месту: весь стэк AWS и вдруг Мелкософт. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 09.12.2019, 12:06 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  HuRN Может (и наверняка) что-то из списка излишне или вредно, или может есть подобный опыт интеграции. Может PBI тут не к месту: весь стэк AWS и вдруг Мелкософт. если уж надо обязательно облако, то у мелкософта есть своё, со своими спарками, хадупами. Почему вы в него не вкатываетесь, а в AWS? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 09.12.2019, 12:50 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  HuRN  на партиции и лежит в зависимости от актуальности на разных дисках. Мы умеем в columnstore. У НАС всё хорошо, более-менее.  НО никакие из перечисленных Вами слов руководству неизвестны и неинтересны. Поймите, вопрос не в том что делать так или по-другому. Вопрос в том что нам говорят делать так-то, а мы хотим узнать у коллег: "Ну чёрт с ним, придётся.... чужой опыт интеграции всегда можно объявить неправильным. проще, раз уж начальство и архитекторы хотят - запустить пилотный процесс. и сами получите опыт, и начальство убедится в верности/неверности выбранного пути ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 09.12.2019, 12:51 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  H5N1, 1) Страна вашего облака должна ратифицировать Конвенцию Совета Европы о защите физических лиц при автоматизированной обработке персональных данных 2) У вас должно быть согласие на трансграничную передачу данных от людей 3) Трансграничная передача не снимает с вас обязанности соответствовать требованиям закона и подзаконных актов, попробуйте убедить оператора облака выполнять наш закон о персональных данных 4) Даже неочевидные данные могут внезапно оказаться персональными, например, пара {дата рождения, место работы}, а вы их передали куда-то... 5) Ваша система может стать внезапно незаконной и нужно будет все переделать: Статья 12. Трансграничная передача персональных данных 1. Трансграничная передача персональных данных на территории иностранных государств, являющихся сторонами Конвенции Совета Европы о защите физических лиц при автоматизированной обработке персональных данных, а также иных иностранных государств, обеспечивающих адекватную защиту прав субъектов персональных данных, осуществляется в соответствии с настоящим Федеральным законом и может быть запрещена или ограничена в целях защиты основ конституционного строя Российской Федерации, нравственности, здоровья, прав и законных интересов граждан, обеспечения обороны страны и безопасности государства. Любая компания должна адекватно оценивать риски, а тут они крайне велики ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 09.12.2019, 12:55 | 
  
  
  
   | 
||
| 
 
Что может заменить пользователю связки Куб + Excel? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Критик осуществляется в соответствии с настоящим Федеральным законом  т.е. как видите осуществляется . а что там может быть в будущем, никто не знает. может навальный правительство сбросит, а может инопланетяне высадятся. если же говорить о рисках, то риск превращения в тыкву серверов майкрософт на территории РФ много большие. причем. если нормально переделать на spark - то переключть с облака на свой spark on kubernetes будет проще, чем оживить превратившиеся в тыкву майкрософт сервера. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 09.12.2019, 15:30 | 
  
  
  
   | 
||
| 
 | 

start [/forum/topic.php?fid=49&msg=39899602&tid=1857418]:  | 
    0ms | 
get settings:  | 
    9ms | 
get forum list:  | 
    15ms | 
check forum access:  | 
    4ms | 
check topic access:  | 
    4ms | 
track hit:  | 
    98ms | 
get topic data:  | 
    10ms | 
get forum data:  | 
    3ms | 
get page messages:  | 
    55ms | 
get tp. blocked users:  | 
    1ms | 
| others: | 13ms | 
| total: | 212ms | 

| 0 / 0 | 

    Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
    
    
    «На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
    
    
    ... ля, ля, ля ...