Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Что может заменить пользователю связки Куб + Excel? / 25 сообщений из 44, страница 1 из 2
06.12.2019, 15:19
    #39899148
Oleon
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
Есть MS SQL Server 2016 Enterprise Edition - база и кубы. Все развернуто на арендованных серверах.

Руководство IT говорит, что это все уже не актуально, нужно переезжать в облака. Хранить сырые данные в AWS S3, потом все это, используя Spark или NiFi обрабатывать, складывать в RedShift и пользователи смогут, используя PowerBI строить свои отчеты.

Но разве PowerBI может заменить кубы и эксель, пользователю, который уже привык к этому?

Претензии такие:
1) Много сырых данных качается на сервер, а он не резиновый.
2) Вся логика зашита в хранимых процедурах и это работает долго. А если будет spark, то будет быстрее гораздо.
3) Переход на RedShift - а это MPP (Massive Parallel Processing) и значит опять же будет быстрее считаться все.
4) Кубы обсчитываются долго, а хочется, чтобы хранилище, почти моментально обновлялось и все могли строить отчеты свои и
запускать своим запросы, любой сложности.
5) Cube - Это legacy, можно просто дать людям PowerBI и они будут счастливы.
...
Рейтинг: 0 / 0
06.12.2019, 17:56
    #39899235
Гулин Федор
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
Oleon,
так это ж щастье
поучиться за счет работадателя - освоить новые технологии
и пофиг то на пользоваетлей - их никто не спрашивает


НЕ факт что это все взлетит - (в том плане если без опыта )
но пощупать так точно можно

стэк интересный - и ПРЕСПЕКТИВНЫЙ

возможно кстати и плюсы будут - тоже вполне возможно
насчет моментально - оч. даже интересно что имеется ввиду - но я тут слаб
...
Рейтинг: 0 / 0
08.12.2019, 00:52
    #39899489
Santa89
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
Гулин Федор, согласен
...
Рейтинг: 0 / 0
08.12.2019, 13:48
    #39899559
bideveloper
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
Если нужно только увеличение скорости - то почему бы просто не арендовать сервер помощнее? Как бы место и память в облаке тоже не бесплатные.
Но если руководство хочет потратить бюджет на освоение новых технологий, то почему бы и нет )
...
Рейтинг: 0 / 0
08.12.2019, 16:57
    #39899599
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
Oleon,

Если РКН вам заблочит ваши облачные сервера - что будете делать?
...
Рейтинг: 0 / 0
08.12.2019, 17:26
    #39899602
H5N1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
Критик

Если РКН вам заблочит ваши облачные сервера - что будете делать?

пойдет на облачные сервера через vpn. делов то ?
тут интересней что делать с железяками в российских датацентрах, когда циски, майкрософт или оракл выключит софт как террористам? небольшим российским компаниям из России как раз в облаке безопасней. хотя я бы все равно делал с оглядкой на то что S3 и RedShift было бы легко заменить.

Oleon

Руководство IT говорит, что это все уже не актуально, нужно переезжать в облака. Хранить сырые данные в AWS S3, потом все это, используя Spark или NiFi обрабатывать, складывать в RedShift и пользователи смогут, используя PowerBI строить свои отчеты.


глобально они правы. кубики объявлены легаси, как показывает история майкрософт может в любой момент снять с поддержки, начихав на пользователей. спарк за счет чудовищной параллельности будет много быстрей + приоткроет дорогу к streaming процессингу.
...
Рейтинг: 0 / 0
08.12.2019, 19:07
    #39899623
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
H5N1
тут интересней что делать с железяками в российских датацентрах, когда циски, майкрософт или оракл выключит софт ... небольшим российским компаниям из России как раз в облаке безопасней
если уж в такой экстрим впадать - то тем-же образом на раз могут облачные учётки заблокировать/поотключать пакетно-массово всем компаниям в зависимости от резиденства, т.е. то на то и выходит - где-бы хостинг не находился..
...
Рейтинг: 0 / 0
08.12.2019, 19:16
    #39899624
Бумбараш
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
Oleon

1) Много сырых данных качается на сервер, а он не резиновый.
2) Вся логика зашита в хранимых процедурах и это работает долго. А если будет spark, то будет быстрее гораздо.
4) Кубы обсчитываются долго, а хочется, чтобы хранилище, почти моментально обновлялось и все могли строить отчеты свои и
запускать своим запросы, любой сложности.
5) Cube - Это legacy

ужасы какие рассказываете
надеюсь ребята из этого раздела не увидят
...
Рейтинг: 0 / 0
08.12.2019, 20:40
    #39899647
H5N1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
vikkiv
H5N1
тут интересней что делать с железяками в российских датацентрах, когда циски, майкрософт или оракл выключит софт ... небольшим российским компаниям из России как раз в облаке безопасней
если уж в такой экстрим впадать - то тем-же образом на раз могут облачные учётки заблокировать/поотключать пакетно-массово всем компаниям в зависимости от резиденства, т.е. то на то и выходит - где-бы хостинг не находился..

ну понятно, что на российскую компанию аккаунт открывать глупо.
...
Рейтинг: 0 / 0
08.12.2019, 21:25
    #39899664
Бумбараш
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
Нужно учитывать, что по AWS будет трудней найти кадры. И они будут стоить дороже.

По Spark-Nifi, конечно тоже, дороже. Но их хотя бы побольше будет. Если контора среднего размера, то это будет для неё проблемой.
...
Рейтинг: 0 / 0
08.12.2019, 22:35
    #39899681
Bsplesk
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
Oleon,

+ Знания R/Python/Matlab и соответствующая мат. подготовка (Про Excel/VBA/T-SQL забыть);

2) Не факт, многие задачи не распараллеливаются и могут начать тормозить. Обязательно сделайте "пилот" на одинаковом "железе". Можете получить просадку до 70-80%. P.S, ХП - это быстро;
3) см. п. 2;
4) Не вопрос, только не удивляйтесь счетам за AWS/RedShift;
5) AWS это Vendor/Cloud Lock. PowerBI - вы хотели сказать R/Python/Matlab;
...
Рейтинг: 0 / 0
09.12.2019, 08:19
    #39899758
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
bideveloper
Если нужно только увеличение скорости - то почему бы просто не арендовать сервер помощнее? Как бы место и память в облаке тоже не бесплатные.
Но если руководство хочет потратить бюджет на освоение новых технологий, то почему бы и нет )



Если нужно увеличение скорости, нужно внедрять правильную архитектуру и методологию.

Хотя бы Кимбала правильно внедрить. А "сервер помощнее" потребует лишь ещё более мощный сервер.

При Якорной модели можно ворочить миллиардами строк на тухлом железе.
...
Рейтинг: 0 / 0
09.12.2019, 08:20
    #39899760
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
Oleon,

Вы не в том направлении думаете. Надо думать в направлении правильной архитектуры хранилища.
...
Рейтинг: 0 / 0
09.12.2019, 08:25
    #39899762
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
Oleon
Есть MS SQL Server 2016 Enterprise Edition - база и кубы. Все развернуто на арендованных серверах.

Руководство IT говорит, что это все уже не актуально, нужно переезжать в облака. Хранить сырые данные в AWS S3, потом все это, используя Spark или NiFi обрабатывать, складывать в RedShift и пользователи смогут, используя PowerBI строить свои отчеты.

Но разве PowerBI может заменить кубы и эксель, пользователю, который уже привык к этому?

Претензии такие:
1) Много сырых данных качается на сервер, а он не резиновый.
Это нормально. Кладите в колумнстор большие таблицы.

2) Вся логика зашита в хранимых процедурах и это работает долго. А если будет spark, то будет быстрее гораздо.
А если это будет правильная методология, правильный инкремент, то и на тухлом железе полетит.

3) Переход на RedShift - а это MPP (Massive Parallel Processing) и значит опять же будет быстрее считаться все.
Без правильной архитектуры структуры данных вас ММР не спасёт.

4) Кубы обсчитываются долго, а хочется, чтобы хранилище, почти моментально обновлялось и все могли строить отчеты свои и
запускать своим запросы, любой сложности.
Кубы обрабатываются долго. ТАК ОПТИМИЗИРУЙТЕ ИХ. Партиции у вас есть? ROLAP, где уместно.

5) Cube - Это legacy, можно просто дать людям PowerBI и они будут счастливы.
OLAP кубы по прежнему лидируют перед современными инструментами. И это никакое не легаси.

...
Рейтинг: 0 / 0
09.12.2019, 09:06
    #39899778
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
H5N1
ну понятно, что на российскую компанию аккаунт открывать глупо.


Еще более глупо работать вот таким странным образом, как вы предлагаете.
У разных стран разные законы о трансграничной передаче данных, о тех же персональных данных.
Как все это выстрелит - большой вопрос, т.к. в этом случае прищучить могут сразу с обеих сторон.
Держать команду юристов и согласовывать с ними задачи?

Допустим построили вы хд где-то в иностранном облаке, а вот кусок с персональными данными (и общими ключами ) - на серверах родной юрисдикции. Зачем такой зоопарк и как прикажете с этим работать пользователям?
...
Рейтинг: 0 / 0
09.12.2019, 11:01
    #39899827
H5N1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
Критик

Еще более глупо работать вот таким странным образом, как вы предлагаете.
У разных стран разные законы о трансграничной передаче данных, о тех же персональных данных.
Как все это выстрелит - большой вопрос, т.к. в этом случае прищучить могут сразу с обеих сторон.
Держать команду юристов и согласовывать с ними задачи?

Допустим построили вы хд где-то в иностранном облаке, а вот кусок с персональными данными (и общими ключами ) - на серверах родной юрисдикции. Зачем такой зоопарк и как прикажете с этим работать пользователям?

вы слышали звон но не поняли о чем он. ни одна страна мира не запрещает процессить и хранить данные в иностранном облаке. проще всего с РФ, они лишь просят хранить копии исходных данных на своей территории. ну так по любому копии сырых файлов нужно куда-то копировать, не важно облако это или винда в офисе. пользователи же работают с обработанными данными в даталейке.
с европейским gdpr - да, они требуют что бы в канторе были люди детально знающие закон. у нас нанимали кантору которая обучала весь персонал на тему gdpr, разъясняла нюансы. плюс аудит проходили.
но в РФ все просто - в прошлом году у 1с сдохли датацентры, они за день все битрикс облако в амазон скопировали и ни у одного юриста вопросов не было.
...
Рейтинг: 0 / 0
09.12.2019, 11:34
    #39899852
HuRN
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
Критик
Oleon,

Если РКН вам заблочит ваши облачные сервера - что будете делать?


Этого вопроса нет в списке. По секрету скажу что многие другие сервисы у нас уже годами в AWS (да, мы коллеги), проблем не было.
...
Рейтинг: 0 / 0
09.12.2019, 11:53
    #39899865
HuRN
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
Bsplesk
Oleon,

+ Знания R/Python/Matlab и соответствующая мат. подготовка (Про Excel/VBA/T-SQL забыть);

2) Не факт, многие задачи не распараллеливаются и могут начать тормозить. Обязательно сделайте "пилот" на одинаковом "железе". Можете получить просадку до 70-80%. P.S, ХП - это быстро;
3) см. п. 2;
4) Не вопрос, только не удивляйтесь счетам за AWS/RedShift;
5) AWS это Vendor/Cloud Lock. PowerBI - вы хотели сказать R/Python/Matlab;


Да нет, Mathlab вообще не нужен, простите. Его даже датасатанисты не знают. R - ну так, я его использую чтобы в две строки импорт/экспорт в CSV делать. Датасатанисты, опять же, вроде что-то слышали, но на самом деле тоже нет. Питон - да, полезно, но прямого отношения тоже не имеет. Ну, там AWS Lambda-функции на нём пишем, да той лямбды не так много. Ещё разная интеграция: в ELK питоном взял, в MSSQL положил - типа того.

автор PowerBI - вы хотели сказать R/Python/Matlab
Тоже нет. То что в PBI есть возможность выполнять R никого на самом деле не волнует. Всем нравится, что там можно меры из списка справа мышкой прям на графики бросать и тут же всё пыщь-пыщь - анимированно перерисовывается. Какая для формирования этих мер работа проделана в DWH - никто не думает.

Собственно вопрос в том что если уж нас гонят туда, то реально ли это заставить работать? Есть ли у кого-то опыт? Например во всех наших кубах в сумме несколько десятков измерений и всяко больше сотни мер, даже если убрать дубликаты. Я не представляю как это будет выглядеть в PBI для пользователя в плане навигации: там же ни папок (вроде), ничего такого. Плюс кубы ведь неспроста так долго считаются - это чтобы на этапе составления отчёта не ждать. И то в некоторых заковыристых случаях получается запрос минут на 5. А что в этом смысле предлагает PBI? Ну он там, вроде, собирает все данные внутрь себя и как-то что-то там ускоряет in-memory (типа AWS SPICE), но насколько это в реальности быстро?
...
Рейтинг: 0 / 0
09.12.2019, 11:56
    #39899869
HuRN
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
a_voronin
Oleon,

Вы не в том направлении думаете. Надо думать в направлении правильной архитектуры хранилища.


Вы не вполне правильно поняли вопрос. Мы в данном случае не думаем, нас заставляют делать так-то и так-то. У Вас в компании нет архитектурного борда? Ну такого места, где все архитекторы собрались отдельной кучкой вместо того чтобы сидеть в командах. И витают там в облаках, звездолёты строят. Нет? Свечку поставьте тогда Ж)
...
Рейтинг: 0 / 0
09.12.2019, 12:06
    #39899875
HuRN
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
a_voronin
Oleon
Есть MS SQL Server 2016 Enterprise Edition - база и кубы. Все развернуто на арендованных серверах.

Руководство IT говорит, что это все уже не актуально, нужно переезжать в облака. Хранить сырые данные в AWS S3, потом все это, используя Spark или NiFi обрабатывать, складывать в RedShift и пользователи смогут, используя PowerBI строить свои отчеты.

Но разве PowerBI может заменить кубы и эксель, пользователю, который уже привык к этому?

Претензии такие:
1) Много сырых данных качается на сервер, а он не резиновый.
Это нормально. Кладите в колумнстор большие таблицы.

2) Вся логика зашита в хранимых процедурах и это работает долго. А если будет spark, то будет быстрее гораздо.
А если это будет правильная методология, правильный инкремент, то и на тухлом железе полетит.

3) Переход на RedShift - а это MPP (Massive Parallel Processing) и значит опять же будет быстрее считаться все.
Без правильной архитектуры структуры данных вас ММР не спасёт.

4) Кубы обсчитываются долго, а хочется, чтобы хранилище, почти моментально обновлялось и все могли строить отчеты свои и
запускать своим запросы, любой сложности.
Кубы обрабатываются долго. ТАК ОПТИМИЗИРУЙТЕ ИХ. Партиции у вас есть? ROLAP, где уместно.

5) Cube - Это legacy, можно просто дать людям PowerBI и они будут счастливы.
OLAP кубы по прежнему лидируют перед современными инструментами. И это никакое не легаси.



Этот список - не наше мнение. Это мнение руководства. Мы знаем, что кубы - это хорошо. Мы используем ROLAP, у нас чуть ли не всё нарезано на партиции и лежит в зависимости от актуальности на разных дисках. Мы умеем в columnstore. У НАС всё хорошо, более-менее.
НО никакие из перечисленных Вами слов руководству неизвестны и неинтересны. Поймите, вопрос не в том что делать так или по-другому. Вопрос в том что нам говорят делать так-то, а мы хотим узнать у коллег: "Ну чёрт с ним, придётся. Но как быть чтобы архитекторы были сыты, а пользователи - целы?". Может (и наверняка) что-то из списка излишне или вредно, или может есть подобный опыт интеграции. Может PBI тут не к месту: весь стэк AWS и вдруг Мелкософт.
...
Рейтинг: 0 / 0
09.12.2019, 12:50
    #39899907
Бумбараш
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
HuRN
Может (и наверняка) что-то из списка излишне или вредно, или может есть подобный опыт интеграции. Может PBI тут не к месту: весь стэк AWS и вдруг Мелкософт.

если уж надо обязательно облако, то у мелкософта есть своё, со своими спарками, хадупами. Почему вы в него не вкатываетесь, а в AWS?
...
Рейтинг: 0 / 0
09.12.2019, 12:51
    #39899910
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
HuRN
на партиции и лежит в зависимости от актуальности на разных дисках. Мы умеем в columnstore. У НАС всё хорошо, более-менее.
НО никакие из перечисленных Вами слов руководству неизвестны и неинтересны. Поймите, вопрос не в том что делать так или по-другому. Вопрос в том что нам говорят делать так-то, а мы хотим узнать у коллег: "Ну чёрт с ним, придётся....


чужой опыт интеграции всегда можно объявить неправильным. проще, раз уж начальство и архитекторы хотят - запустить пилотный процесс. и сами получите опыт, и начальство убедится в верности/неверности выбранного пути
...
Рейтинг: 0 / 0
09.12.2019, 12:55
    #39899918
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
H5N1,

1) Страна вашего облака должна ратифицировать Конвенцию Совета Европы о защите физических лиц при автоматизированной обработке персональных данных
2) У вас должно быть согласие на трансграничную передачу данных от людей
3) Трансграничная передача не снимает с вас обязанности соответствовать требованиям закона и подзаконных актов, попробуйте убедить оператора облака выполнять наш закон о персональных данных
4) Даже неочевидные данные могут внезапно оказаться персональными, например, пара {дата рождения, место работы}, а вы их передали куда-то...
5) Ваша система может стать внезапно незаконной и нужно будет все переделать:

Статья 12. Трансграничная передача персональных данных

1. Трансграничная передача персональных данных на территории иностранных государств, являющихся сторонами Конвенции Совета Европы о защите физических лиц при автоматизированной обработке персональных данных, а также иных иностранных государств, обеспечивающих адекватную защиту прав субъектов персональных данных, осуществляется в соответствии с настоящим Федеральным законом и может быть запрещена или ограничена в целях защиты основ конституционного строя Российской Федерации, нравственности, здоровья, прав и законных интересов граждан, обеспечения обороны страны и безопасности государства.

Любая компания должна адекватно оценивать риски, а тут они крайне велики
...
Рейтинг: 0 / 0
09.12.2019, 15:30
    #39900073
H5N1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
Критик
осуществляется в соответствии с настоящим Федеральным законом

т.е. как видите осуществляется .
а что там может быть в будущем, никто не знает. может навальный правительство сбросит, а может инопланетяне высадятся. если же говорить о рисках, то риск превращения в тыкву серверов майкрософт на территории РФ много большие.

причем. если нормально переделать на spark - то переключть с облака на свой spark on kubernetes будет проще, чем оживить превратившиеся в тыкву майкрософт сервера.
...
Рейтинг: 0 / 0
09.12.2019, 18:29
    #39900354
Oleon
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что может заменить пользователю связки Куб + Excel?
Спасибо за мнения.

Но вопрос все-таки остается, есть ли альтернатива кубам и екселю?
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Что может заменить пользователю связки Куб + Excel? / 25 сообщений из 44, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]