ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Аналитика на стеке от Microsoft. Какое ПО использовать?
10 сообщений из 10, страница 1 из 1
Аналитика на стеке от Microsoft. Какое ПО использовать?
    #39705274
хорошо я согласен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
хорошо я согласен
Участник
У ms появляются продукты, которые как будто бы сами с собой конкурируют.
Например, уже, по ходу, не нужен SSAS - ведь есть PivotView; или SSIS - ведь есть PowerQuery; и так далее.
Только никто не говорит, как оно работает с большими объёмами данных.
Вот, я хочу узнать, как нынче лучше построить ИС?

Вот, есть сеть пиццерий DildoPizza по всей стране
Разные юзеры ответственны за разные регионы (т.е. права на уровне строк БД нужно будет).
Данные хранятся в 1С и самописной здоровенной по - всё находится в локальной внутренней сети, и данные эти предварительно автоматом чистятся.
Их нужно чистить, приводить к одному виду. Данных "много" за много лет.

Пользователи хотят sharepoint, powerbi и office 365.

В итоге: SQL server вообще нужно использовать? В связке с Data GateWay. Или SQL Database? Но в PowerBI вообще есть рекомендация загружать все данные в неё. Получается, что дублирование данных в SQL server вообще не нужно? как правильно?
Т.е. можно вообще обойтись лишь PowerBI и вообще без SQL Server?
...
Рейтинг: 0 / 0
19.09.2018, 22:13
| Ответить | Цитировать | Написать  
Аналитика на стеке от Microsoft. Какое ПО использовать?
    #39705296
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_496
Участник
Если говорить про стек Microsoft, то

DWH - это SQL DataBase
вся сила в DWH, на тщательно продуманной модели данных, для больших компаний критично.

MDS - для ведения и унификации мастер справочников (возможно понадобится)
авторПро чистить данные ... это еще и большая работа по купировании возможности зарождения кривых данных в источниках, иначе GIGO

ETL - это все еще SSIS для больших проектов в том числе. Хотя SSIS нужно развивать
PowerQuery - это не ETL уровня предприятия.

OLAP - Multidimesional или Tabular поверх DWH (холивар оставим)
Кубы можете крутить разными OLAP-клиентами, разные вендоры поддерживают SSAS

Если в полный рост разворачивать SharePoint (не только как Web портал для web-страниц, файловых вложений, новостей и т.п., но и PowerView и др.), то нужно основательно погружаться в администрирование как техническое так и структуризации контента, публикуемого материала. Иначе превратится в свалку.


авторУ ms появляются продукты, которые как будто бы сами с собой конкурируют.
Это не только у MS. У других - тоже полный калейдоскоп, потому что, в частности, скупили разные продукты
...
Рейтинг: 0 / 0
19.09.2018, 23:43
| Ответить | Цитировать | Написать  
Аналитика на стеке от Microsoft. Какое ПО использовать?
    #39705300
хорошо я согласен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
хорошо я согласен
Участник
Alex_496OLAP - Multidimesional или Tabular поверх DWH (холивар оставим)
какого рода холивар на этом моменте обычно появляется? Я из любопытства.
Я SSAS делал - и молапы, и ролапы. И да, он поверх DWH. О чём тут обычно спорить начинают?
...
Рейтинг: 0 / 0
20.09.2018, 00:02
| Ответить | Цитировать | Написать  
Аналитика на стеке от Microsoft. Какое ПО использовать?
    #39705304
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
хорошо я согласен,

Холивар имеется в виду - MOLAP или Tabular выбирать, первый старый и уже совсем некошерный, второй современный и лучше подходит для модных штук типа PowerBI, но заранее продумать, чтобы влезло в оперативную память, мало у кого получается.
А что поверх DWH - это в любом случае, иначе принцип GIGO сработает (GavnoIn = GavnoOut).
...
Рейтинг: 0 / 0
20.09.2018, 00:16
| Ответить | Цитировать | Написать  
Аналитика на стеке от Microsoft. Какое ПО использовать?
    #39705379
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дмитрий Мух
Участник
хорошо я согласен Вот, есть сеть пиццерий DildoPizza по всей стране...
Ха, дак есть Dodo Pizza на стеке Microsoft. Регулярно выступают с докладами на всяких дотнекстах.

Пойдите да спросите их
...
Рейтинг: 0 / 0
20.09.2018, 08:30
| Ответить | Цитировать | Написать  
Аналитика на стеке от Microsoft. Какое ПО использовать?
    #39705686
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_496
Участник
Andy_OLAP,

Oracle еще старее и потому ль еще менее кошерный.

Можно и ClickHouse & Я.Bi обещают хорошо развивать

Холивар по выбору напильников давно надоел.

Лучше давайте обсуждать какие управленческие решения приняли на базе BI и какой профит получили не только лично
...
Рейтинг: 0 / 0
20.09.2018, 15:40
| Ответить | Цитировать | Написать  
Аналитика на стеке от Microsoft. Какое ПО использовать?
    #39705692
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Alex_496Лучше давайте обсуждать какие управленческие решения приняли на базе BI и какой профит получили не только лично
Ну я например наблюдаю, что BI просто затыкают дырки в отчетности

Не было бы BI, нужно было бы дополнительно 100500 отчетов в Reports рисовать - а это разработчики, время и деньги.
...
Рейтинг: 0 / 0
20.09.2018, 15:49
| Ответить | Цитировать | Написать  
Аналитика на стеке от Microsoft. Какое ПО использовать?
    #39705754
хорошо я согласен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
хорошо я согласен
Участник
Leonid KudryavtsevAlex_496Лучше давайте обсуждать какие управленческие решения приняли на базе BI и какой профит получили не только лично
Ну я например наблюдаю, что BI просто затыкают дырки в отчетности

Не было бы BI, нужно было бы дополнительно 100500 отчетов в Reports рисовать - а это разработчики, время и деньги.
По мне - BI выглядит только как интерфейс к данным.
Но там есть два способа подключиться к данным - целиком скопировать их внутрь BI (если это десктопный - то тупо в оперативку, видимо), либо DirectQuery, т.е. при каждом перестроении отчётов BI полезет в источники данных, т.е. на SQL сервер, например.
При этом в документации настаивают на том, что первый способ более рекомендуемый. В толк взять не могу, нафига в BI дубль данных? Причём, в большинстве случаев счёт идёт, всё-таки, на десятки-сотни Гигабайт, если не в Терабайтах вообще. И что, при открытии проекта перед началом построения отчётов будет сначала импортирован весь терабайт данных с внешнего источника? Выглядит как-то по-идиотски... я чего-то не понимаю.

Всегда думал, что с помощью SSIS собираются данные с сайтов, с 1С, из самописных ПО в одну базу SQLServer и оттуда уже льётся всё в SSAS, там подключаем Excel или SSRS и глазеем на отчёты.

И вот сейчас получается, что, вроде как, можно забыть напрочь про SSIS, забыть про SSEngine - всё напрямую лить в этот самый BI через PowerQuery. И я нигде не смог в документации найти о каких-либо ограничениях по размерам базы данных.
...
Рейтинг: 0 / 0
20.09.2018, 17:13
| Ответить | Цитировать | Написать  
Аналитика на стеке от Microsoft. Какое ПО использовать?
    #39705832
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_496
Участник
Из зоопарка систем, да даже из двух - CRM и ERP - уже получите нелогизмы, разрывы, или данные, не совсем идентично отражающие реальную жизнь.
Да не суть, каким образом получены отчеты.
Допустим, все вовремя, выверенные данные, продуманные отчеты. Дальше то что?

а)
Ну вот несколько банков из Топ-20. У них и DWH и BI (и не один) и прикладные ресурсы в виде систем, аналитиков, отчетов, дашбордов и аналитических прежентаций. И именитые вендоры, и истории успехов в глянцевых IT-журналах.

б)
И в то же время - санации, ликвидации и т.п.

Т.е. получается а) не уберегает от б).
Или Дашборды, отчеты, | принятие решений | ЛПР-ы -- все это живет в параллельных мирах.
...
Рейтинг: 0 / 0
20.09.2018, 20:50
| Ответить | Цитировать | Написать  
Аналитика на стеке от Microsoft. Какое ПО использовать?
    #39706037
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Alex_496Т.е. получается а) не уберегает от б).

попилинг и откатинг - никак от сонаций уберечь не может
скорее уж наоборот, сонация - способ спихнуть убытки от попилинга и откатинга на гос. бюджет. Т.ч. все закономерно, сначала попилинг и откатинг, потом сонация, потом все по новой ))) круговорот бабла в природе

Из зоопарка систем, да даже из двух - CRM и ERP - уже получите нелогизмы, разрывы, или данные, не совсем идентично отражающие реальную жизнь.
Да не суть, каким образом получены отчеты.

IMHO поэтому их и заливают в DWH, что бы можно было вовремя "нелогизмы, разрывы" обнаружить и устранить на раннем этапе (если такая задача ставится), пока это не дошло до клиентгов, арбитражей, судов и так далее...

но это касается непосредственное сотрудников, которые хоть как-то своими пятыми точками бизнес поддерживают (работу выполняют). А топ-менеджент в госах, обычно - см. первую часть данного сообщения ))).

хорошо я согласен BI выглядит только как интерфейс к данным.

дык все IT это только интерфейс к данным. Собственно данные на жестком диске - никому даром не нужны.

OLAP & BI обычно все же значительно дешевле, чем классические отчеты на каждый чих рисовать и потом поодерживать (cost of ownership)

всё напрямую лить в этот самый BI

Обычно в OLTP данные достаточно сложно представлены и если система старая, постепенно преврашаются в помойку и без пол-бутылки не разберешься. Т.к. очень много сложных случаев, которые встречаются 1 раз на 10 000 клиентов, но их все равно нужно как-то поддерживать. Для OLAP-же, обычно, все эти сложные случае даром не нужны.
(например несколько вариантов прихода платежей от расчетных цетров по эквайрингу и у всех свой метод удержания комиссии и присылки документов, в OLTP - это важно, для OLAP - пофиг)

Т.ч. сделать хранилище OLAP с упрощенной структурой, перелить туда данные упростив их и структурировав и потом строить отчеты по OLAP - значительно дешевле и эффективнее.

IMHO
...
Рейтинг: 0 / 0
21.09.2018, 11:33
| Ответить | Цитировать | Написать  
10 сообщений из 10, страница 1 из 1
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Аналитика на стеке от Microsoft. Какое ПО использовать?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=33&fpage=5&tid=1547196]:
 0ms
get settings:
 9ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 40ms
get topic data:
 12ms
get forum data:
 2ms
get page messages:
 47ms
get tp. blocked users:
 2ms
others: 11ms
total:  142ms
созд. / загр.: 142ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]