|
|
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
Вечер добрый. Хотелось бы услышать мнение людей, имеющих опыт реализации DWH. Ситуация - есть мелкий/средний игрок (что то пограничное) на рынке складской логистики, который хочет наращивать свой оборот (в процессе покупка одного из логистических операторов). Исходя из целей компании, без централизованной аналитики они практически не достижимы. Я-аналитик, т.е. больше пользователь DWH, но никак не разработчик (в полном смысле этого слова). Он (разработчик) может появиться только после того, когда мы "продадим" идею создания DWH руководству. Для этого необходимо, помимо указания наших выгод от внедрения данной истории (эта часть понятна), отразить затратную часть вопроса (аппаратное и программное обеспечение). Инфа на просторах интернета прям скудная, а точнее, практически нет. Вводных у меня тож мало, т.к. часть бизнеса живет в эксель (перевозки) + склад (в WMS) но тож не полностью + прилетит кусок с покупкой нового оператора (причем в несколько раз больше текущих мощностей). Попросил IT дать инфу по обрабатываемому объему инфо в ИС (таблицы фактов), пока ничего конкретного =(( Если у кого то есть уже опыт внедрения DWH, поделитесь пжл инфой о необходимом софте и возможных затратах (коридор от до). =) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 09:58 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
Ильяzzzz, 3 составляющие расходов: 1) Зарплата 2) Софт 3) Железо 1) это 100-250 т.р./мес. на руки. Сложно понять объем, но по идее один человек вполне может это потянуть. Он должен понимать как делать хранилища: слышал об Инмоне и Кимбалле (как по мне, лучше чтобы он слышал о 1-ом, чем о 2-ом), слышал о Data Vault, канонических моделях, нормализации данных (в т.ч. 5НФ и 6НФ) и т.п. 2) Есть бесплатные системы. Например, Pentaho, но как по мне это трата времени и экономить на софте нет никакого смысла. Используйте триальную или вылеченную версию. Если у вас ничего не получится (а такая вероятность есть), то вы ничего не потеряете. Начинать проект с покупки лицензии на софт абсурдно. Для этого и есть ознакомительные версии. Вам нужна СУБД, куда будут собираться данные. Нужна ETL система для сбора данных. Нужна система для аналитики. Если использовать стек Microsoft, то это соответственно: SQL Server, SSIS, SSAS. В качестве клиента для работы с кубами можно использовать Excel. Порядок стоимости лицензии от 100 т.р. до 10 млн. в зависимости от объёма данных, железа. Сейчас очень много инструментов для аналитики. Что лучше использовать лучше уточнить в соседнем разделе , хотя мне кажется, что каждый будет предлагать то, с чем сам больше работал. Я, например, больше работал с SSAS, поэтому про него и пишу :) Исходя из инструмента, можно искать человека, который им владеет. Либо можно наоборот сначала найти разработчика, сделать с ним какой-то пилотный проект, в процессе уточнить требования и с этим опытом снова вернуться к выбору инструментов. 3) На начальном этапе лучше использовать железо, которое уже есть. Когда будет понятен объем данных, будут понятны требования, то может понадобиться отдельный сервак - от 100 т.р. до 500 т.р. Лично я на вашем месте не пытался бы сделать сразу всю систему аналитики. Выбрал бы какой-то небольшой кусочек и если всё получится, то развивать дальше. Затраты при этом - это только зарплата разработчика. 1-3 месяца вполне достаточно для пилота. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 11:11 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
1. ОК 2. приоритет - стек Microsoft. Триальная версия - хороший вариант. 3. Немного не понял что все-таки требуется (только сервак) и порядок цифр, если есть понимание пжл. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 11:57 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
Ильяzzzz, 2 - у Microsoft ещё есть Power BI . Там больший акцент на визуализации данных. Но если бы я делал, то всё-таки начал с SSAS. 3 - у вас уже наверняка есть какие-то серверы. Для пилотного проекта их будет вполне достаточно. Я бы не вкладывался в железо сразу. А в процессе уже будет видно достаточно ли этого и если не достаточно, то какой сервак нужен. Сейчас это невозможно оценить, нужно понимать какой объем данных, какая будет аналитика. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 12:05 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
ИльяzzzzДля этого необходимо, помимо указания наших выгод от внедрения данной истории (эта часть понятна), отразить затратную часть вопроса (аппаратное и программное обеспечение). И отражать затратную часть, понятно, собрался автор темы? Ну-ну... Ваши начальники должны найти соответствующего практика и оплатить ему работу по проектированию, которая завершается оценкой стоимости. А вот такие набросы про "я всё прекрасно отражу сам" я бы не рекомендовал слушать вашему начальству. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 12:19 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
Ares_ekbслышал об Инмоне и Кимбалле (как по мне, лучше чтобы он слышал о 1-ом, чем о 2-ом Кимбалла можно легко превратить в помойку, кучу фактов-справочников в невообразимых сочетаниях звезд-снежинок, согласен Но имхо в быстро меняющихся бизнес-требованиях, скорости реализации, возможностям быстрого введения в эксплуатацию, и дальнейшего сопровождения - быстрого подключения новых справочников, сущностей итп - Кимбал выигрывает. ИМХО - Инмон - это когда все требования невероятно оговорены и задокументированы, не будет впоследствии кросс-пересечений данных между отделами, и некий какой-то идеальный мир с единорогами/бабочками, который в этой стране по-ходу невозможен. К тому же - вендоры РСУБД - та же Microsoft - делают низкоуровневые алгоритмы и оптимизации правильного и эффективного построения физических планов запросов, расчета кардинальности и прочего, когда понимает, что клиент хочет результирующий набор от запроса, построенного по снежинке - большие таблицы фактов, и относительно небольшие ненормализованные измерения, даже причем без явных внешних ключей от первого ко второму итп Имхо Инмон с его нормализацией плохо тут применим, особенно в подвижном непредсказуемом российском ритейле ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 13:37 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
Ares_ekb, 2. Power BI - на нем и планировали остановиться, т.к. есть опыт работы с ним. 3. Наверно, это один из возможных вариантов (в начале пути). Спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 13:47 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
Сейчас скажу крамольную мыслЮ: по сабжу: важность насыщенной централизованной аналитики сильно преувеличена. Крутая аналитика - штука дорогая. А какие проблемы она решает ? Кратковременный Вау-эффект у руководства. А что еще ? А практически ничего более ... Главные проблемы бизнеса и так известны. Основные способы исправления ситуации тоже всегда известны. Не известны точные цифры. А зачем знать эту точную цифру ? :) Может просто достаточно знать, что есть такая-то проблема ? Кто сказал, что аналитика предоставит эту точную цифру ? Точной будет только сумма затрат на получение этой самой аналитики. :) Затраты и время гарантированы, а достижение полезности - нет. Всякие тонкости и неоптимальности, незаметные без аналитики ? 1. Так уж они незаметны ? 2. И зачем их решать, если еще не решены более важные проблемы ? :) 3. Чем именно поможет сложная аналитика с учетом ее высокой стоимости ? Мой мессадж таков: в 95% случаев сложная аналитика не окупается. Вообще никак. Реальное положение вещей руководство знает и так. Чуть менее чем полностью. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 14:51 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
L_argoМой мессадж таков: в 95% случаев сложная аналитика не окупается. Вообще никак. Реальное положение вещей руководство знает и так. Чуть менее чем полностью. бред в каждом слове. без полноценной исторической информации накопленной dwh ни в одном бизнесе ничего полезного не сделать. даже очень мелкому магазинчику придется хранить историю изменений заказов, т.к. статистика отгрузок показывает лишь только то что смогли отгрузить. а это уже и dwh и аналитика ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 15:11 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
L_argoСейчас скажу крамольную мыслЮ: по сабжу: важность насыщенной централизованной аналитики сильно преувеличена. Крутая аналитика - штука дорогая. А какие проблемы она решает ? Кратковременный Вау-эффект у руководства. А что еще ? А практически ничего более ... Главные проблемы бизнеса и так известны. Основные способы исправления ситуации тоже всегда известны. Не известны точные цифры. А зачем знать эту точную цифру ? :) Может просто достаточно знать, что есть такая-то проблема ? Кто сказал, что аналитика предоставит эту точную цифру ? Точной будет только сумма затрат на получение этой самой аналитики. :) Затраты и время гарантированы, а достижение полезности - нет. Всякие тонкости и неоптимальности, незаметные без аналитики ? 1. Так уж они незаметны ? 2. И зачем их решать, если еще не решены более важные проблемы ? :) 3. Чем именно поможет сложная аналитика с учетом ее высокой стоимости ? Мой мессадж таков: в 95% случаев сложная аналитика не окупается. Вообще никак. Реальное положение вещей руководство знает и так. Чуть менее чем полностью. Немного преувеличено, но здравое зерно есть. Традиционные проекты DWH стоят дорого, а выхлопа небольшой. Power BI это легковесный аналог ДВХ только без извращений вроде persistent staging area и т.п., которые стоят дорого, а толку нет от них. В итоге сейчас можно показывать прототипы в PBI и потом усложнять по мере необходимости, но когда видят цену за усложнение, как правило желание усложнять пропадает. Мода на академические хранилища уходит, больше акцент на решение конкретных задач в приложении к бизнес процессам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 15:41 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
Ares_ekb3 - у вас уже наверняка есть какие-то серверы. Для пилотного проекта их будет вполне достаточно. Я бы не вкладывался в железо сразу. А в процессе уже будет видно достаточно ли этого и если не достаточно, то какой сервак нужен. Сейчас это невозможно оценить, нужно понимать какой объем данных, какая будет аналитика. Для начала модно в ажуре арендовать сервер с MS SQL Standard Edition (не ентерпрайз - он будет сильно дороже, и для небольших проектов ентерпрайз не сильно нужен). Или девелопмент едитион - он бесплатный, а у вас как раз разработка. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 16:17 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
H5N1L_argoМой мессадж таков: в 95% случаев сложная аналитика не окупается. Вообще никак. Реальное положение вещей руководство знает и так. Чуть менее чем полностью. бред в каждом слове. без полноценной исторической информации накопленной dwh ни в одном бизнесе ничего полезного не сделать. даже очень мелкому магазинчику придется хранить историю изменений заказов, т.к. статистика отгрузок показывает лишь только то что смогли отгрузить. а это уже и dwh и аналитикаИ кому нужна эта историческая информация ? :) На что она влияет ? Как влияет история заказов на текущий бизнес ? Какие управляющие решения примет компания, основываясь на исторических данных ? Не было никаких dwh еще 20лет назад. И как-то работали. В космос летали и плотины строили. А тут вдруг херак и без dwh "ничего полезного не сделать" ? Да нафиг он нужен dwh ?????? Куча разрабов, ПМов, манагеров, аналитиков, ИТ-начальников, админов и прочих пожирателей бюджета , времени и офисной площади. Чем полезным они заняты ??? Вау-эффектами на совещаниях у руководства ??? Речь не о полном отсутствии учета как такового. Обычно достаточно инфы, кто кому должен. :) Ее можно вести в даже экселе. Состояние заказов/оплат ведут менеджеры. Первичка фиксируется в к-л учетке (обычно в 1С). Никакого dwh и тем более навороченной отчетности разумеется нет. И как показывает жизнь, без нее можно обойтись. Если чего вдруг внезапно нужно, ответ даст ведущий специалист. Топик написан полустёбно. :) Тем не менее суть его именно такая: реальная ценность бизнес-отчетности очень сильно преувеличена , т.к. целиком ориентирована на красивые графики на проекторе у директора, который через час забудет всё увиденное. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 16:47 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
L_argoНе было никаких dwh еще 20лет назад. И как-то работали. В космос летали и плотины строили. А тут вдруг херак и без dwh "ничего полезного не сделать" ? вы там на периферии совсем одичали. конкретно я вот только что смигрировал dwh с оракла на хадуп. тому dwh было те самые 20+ лет. L_argoРечь не о полном отсутствии учета как такового. Обычно достаточно инфы, кто кому должен. :) Ее можно вести в даже экселе. Состояние заказов/оплат ведут менеджеры. Первичка фиксируется в к-л учетке (обычно в 1С). любому бизнесу нужна историческая информация. я вот другу помагаю с мелким магазинчиком. учет да, в 1с, а скока чего ему на следующие пол года с китая везти 1с не ответит ему. в 1с лишь сколько продано, а сколько клиенты хотели купить но не смогли т.к. полугодовой запас за неделю был распродан он и не ведует. без истории заказов он тупо бросает монетку и завозит товар не от споса, а от балды. суть dwh в истории. в учетной системе нет истории. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 17:49 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
H5N1учет да, в 1с, а скока чего ему на следующие пол года с китая везти 1с не ответит ему. в 1с лишь сколько продано, а сколько клиенты хотели купить но не смогли т.к. полугодовой запас за неделю был распродан он и не ведует. без истории заказов он тупо бросает монетку и завозит товар не от споса, а от балды эм... а кто мешает вести заказы покупателей в 1с? H5N1а сколько клиенты хотели купить но не смогли т.к. полугодовой запас за неделю был распродан он и не ведует. ларьки открыли для себя понятие дефектура и начали вокруг этого городить какие-то адские хранилища? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 17:52 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
H5N1а скока чего ему на следующие пол года с китая везти 1с не ответит ему наша например отвечала. 15 лет назад еще... очередные инфоцыгане разводят доверчивых дятлов... продают "расчет потребностей" как рокет саенс и манну небесную ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 17:56 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
без истории заказов он тупо бросает монетку и завозит товар не от споса, а от балды.Не от балды, а от менеджерской интуиции. Завозить товар приходится еще до появления его в системе. Тут ни одна система не поможет. История дольше полугода мало кого интересует. И товар поменялся и бренды и цены и рынок. Настроить систему на надежную работу с такой неполной инфой - трудновыполнимая задача. Особенно по бюджету. :) Проще это поручить человеку. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 18:00 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
L_argo без истории заказов он тупо бросает монетку и завозит товар не от споса, а от балды.Не от балды, а от менеджерской интуиции. Завозить товар приходится еще до появления его в системе. Тут ни одна система не поможет. История дольше полугода мало кого интересует. И товар поменялся и бренды и цены и рынок. Настроить систему на надежную работу с такой неполной инфой - трудновыполнимая задача. Особенно по бюджету. :) Проще это поручить человеку. лажа какая... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 18:02 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
L_argo без истории заказов он тупо бросает монетку и завозит товар не от споса, а от балды.Не от балды, а от менеджерской интуиции . Завозить товар приходится еще до появления его в системе. Тут ни одна система не поможет. История дольше полугода мало кого интересует . И товар поменялся и бренды и цены и рынок. Настроить систему на надежную работу с такой неполной инфой - трудновыполнимая задача. Особенно по бюджету. :) Проще это поручить человеку. Я, кстати, видел результаты работы "на интуиции". Особенно смешно, когда товаров на складе от 5000 (позиций, а не штук) и в каталоге десятки - сотни тысяч. Правда, обычно такие "интуитивные" фирмы довольно быстро разоряются... Хотя, казалось - с чего бы это? Ну разве что интуиция хреновая. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 18:09 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
s_ustinov Я, кстати, видел результаты работы "на интуиции". Особенно смешно, когда товаров на складе от 5000 (позиций, а не штук) и в каталоге десятки - сотни тысяч. Правда, обычно такие "интуитивные" фирмы довольно быстро разоряются... Хотя, казалось - с чего бы это? Ну разве что интуиция хреновая. А что тут смешного ? Разорение компании и наличие/отсутствие дорогой ИТ-системы - вещи несвязанные. Совсем. Есть масса примеров, где все наоборот: внедрили дорогущую систему и разорились в прах. Простейший пример: ФоксМейер + SAP. Наверно тут не интуиция, а автоматизация хреновая, да ? У лидера рынка. Ога... Мне такие примеры тоже известны. Как никак, невольно участвовал и в таких проектах. :) зы: Увы, ИТ часто напоминает астрологию и гомеопатию. Прибыльный бизнес на пустом хайпе. Причем очень успешно и не одну сотню лет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 23:14 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
Ильяzzzz, Раз у вас мелко-среднее предприятие, то затратами на железо можно пренебречь, будел где-то 2-3 миллиона лет на 6. Еще миллиона 3 уйдет на лицензии, если будет MSSQL. Эти затраты можно растянуть года на 2 (первые пару лет объявить разработку тестовой). Основные затраты будут по зп, это два-три сотрудника. Если в Москве, то: - архитектор от 250 тыр на руки - разработчик около 160-170 тыр - опциональный студент-стажер около 50 тыр (для всякой мелочи и про запас, чтобы заменить разработчика, когда он свалит) Если в регионах, то найти кого-то с опытом будет затруднительно. Сейчас айтишники привыкли к белым зп, поэтому если все серенькое или офис в какой-нибудь деревне (где склады), то появятся трудности с наймом. Плюс стандартные для компании затраты по рабочим местам (комп, телефон и тд) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2019, 23:40 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
Ильяzzzz, А у покупаемого логистического оператора нет аналитики? Power BI это хорошо, тем более что Power Desktop бесплатен, а сервис можно опробовать в облаке на небольшом числе пользователей без затрат на оборудование. Нужно только понимать, что это скорее инструмент не для создания DWH, а для построения отчетов/визуализаций для уже готового DWH. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.05.2019, 00:42 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
И еще нужно учитывать, что облака внезапно могут отрубиться ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.05.2019, 01:20 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
Ильяzzzz, DWH сейчас не модно, сейчас модно BigData с Data Lake-ми в облаках. А так для начала определитесь откуда будут RAW-данные. Есть подозрение, что из 1С. Если это так, то стоит посмотреть в сторону 1С-ков, для того чтобы вам сделали аналитику. Благо в 1С для этого почти все есть. Если, нет, то смотреть в сторону OLAP, для соответствующих БД (Oracle или SQL server) И под сервера OLAP подбирать железо и вакансии. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.05.2019, 08:03 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
Критик, да, пообщались по железу с ребятами из IT. Говорят, что есть свободные "ресурсы", которые можно задействовать для этой истории, на первое время точно. "Мелко-среднее предприятие" - я имел ввиду с точки зрения рынка РФ. Я просто изначально не сказал, что компания международная (изначально). Поэтому все в белую, Москва. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.05.2019, 09:31 |
|
||
|
Затраты на создание DWH
|
|||
|---|---|---|---|
|
#18+
bideveloper, А у покупаемого логистического оператора нет аналитики? Power BI это хорошо, тем более что Power Desktop бесплатен, а сервис можно опробовать в облаке на небольшом числе пользователей без затрат на оборудование. Нужно только понимать, что это скорее инструмент не для создания DWH, а для построения отчетов/визуализаций для уже готового DWH. Проблема в том, что до конца не понятно на каком операторе остановимся)) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.05.2019, 09:36 |
|
||
|
|

start [/forum/topic.php?fid=33&msg=39810825&tid=1547152]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
64ms |
get topic data: |
9ms |
get forum data: |
59ms |
get page messages: |
56ms |
get tp. blocked users: |
1ms |
| others: | 13ms |
| total: | 231ms |

| 0 / 0 |
