ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Затраты на создание DWH
206 сообщений из 206, показаны все 9 страниц
  все  
Затраты на создание DWH
    #39810554
Ильяzzzz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ильяzzzz
Гость
Вечер добрый.

Хотелось бы услышать мнение людей, имеющих опыт реализации DWH.

Ситуация - есть мелкий/средний игрок (что то пограничное) на рынке складской логистики, который хочет наращивать свой оборот (в процессе покупка одного из логистических операторов).
Исходя из целей компании, без централизованной аналитики они практически не достижимы.
Я-аналитик, т.е. больше пользователь DWH, но никак не разработчик (в полном смысле этого слова).
Он (разработчик) может появиться только после того, когда мы "продадим" идею создания DWH руководству.
Для этого необходимо, помимо указания наших выгод от внедрения данной истории (эта часть понятна), отразить затратную часть вопроса (аппаратное и программное обеспечение).
Инфа на просторах интернета прям скудная, а точнее, практически нет.
Вводных у меня тож мало, т.к. часть бизнеса живет в эксель (перевозки) + склад (в WMS) но тож не полностью + прилетит кусок с покупкой нового оператора (причем в несколько раз больше текущих мощностей).
Попросил IT дать инфу по обрабатываемому объему инфо в ИС (таблицы фактов), пока ничего конкретного =((
Если у кого то есть уже опыт внедрения DWH, поделитесь пжл инфой о необходимом софте и возможных затратах (коридор от до).
=)
...
Рейтинг: 0 / 0
07.05.2019, 09:58
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810594
Ares_ekb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ares_ekb
Участник
Ильяzzzz,

3 составляющие расходов:
1) Зарплата
2) Софт
3) Железо

1) это 100-250 т.р./мес. на руки. Сложно понять объем, но по идее один человек вполне может это потянуть. Он должен понимать как делать хранилища: слышал об Инмоне и Кимбалле (как по мне, лучше чтобы он слышал о 1-ом, чем о 2-ом), слышал о Data Vault, канонических моделях, нормализации данных (в т.ч. 5НФ и 6НФ) и т.п.


2) Есть бесплатные системы. Например, Pentaho, но как по мне это трата времени и экономить на софте нет никакого смысла. Используйте триальную или вылеченную версию. Если у вас ничего не получится (а такая вероятность есть), то вы ничего не потеряете. Начинать проект с покупки лицензии на софт абсурдно. Для этого и есть ознакомительные версии.

Вам нужна СУБД, куда будут собираться данные. Нужна ETL система для сбора данных. Нужна система для аналитики.
Если использовать стек Microsoft, то это соответственно: SQL Server, SSIS, SSAS. В качестве клиента для работы с кубами можно использовать Excel. Порядок стоимости лицензии от 100 т.р. до 10 млн. в зависимости от объёма данных, железа.

Сейчас очень много инструментов для аналитики. Что лучше использовать лучше уточнить в соседнем разделе , хотя мне кажется, что каждый будет предлагать то, с чем сам больше работал. Я, например, больше работал с SSAS, поэтому про него и пишу :) Исходя из инструмента, можно искать человека, который им владеет. Либо можно наоборот сначала найти разработчика, сделать с ним какой-то пилотный проект, в процессе уточнить требования и с этим опытом снова вернуться к выбору инструментов.


3) На начальном этапе лучше использовать железо, которое уже есть. Когда будет понятен объем данных, будут понятны требования, то может понадобиться отдельный сервак - от 100 т.р. до 500 т.р.


Лично я на вашем месте не пытался бы сделать сразу всю систему аналитики. Выбрал бы какой-то небольшой кусочек и если всё получится, то развивать дальше. Затраты при этом - это только зарплата разработчика. 1-3 месяца вполне достаточно для пилота.
...
Рейтинг: 0 / 0
07.05.2019, 11:11
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810612
Ильяzzzz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ильяzzzz
Гость
1. ОК
2. приоритет - стек Microsoft. Триальная версия - хороший вариант.
3. Немного не понял что все-таки требуется (только сервак) и порядок цифр, если есть понимание пжл.
...
Рейтинг: 0 / 0
07.05.2019, 11:57
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810617
Ares_ekb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ares_ekb
Участник
Ильяzzzz,

2 - у Microsoft ещё есть Power BI . Там больший акцент на визуализации данных. Но если бы я делал, то всё-таки начал с SSAS.

3 - у вас уже наверняка есть какие-то серверы. Для пилотного проекта их будет вполне достаточно. Я бы не вкладывался в железо сразу. А в процессе уже будет видно достаточно ли этого и если не достаточно, то какой сервак нужен. Сейчас это невозможно оценить, нужно понимать какой объем данных, какая будет аналитика.
...
Рейтинг: 0 / 0
07.05.2019, 12:05
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810626
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
ИльяzzzzДля этого необходимо, помимо указания наших выгод от внедрения данной истории (эта часть понятна), отразить затратную часть вопроса (аппаратное и программное обеспечение).
И отражать затратную часть, понятно, собрался автор темы? Ну-ну...

Ваши начальники должны найти соответствующего практика и оплатить ему работу по проектированию, которая завершается оценкой стоимости. А вот такие набросы про "я всё прекрасно отражу сам" я бы не рекомендовал слушать вашему начальству.
...
Рейтинг: 0 / 0
07.05.2019, 12:19
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810653
Фотография PsyMisha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PsyMisha
Участник
Ares_ekbслышал об Инмоне и Кимбалле (как по мне, лучше чтобы он слышал о 1-ом, чем о 2-ом


Кимбалла можно легко превратить в помойку, кучу фактов-справочников в невообразимых сочетаниях звезд-снежинок, согласен
Но имхо в быстро меняющихся бизнес-требованиях, скорости реализации, возможностям быстрого введения в эксплуатацию, и дальнейшего сопровождения - быстрого подключения новых справочников, сущностей итп - Кимбал выигрывает.
ИМХО - Инмон - это когда все требования невероятно оговорены и задокументированы, не будет впоследствии кросс-пересечений данных между отделами, и некий какой-то идеальный мир с единорогами/бабочками, который в этой стране по-ходу невозможен.

К тому же - вендоры РСУБД - та же Microsoft - делают низкоуровневые алгоритмы и оптимизации правильного и эффективного построения физических планов запросов, расчета кардинальности и прочего, когда понимает, что клиент хочет результирующий набор от запроса, построенного по снежинке - большие таблицы фактов, и относительно небольшие ненормализованные измерения, даже причем без явных внешних ключей от первого ко второму итп

Имхо Инмон с его нормализацией плохо тут применим, особенно в подвижном непредсказуемом российском ритейле
...
Рейтинг: 0 / 0
07.05.2019, 13:37
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810656
Ильяzzzz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ильяzzzz
Гость
Ares_ekb,

2. Power BI - на нем и планировали остановиться, т.к. есть опыт работы с ним.
3. Наверно, это один из возможных вариантов (в начале пути).

Спасибо.
...
Рейтинг: 0 / 0
07.05.2019, 13:47
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810698
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
Сейчас скажу крамольную мыслЮ:

по сабжу: важность насыщенной централизованной аналитики сильно преувеличена.

Крутая аналитика - штука дорогая. А какие проблемы она решает ?
Кратковременный Вау-эффект у руководства.
А что еще ? А практически ничего более ...

Главные проблемы бизнеса и так известны.
Основные способы исправления ситуации тоже всегда известны.
Не известны точные цифры. А зачем знать эту точную цифру ? :)
Может просто достаточно знать, что есть такая-то проблема ?
Кто сказал, что аналитика предоставит эту точную цифру ?
Точной будет только сумма затрат на получение этой самой аналитики. :)
Затраты и время гарантированы, а достижение полезности - нет.

Всякие тонкости и неоптимальности, незаметные без аналитики ?
1. Так уж они незаметны ?
2. И зачем их решать, если еще не решены более важные проблемы ? :)
3. Чем именно поможет сложная аналитика с учетом ее высокой стоимости ?

Мой мессадж таков: в 95% случаев сложная аналитика не окупается. Вообще никак.
Реальное положение вещей руководство знает и так. Чуть менее чем полностью.
...
Рейтинг: 0 / 0
07.05.2019, 14:51
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810713
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
L_argoМой мессадж таков: в 95% случаев сложная аналитика не окупается. Вообще никак.
Реальное положение вещей руководство знает и так. Чуть менее чем полностью.
бред в каждом слове. без полноценной исторической информации накопленной dwh ни в одном бизнесе ничего полезного не сделать. даже очень мелкому магазинчику придется хранить историю изменений заказов, т.к. статистика отгрузок показывает лишь только то что смогли отгрузить. а это уже и dwh и аналитика
...
Рейтинг: 0 / 0
07.05.2019, 15:11
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810748
tarrus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tarrus
Участник
L_argoСейчас скажу крамольную мыслЮ:

по сабжу: важность насыщенной централизованной аналитики сильно преувеличена.

Крутая аналитика - штука дорогая. А какие проблемы она решает ?
Кратковременный Вау-эффект у руководства.
А что еще ? А практически ничего более ...

Главные проблемы бизнеса и так известны.
Основные способы исправления ситуации тоже всегда известны.
Не известны точные цифры. А зачем знать эту точную цифру ? :)
Может просто достаточно знать, что есть такая-то проблема ?
Кто сказал, что аналитика предоставит эту точную цифру ?
Точной будет только сумма затрат на получение этой самой аналитики. :)
Затраты и время гарантированы, а достижение полезности - нет.

Всякие тонкости и неоптимальности, незаметные без аналитики ?
1. Так уж они незаметны ?
2. И зачем их решать, если еще не решены более важные проблемы ? :)
3. Чем именно поможет сложная аналитика с учетом ее высокой стоимости ?

Мой мессадж таков: в 95% случаев сложная аналитика не окупается. Вообще никак.
Реальное положение вещей руководство знает и так. Чуть менее чем полностью.

Немного преувеличено, но здравое зерно есть. Традиционные проекты DWH стоят дорого, а выхлопа небольшой. Power BI это легковесный аналог ДВХ только без извращений вроде persistent staging area и т.п., которые стоят дорого, а толку нет от них. В итоге сейчас можно показывать прототипы в PBI и потом усложнять по мере необходимости, но когда видят цену за усложнение, как правило желание усложнять пропадает.

Мода на академические хранилища уходит, больше акцент на решение конкретных задач в приложении к бизнес процессам.
...
Рейтинг: 0 / 0
07.05.2019, 15:41
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810773
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
Ares_ekb3 - у вас уже наверняка есть какие-то серверы. Для пилотного проекта их будет вполне достаточно. Я бы не вкладывался в железо сразу. А в процессе уже будет видно достаточно ли этого и если не достаточно, то какой сервак нужен. Сейчас это невозможно оценить, нужно понимать какой объем данных, какая будет аналитика.
Для начала модно в ажуре арендовать сервер с MS SQL Standard Edition (не ентерпрайз - он будет сильно дороже, и для небольших проектов ентерпрайз не сильно нужен). Или девелопмент едитион - он бесплатный, а у вас как раз разработка.
...
Рейтинг: 0 / 0
07.05.2019, 16:17
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810792
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
H5N1L_argoМой мессадж таков: в 95% случаев сложная аналитика не окупается. Вообще никак.
Реальное положение вещей руководство знает и так. Чуть менее чем полностью.
бред в каждом слове. без полноценной исторической информации накопленной dwh ни в одном бизнесе ничего полезного не сделать. даже очень мелкому магазинчику придется хранить историю изменений заказов, т.к. статистика отгрузок показывает лишь только то что смогли отгрузить. а это уже и dwh и аналитикаИ кому нужна эта историческая информация ? :)
На что она влияет ?
Как влияет история заказов на текущий бизнес ?
Какие управляющие решения примет компания, основываясь на исторических данных ?

Не было никаких dwh еще 20лет назад. И как-то работали. В космос летали и плотины строили.
А тут вдруг херак и без dwh "ничего полезного не сделать" ?

Да нафиг он нужен dwh ?????? Куча разрабов, ПМов, манагеров, аналитиков, ИТ-начальников, админов и прочих пожирателей бюджета , времени и офисной площади.
Чем полезным они заняты ??? Вау-эффектами на совещаниях у руководства ???


Речь не о полном отсутствии учета как такового.
Обычно достаточно инфы, кто кому должен. :)
Ее можно вести в даже экселе.
Состояние заказов/оплат ведут менеджеры.
Первичка фиксируется в к-л учетке (обычно в 1С).

Никакого dwh и тем более навороченной отчетности разумеется нет. И как показывает жизнь, без нее можно обойтись.
Если чего вдруг внезапно нужно, ответ даст ведущий специалист.

Топик написан полустёбно. :)

Тем не менее суть его именно такая: реальная ценность бизнес-отчетности очень сильно преувеличена , т.к. целиком ориентирована на красивые графики на проекторе у директора, который через час забудет всё увиденное.
...
Рейтинг: 0 / 0
07.05.2019, 16:47
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810822
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
L_argoНе было никаких dwh еще 20лет назад. И как-то работали. В космос летали и плотины строили.
А тут вдруг херак и без dwh "ничего полезного не сделать" ?

вы там на периферии совсем одичали. конкретно я вот только что смигрировал dwh с оракла на хадуп. тому dwh было те самые 20+ лет.

L_argoРечь не о полном отсутствии учета как такового.
Обычно достаточно инфы, кто кому должен. :)
Ее можно вести в даже экселе.
Состояние заказов/оплат ведут менеджеры.
Первичка фиксируется в к-л учетке (обычно в 1С).

любому бизнесу нужна историческая информация. я вот другу помагаю с мелким магазинчиком. учет да, в 1с, а скока чего ему на следующие пол года с китая везти 1с не ответит ему. в 1с лишь сколько продано, а сколько клиенты хотели купить но не смогли т.к. полугодовой запас за неделю был распродан он и не ведует. без истории заказов он тупо бросает монетку и завозит товар не от споса, а от балды.
суть dwh в истории. в учетной системе нет истории.
...
Рейтинг: 0 / 0
07.05.2019, 17:49
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810825
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
H5N1учет да, в 1с, а скока чего ему на следующие пол года с китая везти 1с не ответит ему. в 1с лишь сколько продано, а сколько клиенты хотели купить но не смогли т.к. полугодовой запас за неделю был распродан он и не ведует. без истории заказов он тупо бросает монетку и завозит товар не от споса, а от балды

эм... а кто мешает вести заказы покупателей в 1с?


H5N1а сколько клиенты хотели купить но не смогли т.к. полугодовой запас за неделю был распродан он и не ведует.

ларьки открыли для себя понятие дефектура и начали вокруг этого городить какие-то адские хранилища?
...
Рейтинг: 0 / 0
07.05.2019, 17:52
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810828
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
H5N1а скока чего ему на следующие пол года с китая везти 1с не ответит ему

наша например отвечала. 15 лет назад еще...

очередные инфоцыгане разводят доверчивых дятлов... продают "расчет потребностей" как рокет саенс и манну небесную
...
Рейтинг: 0 / 0
07.05.2019, 17:56
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810834
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
без истории заказов он тупо бросает монетку и завозит товар не от споса, а от балды.Не от балды, а от менеджерской интуиции.
Завозить товар приходится еще до появления его в системе. Тут ни одна система не поможет.
История дольше полугода мало кого интересует.
И товар поменялся и бренды и цены и рынок.
Настроить систему на надежную работу с такой неполной инфой - трудновыполнимая задача. Особенно по бюджету. :)
Проще это поручить человеку.
...
Рейтинг: 0 / 0
07.05.2019, 18:00
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810835
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
L_argo без истории заказов он тупо бросает монетку и завозит товар не от споса, а от балды.Не от балды, а от менеджерской интуиции.
Завозить товар приходится еще до появления его в системе. Тут ни одна система не поможет.
История дольше полугода мало кого интересует.
И товар поменялся и бренды и цены и рынок.
Настроить систему на надежную работу с такой неполной инфой - трудновыполнимая задача. Особенно по бюджету. :)
Проще это поручить человеку.

лажа какая...
...
Рейтинг: 0 / 0
07.05.2019, 18:02
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810846
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
L_argo без истории заказов он тупо бросает монетку и завозит товар не от споса, а от балды.Не от балды, а от менеджерской интуиции .
Завозить товар приходится еще до появления его в системе. Тут ни одна система не поможет.
История дольше полугода мало кого интересует .
И товар поменялся и бренды и цены и рынок.
Настроить систему на надежную работу с такой неполной инфой - трудновыполнимая задача. Особенно по бюджету. :)
Проще это поручить человеку.

Я, кстати, видел результаты работы "на интуиции".
Особенно смешно, когда товаров на складе от 5000 (позиций, а не штук) и в каталоге десятки - сотни тысяч. Правда, обычно такие "интуитивные" фирмы довольно быстро разоряются... Хотя, казалось - с чего бы это? Ну разве что интуиция хреновая.
...
Рейтинг: 0 / 0
07.05.2019, 18:09
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810959
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
s_ustinov
Я, кстати, видел результаты работы "на интуиции".
Особенно смешно, когда товаров на складе от 5000 (позиций, а не штук) и в каталоге десятки - сотни тысяч. Правда, обычно такие "интуитивные" фирмы довольно быстро разоряются... Хотя, казалось - с чего бы это? Ну разве что интуиция хреновая. А что тут смешного ? Разорение компании и наличие/отсутствие дорогой ИТ-системы - вещи несвязанные. Совсем.
Есть масса примеров, где все наоборот: внедрили дорогущую систему и разорились в прах.
Простейший пример: ФоксМейер + SAP.
Наверно тут не интуиция, а автоматизация хреновая, да ? У лидера рынка. Ога...

Мне такие примеры тоже известны. Как никак, невольно участвовал и в таких проектах. :)

зы: Увы, ИТ часто напоминает астрологию и гомеопатию.
Прибыльный бизнес на пустом хайпе. Причем очень успешно и не одну сотню лет.
...
Рейтинг: 0 / 0
07.05.2019, 23:14
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810964
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
Ильяzzzz,

Раз у вас мелко-среднее предприятие, то затратами на железо можно пренебречь, будел где-то 2-3 миллиона лет на 6.
Еще миллиона 3 уйдет на лицензии, если будет MSSQL. Эти затраты можно растянуть года на 2 (первые пару лет объявить разработку тестовой).
Основные затраты будут по зп, это два-три сотрудника. Если в Москве, то:
- архитектор от 250 тыр на руки
- разработчик около 160-170 тыр
- опциональный студент-стажер около 50 тыр (для всякой мелочи и про запас, чтобы заменить разработчика, когда он свалит)
Если в регионах, то найти кого-то с опытом будет затруднительно.
Сейчас айтишники привыкли к белым зп, поэтому если все серенькое или офис в какой-нибудь деревне (где склады), то появятся трудности с наймом.

Плюс стандартные для компании затраты по рабочим местам (комп, телефон и тд)
...
Рейтинг: 0 / 0
07.05.2019, 23:40
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810976
bideveloper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bideveloper
Участник
Ильяzzzz,

А у покупаемого логистического оператора нет аналитики?
Power BI это хорошо, тем более что Power Desktop бесплатен, а сервис можно опробовать в облаке на небольшом числе пользователей без затрат на оборудование. Нужно только понимать, что это скорее инструмент не для создания DWH, а для построения отчетов/визуализаций для уже готового DWH.
...
Рейтинг: 0 / 0
08.05.2019, 00:42
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39810994
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
И еще нужно учитывать, что облака внезапно могут отрубиться )
...
Рейтинг: 0 / 0
08.05.2019, 01:20
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39811069
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mad_nazgul
Участник
Ильяzzzz,

DWH сейчас не модно, сейчас модно BigData с Data Lake-ми в облаках.

А так для начала определитесь откуда будут RAW-данные.
Есть подозрение, что из 1С.
Если это так, то стоит посмотреть в сторону 1С-ков, для того чтобы вам сделали аналитику.
Благо в 1С для этого почти все есть.

Если, нет, то смотреть в сторону OLAP, для соответствующих БД (Oracle или SQL server)
И под сервера OLAP подбирать железо и вакансии.
...
Рейтинг: 0 / 0
08.05.2019, 08:03
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39811095
Ильяzzzz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ильяzzzz
Гость
Критик,

да, пообщались по железу с ребятами из IT.
Говорят, что есть свободные "ресурсы", которые можно задействовать для этой истории, на первое время точно.
"Мелко-среднее предприятие" - я имел ввиду с точки зрения рынка РФ. Я просто изначально не сказал, что компания международная (изначально). Поэтому все в белую, Москва.
...
Рейтинг: 0 / 0
08.05.2019, 09:31
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39811098
Ильяzzzz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ильяzzzz
Гость
bideveloper,

А у покупаемого логистического оператора нет аналитики?
Power BI это хорошо, тем более что Power Desktop бесплатен, а сервис можно опробовать в облаке на небольшом числе пользователей без затрат на оборудование. Нужно только понимать, что это скорее инструмент не для создания DWH, а для построения отчетов/визуализаций для уже готового DWH.

Проблема в том, что до конца не понятно на каком операторе остановимся))
...
Рейтинг: 0 / 0
08.05.2019, 09:36
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39811226
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
L_argoСейчас скажу крамольную мыслЮ
Она не крамольная, она просто не всем очевидная и не совсем точная.

Суть такая - выгоды от аналитики есть, но ими ещё нужно уметь пользоваться. Поскольку большинство манагеров умениями не блещут, результат использования ими аналитики всегда отрицательный - выкинут деньги и наплюют на идею. Но если попадётся грамотный "мотор" в некой фирмёшке, то тогда выхлоп легко может стать положительным. Только грамотный мотор появляется редко, поэтому в целом по массе контор "крамольная" мысль является правильной, но в целом по рынку - она неправильная, потому что есть заметный процент исключений.

Ну и да, чем выше в горы (больше бабла), тем больше снега, то есть просеивать информацию надо всё более и более производительно. Поэтому большие конторы башляют немеряно за свой BI, просто потому, что они тупо могут оплатить очень большие чеки на всё это удовольствие, у них есть время на поиск подходящих спецов, на их зарплаты, на кучу оборудования, на дорогущие лицензии и т.д. и т.п.

Поэтому крупняк нельзя сравнивать даже со средними конторами, я уж не вспоминаю мелочь. Средним конторам надо получить удачу - тот самый мотор. Очень круто будет, если мотором станет владелец, тогда его ждёт судьба Магнита - из грязи в князи. Но чаще, понятно, будет некий умный Вася, который конечно же, не сможет протолкнуть через начальство всё что нужно, и в подавляющем большинстве случаев эксперимент закончится пустой тратой денег.
...
Рейтинг: 0 / 0
08.05.2019, 12:26
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39811228
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
H5N1конкретно я вот только что смигрировал dwh с оракла на хадуп
А конкретно ты хоть немного представляешь, зачем эта миграция производилась? Только в бизнес-терминах, то есть в количестве полученного бабла.
H5N1без истории заказов он тупо бросает монетку и завозит товар не от споса, а от балды
Одна убогая задачка вселила в тебя уверенность, что твоему знакомому необходимо выкинуть многие миллионы на ветер.

Понимаешь, ты просто пока не научился соизмерять затраты и результат. Хотя математика там примерно класса из третьего-четвёртого.
...
Рейтинг: 0 / 0
08.05.2019, 12:29
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39811251
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
alex55555H5N1конкретно я вот только что смигрировал dwh с оракла на хадуп
А конкретно ты хоть немного представляешь, зачем эта миграция производилась? Только в бизнес-терминах, то есть в количестве полученного бабла.Товарищ вряд ли скажет, какого размера премию он за это получил.
...
Рейтинг: 0 / 0
08.05.2019, 13:14
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39811270
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
alex55555H5N1без истории заказов он тупо бросает монетку и завозит товар не от споса, а от балды
Одна убогая задачка вселила в тебя уверенность, что твоему знакомому необходимо выкинуть многие миллионы на ветер.


боюсь что в данном случае это в тебя вселилась блондинко с уверенностью, что работа с хадуп и помощь знакомому одна и та же история. это разные история, на разных инструментах.


alex55555H5N1конкретно я вот только что смигрировал dwh с оракла на хадуп
А конкретно ты хоть немного представляешь, зачем эта миграция производилась? Только в бизнес-терминах, то есть в количестве полученного бабла.

конкретно я представляю.

alex55555Понимаешь, ты просто пока не научился соизмерять затраты и результат. Хотя математика там примерно класса из третьего-четвёртого.
ты просто не представляешь сколько я таких как ты в разделе сравнения субд пережувал и надругался.
...
Рейтинг: 0 / 0
08.05.2019, 13:42
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39811368
leader
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
leader
Участник
Тему переоценности DWH поддерживаю.
В большинстве случаев там лежит такая кака, что тошно даже заглядывать.
А каждое новое поколение недорогих вчерашних студентов-программистов подкидывает туда новые кучки, в итоге приводя все к огромному хранилищу говна.
...
Рейтинг: 0 / 0
08.05.2019, 15:10
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39811483
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
leaderТему переоценности DWH поддерживаю.
В большинстве случаев там лежит такая кака, что тошно даже заглядывать.
А каждое новое поколение недорогих вчерашних студентов-программистов подкидывает туда новые кучки, в итоге приводя все к огромному хранилищу говна.
Ну тут как бы хранилища не виноваты.
Компьютеры и интернет тоже вон создавали, чтобы баллистические траектории считать и связь в атомную войну поддерживать.
А сейчас для чего это все используют?

Для того, чтобы от хранилищ и аналитики был толк - надо, чтобы люди умели это использовать. А это не очень часто встречается.
...
Рейтинг: 0 / 0
08.05.2019, 18:14
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39811575
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
leaderВ большинстве случаев там лежит такая кака, что тошно даже заглядывать.
А каждое новое поколение недорогих вчерашних студентов-программистов подкидывает туда новые кучки, в итоге приводя все к огромному хранилищу говна.

Не без этого. Чтобы такого не было, вводятся правила разработки, архитектурный надзор и ответственность тех, кто кладет каку. Правда, это лишние затраты, которые могут позволить себе только довольно крупные компании.
...
Рейтинг: 0 / 0
08.05.2019, 22:47
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39811659
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
H5N1ты просто не представляешь сколько я таких как ты в разделе сравнения субд пережувал и надругался.
Да, судя по твоему знанию русского - ты кого хочешь "пережувёшь"
...
Рейтинг: 0 / 0
09.05.2019, 13:15
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39811660
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
КритикЧтобы такого не было, вводятся правила разработки, архитектурный надзор и ответственность тех, кто кладет каку.
Интересно, а в каком виде вводится ответственность? Например - кто виноват в том, что к работе допущен идиот? И идиот, не умея сажать самолёты, сжёг заживо 41-го человека. Вот кого посадят, идиота, или допустившего его до управления самолётом?
...
Рейтинг: 0 / 0
09.05.2019, 13:18
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39811677
WebPrj
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WebPrj
Гость
alex55555КритикЧтобы такого не было, вводятся правила разработки, архитектурный надзор и ответственность тех, кто кладет каку.
Интересно, а в каком виде вводится ответственность? Например - кто виноват в том, что к работе допущен идиот? И идиот, не умея сажать самолёты, сжёг заживо 41-го человека. Вот кого посадят, идиота, или допустившего его до управления самолётом?
авторРостранснадзор не проводит расследований авиационных происшествий - главной и, по сути, единственной задачи своих американских коллег. Функции расследования авиационных происшествий в России "исторически" разделены и делегированы другим ведомствам: инциденты расследует Росавиация, а авиационные происшествия - межгосударственный авиационный комитет (МАК).
....
Независимость расследований гарантируется тем, что NTSB не подчиняется министерству транспорта, а действует на основании мандата Конгресса США, и напрямую отвечает за свою деятельность перед президентом страны. В этом состоит еще одно принципиальное отличие NTSB от российского Ространснадзора, которая входит в структуру министерства транспорта.
...
Рейтинг: 0 / 0
09.05.2019, 14:24
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39812893
sergeyns
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sergeyns
Участник
ИльяzzzzВечер добрый.

Хотелось бы услышать мнение людей, имеющих опыт реализации DWH.

Ситуация - есть мелкий/средний игрок (что то пограничное) на рынке складской логистики, который хочет наращивать свой оборот (в процессе покупка одного из логистических операторов).
Исходя из целей компании, без централизованной аналитики они практически не достижимы.
Я-аналитик, т.е. больше пользователь DWH, но никак не разработчик (в полном смысле этого слова).
Он (разработчик) может появиться только после того, когда мы "продадим" идею создания DWH руководству.

=)

У вас неправильные вводные, а правильные уже промелькивали.
Правильный ход мыслей такой: Кому это надо? У вас есть некое мнение про цели компании (не факт что правильное, то что озвучивается не всегда совпадает с мнением собственников) про наращивание оборотов. У вас идея что DWH может в этом помочь. И вы хотите эту идею продать руководству. И если вам это удастся, то вам выделят бюджет и поручат этим заниматься...
И, имхо, вот тут случается самая первая закавыка - ЕСЛИ САМА ПОТРЕБНОСТЬ НЕ БУДЕТ ИДТИ СВЕРХУ, то не взлетит! Ибо для нормальной работы DWH придется наводить порядок со всем, начиная с MDM, далее с бухгалтерией, учетом и всем-всем-всем... И наверху должен быть кто-то, кто не просто выделил деньги и ждет результата, а кто будет каждый день пинать всех, спрашивать как дела и раздавать волшебные пендели.

ЗЫ Извините, мне вот вообще непонятно как DWH может помочь в росте логистического бизнеса. Сократить какие-нибудь издержки-простои - еще поверю. Облегчить написание отчетов/аудитов - поверю. Но за счет чего он даст рост? ИМХО понять где строить склады и искать клиентов хоронилище вам не поможет.
...
Рейтинг: 0 / 0
14.05.2019, 11:54
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813040
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
sergeynsЗЫ Извините, мне вот вообще непонятно как DWH может помочь в росте логистического бизнеса. Сократить какие-нибудь издержки-простои - еще поверю. Облегчить написание отчетов/аудитов - поверю. Но за счет чего он даст рост? ИМХО понять где строить склады и искать клиентов хоронилище вам не поможет.+500. В самом начале треда я поставил под большое сомнение ценность хранилищ и отчетности, как условие для роста бизнеса.
Это скорее дань моде. Как обоснование покупки нового айфона каждый год... :)
Основные проблемы бизнеса известны и без хранилищ.
...
Рейтинг: 0 / 0
14.05.2019, 14:28
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813052
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
L_argosergeynsЗЫ Извините, мне вот вообще непонятно как DWH может помочь в росте логистического бизнеса. Сократить какие-нибудь издержки-простои - еще поверю. Облегчить написание отчетов/аудитов - поверю. Но за счет чего он даст рост? ИМХО понять где строить склады и искать клиентов хоронилище вам не поможет.+500. В самом начале треда я поставил под большое сомнение ценность хранилищ и отчетности, как условие для роста бизнеса.
Это скорее дань моде. Как обоснование покупки нового айфона каждый год... :)

это скорее проецирование работы поселковых магазинов на городские условия. я повторю - без полноценного dwh ты не сможешь ответить даже на самый простой вопрос - сколько должно лежать чупачупсов на складе Б. обычная учетная система хранит сколько было отгружено в прошлый период, а это бесполезная информация для планирования.
...
Рейтинг: 0 / 0
14.05.2019, 14:44
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813063
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
H5N1без полноценного dwh ты не сможешь ответить даже на самый простой вопрос - сколько должно лежать чупачупсов на складе Б

вранье


H5N1обычная учетная система хранит сколько было отгружено в прошлый период, а это бесполезная информация для планирования

обычная это какая? амбарная книга? или 1с-бухгалтерия? так смешно спрашивать их об этом...
...
Рейтинг: 0 / 0
14.05.2019, 15:15
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813086
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
H5N1я повторю - без полноценного dwh ты не сможешь ответить даже на самый простой вопрос - сколько должно лежать чупачупсов на складе Б. обычная учетная система хранит сколько было отгружено в прошлый период, а это бесполезная информация для планирования.Для этого в конкретном магазине указан минимально-необходимый запас с учетом времени пополнения.
Как только запас падает до этого уровня, товар попадает в список для пополнения запасов.
Это банальная операция. Простой SQL-запрос. Где тут dwh ? И зачем ?
История темпов продаж тут также особо не ценна. Ценен только период за пару месяцев максимум.

Ответы на многие вопросы на самом деле не нужны для принятия решений.
Ними интересуются либо для вау-отчетности перед начальством, либо просто из манагерского любопытства.
И то и другое на самом деле либо не нужно, либо малоценно. :)

Чем меньше отчетности и цифр, тем больше остается времени для полезной работы. Парадокс ? Нет.
...
Рейтинг: 0 / 0
14.05.2019, 15:34
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813087
sergeyns
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sergeyns
Участник
H5N1 сколько должно лежать чупачупсов на складе Б. обычная учетная система хранит сколько было отгружено в прошлый период, а это бесполезная информация для планирования.
И как же люди планировали 10-20-30 лет назад??? Только не надо про пустые советские прилавки!
Может быть связка DWH + BI + ML + AI и сможет предсказать что если прогноз погоды обещает дождь, то наверно будет меньше продаваться пива и мороженного. Но в среднем за месяц его все-равно будет продаваться примерно каждый год одинаково. Да, сэкономить-оптимизировать 2-3-4% можно будет, но это сыграет только на уровне какого-нибудь X5 с раздутым аналитическо-предсказательным аппаратом.
Сначала нужно научиться планировать исходя из среднемесячных + нормативы на остатки. А это - учет + планирование (можно даже сказать "бюджетирование"). А если так планировать не получается, то вряд ли поможет DWH - его даже запустить не получиться.
...
Рейтинг: 0 / 0
14.05.2019, 15:36
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813097
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
МодальноеОкноH5N1без полноценного dwh ты не сможешь ответить даже на самый простой вопрос - сколько должно лежать чупачупсов на складе Б
вранье

я уже понял что ты на фокспро и коленках все давно сделал. но прости, твои наколенные творения на фокспро никому не интересны

L_argoH5N1я повторю - без полноценного dwh ты не сможешь ответить даже на самый простой вопрос - сколько должно лежать чупачупсов на складе Б. обычная учетная система хранит сколько было отгружено в прошлый период, а это бесполезная информация для планирования.Для этого в конкретном магазине указан минимально-необходимый запас с учетом времени пополнения.
Как только запас падает до этого уровня, товар попадает в список для пополнения запасов.
Это банальная операция. Простой SQL-запрос. Где тут dwh ? И зачем ?
История темпов продаж тут также особо не ценна. Ценен только период за пару месяцев максимум.

ну да, для поселкового магазина это наверно выход. но в условиях города, где аж 3 магазина с таким "планированием" у тебя нет шансов выжить. для планирование нужна история заказов, тебе нужно понимать сколько клиенты заказывали, а не сколько тебе удалось отгрузить.

L_argoЧем меньше отчетности и цифр, тем больше остается времени для полезной работы. Парадокс ? Нет.
это тупизна, на западе с таким подходом шансов выжить у таких горе бизнесменов не будет.

sergeynsИ как же люди планировали 10-20-30 лет назад??? Только не надо про пустые советские прилавки!

точно так же как сегодня. в моей канторе 20 лет назад был SAS data miner, который тренировал модели с линейной регрессией. данные SAS брал с ораклового dwh.

sergeynsДа, сэкономить-оптимизировать 2-3-4% можно будет, но это сыграет только на уровне какого-нибудь X5 с раздутым аналитическо-предсказательным аппаратом.
ну а ты представляешь сколько это 2-3-4% в $$$ на бизнесе уровня LIDL ? долго проработает ваша X5 если на рынок придет тот кто выжал эти 2-3-4% ?
...
Рейтинг: 0 / 0
14.05.2019, 15:52
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813101
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
H5N1...ну а ты представляешь сколько это 2-3-4% в $$$ на бизнесе уровня...

Мне это напоминает рассказ ПМ, как он по окончанию проекта внедрения OeBS на медиплавильном заводе, писал отчет об итогах:

1. Прибыл выросла на 500% (в пять раз)
2. Цена акций выросла на 800%
etc...etc...etc..

всего-то нужно, что бы за время внедрения OeBS, цена на медь на лондонской бирже в 3-и раза повысилась )))
...
Рейтинг: 0 / 0
14.05.2019, 15:59
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813195
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
H5N1я уже понял что ты на фокспро и коленках все давно сделал. но прости, твои наколенные творения на фокспро никому не интересны

1. диагноз по фотографии - не ваш профиль, однозначно
2. продолжайте надувать щечки
...
Рейтинг: 0 / 0
14.05.2019, 19:25
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813197
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
sergeynsСначала нужно научиться планировать исходя из среднемесячных + нормативы на остатки. А это - учет + планирование (можно даже сказать "бюджетирование").

да, было бы неплохо... и нахрен тут dwh - загадка века...
...
Рейтинг: 0 / 0
14.05.2019, 19:27
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813200
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
H5N1для планирование нужна история заказов, тебе нужно понимать сколько клиенты заказывали, а не сколько тебе удалось отгрузить.

для этого нужно фиксация "дефектуры" - с чем испытывают трудности даже сейлы для которых это понятие не ново (как аптеки - попробуйте заставить фармацевта зафиксировать все что у него спрашивают), а не какая-то мифическая помойка данных

а зафиксировать факт запроса (заказа) современная система в состоянии...

п.э. - поменьше трагизма и попыток на серьезных щах нести какие-то азбучные истины в попытке втюхать дорогую приблуду с непонятной целью
...
Рейтинг: 0 / 0
14.05.2019, 19:46
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813204
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
L_argoH5N1я повторю - без полноценного dwh ты не сможешь ответить даже на самый простой вопрос - сколько должно лежать чупачупсов на складе Б. обычная учетная система хранит сколько было отгружено в прошлый период, а это бесполезная информация для планирования.Для этого в конкретном магазине указан минимально-необходимый запас с учетом времени пополнения.
Как только запас падает до этого уровня, товар попадает в список для пополнения запасов.
Это банальная операция. Простой SQL-запрос. Где тут dwh ? И зачем ?
История темпов продаж тут также особо не ценна. Ценен только период за пару месяцев максимум.

Ответы на многие вопросы на самом деле не нужны для принятия решений.
Ними интересуются либо для вау-отчетности перед начальством, либо просто из манагерского любопытства.
И то и другое на самом деле либо не нужно, либо малоценно. :)

Чем меньше отчетности и цифр, тем больше остается времени для полезной работы. Парадокс ? Нет.
:)
Особенно понравилось про "Ценен только период за пару месяцев максимум".
Часть запасов имеет срок выполнения заказа покупки месяцев 5-6. И закупка три раза за два года.
...
Рейтинг: 0 / 0
14.05.2019, 20:09
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813261
hck1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hck1
Участник
МодальноеОкноH5N1для планирование нужна история заказов, тебе нужно понимать сколько клиенты заказывали, а не сколько тебе удалось отгрузить.

для этого нужно фиксация "дефектуры" - с чем испытывают трудности даже сейлы для которых это понятие не ново (как аптеки - попробуйте заставить фармацевта зафиксировать все что у него спрашивают), а не какая-то мифическая помойка данных

а зафиксировать факт запроса (заказа) современная система в состоянии...

п.э. - поменьше трагизма и попыток на серьезных щах нести какие-то азбучные истины в попытке втюхать дорогую приблуду с непонятной целью
да расслабься ты. ничего я тебе не продаю. поверь, я не верю что ты себе пиво можешь позволить купить, не то что мои услуги.
что касается аптеки, если она не поселковая - там будет учет. в городской аптеке тебе выдают то что в твоем электронном рецепте. если товара не оказалось, кончено это фиксируется.
...
Рейтинг: 0 / 0
14.05.2019, 23:13
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813324
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
s_ustinov:)
Особенно понравилось про "Ценен только период за пару месяцев максимум".
Часть запасов имеет срок выполнения заказа покупки месяцев 5-6. И закупка три раза за два года.Речь шла про случаи с большими объемами данными, т.е FMCG. Там длинные тренды неинтересны. Продуктовый ряд все время меняется.
А статистика - всего десяток простых отчетов.

То, о чем Вы пишете - длинные продажи, например проекты с дорогим оборудованием, комплексные проекты и т.д. Но там данных - кот наплакал. И своя специфика учета и планирования.
Я занимался учетом таких длинных проектов 10 лет. Нафиг там не нужны никакие DWH.
Крупной розницей я тоже занимался, есличо.
...
Рейтинг: 0 / 0
15.05.2019, 08:55
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813342
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
L_argoТо, о чем Вы пишете - длинные продажи, например проекты с дорогим оборудованием, комплексные проекты и т.д. Но там данных - кот наплакал. И своя специфика учета и планирования.

заказать контейнер примитивной требухи у китайцев и довезти в мск это те самые 5-6 месяцев.
L_argoЯ занимался учетом таких длинных проектов 10 лет. Нафиг там не нужны никакие DWH.
Крупной розницей я тоже занимался, есличо.
ну я видел людей по 30 лет учетом на фокспро занимались и точно так же рассказывали что никакие транзакции не нужны. не показатель, мягко говоря
...
Рейтинг: 0 / 0
15.05.2019, 09:31
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813369
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
H5N1ну я видел людей по 30 лет учетом на фокспро занимались и точно так же рассказывали что никакие транзакции не нужны

бороться dwl с фокспрошниками - это отличное занятие... можно еще против перфокарт выйти на смертный бой
...
Рейтинг: 0 / 0
15.05.2019, 10:09
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813371
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
заказать контейнер примитивной требухи у китайцев и довезти в мск это те самые 5-6 месяцев.ОК. И ?
Сколько там позиций ? Пусть 100тыс. Пусть не 1, а 10 контейнеров. Это много ? Это мизер. Даже если это каждый день.
Много это от 1млрд. И то не очень.
...
Рейтинг: 0 / 0
15.05.2019, 10:11
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813372
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
hck1я не верю что ты себе пиво можешь позволить купить, не то что мои услуги

от пива толку больше


а таких инфоциган надо под ж.пу ногой с контор гнать

кашу из топора продаете
...
Рейтинг: 0 / 0
15.05.2019, 10:11
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813376
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
L_argoзаказать контейнер примитивной требухи у китайцев и довезти в мск это те самые 5-6 месяцев.ОК. И ?
Сколько там позиций ? Пусть 100тыс. Пусть не 1, а 10 контейнеров. Это много ? Это мизер. Даже если это каждый день.
Много это от 1млрд. И то не очень.
причем тут кол-во строк ? я же доступно разжевал - dwh строят не от того что данных много, а от того что учетные системы много чего из истории не хранят. или если хранят то через попу, как 1с с его "версионностью".
когда данных много строят не dwh, а бигдату. в бигдате и и структуры другие и подходы часто другие
...
Рейтинг: 0 / 0
15.05.2019, 10:19
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813391
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
учетные системы много чего из истории не хранят. или если хранят то через попуЛучше и правильнее заставить УС хранить историю в нужном объеме. Это не так сложно в наше время. И более правильно, т.к. в этом случае эти данные доступны в одном флаконе с остальными данными.

Мой мессадж не "ДВХ не нужны", а "во многих случаях ДВХ и сложная отчетность не нужны или не оправдывают свое создание".
...
Рейтинг: 0 / 0
15.05.2019, 10:31
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813407
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
L_argos_ustinov:)
Особенно понравилось про "Ценен только период за пару месяцев максимум".
Часть запасов имеет срок выполнения заказа покупки месяцев 5-6. И закупка три раза за два года.Речь шла про случаи с большими объемами данными, т.е FMCG. Там длинные тренды неинтересны. Продуктовый ряд все время меняется.
А статистика - всего десяток простых отчетов.

То, о чем Вы пишете - длинные продажи, например проекты с дорогим оборудованием, комплексные проекты и т.д. Но там данных - кот наплакал. И своя специфика учета и планирования.
Я занимался учетом таких длинных проектов 10 лет. Нафиг там не нужны никакие DWH.
Крупной розницей я тоже занимался, есличо.
Я как то не увидел, чтобы в топике обсуждали только FMCG.
И то, о чем я пишу - не только длинные продажи. Например, это могут быть продажи запчастей к американской технике. И объемы данных могут быть достаточно большими.

Но даже для FMCG может понадобиться делать анализ. Например, анализ чеков (какие товары покупают вместе) может дать интересную информацию для организации всяких акций или рекламы. А если вспомнить, что у очень многих покупателей есть скидочные карточки - данных для анализа и возможных применений результатов анализа становится еще больше.

То, что многие организации не используют накопленные данные - это всего лишь результат низкой квалификации сотрудников, и в первую очередь - руководства. Подавляющее большинство в лучшем случае ексель знает. Соответственно, они просто не понимают, как использовать все эти массивы данных.
...
Рейтинг: 0 / 0
15.05.2019, 10:47
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813442
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
анализ чеков (какие товары покупают вместе)бугага... Так и знал, что сейчас напомнят про эту классическую маркетологическую чушь.

Торт+Шампанское
Белое вино + твердый сыр

В свое время анализировал и это. Пользы мизер.
Лучше уж послушать толкового менеджера-мерчандайзера (не того, что товар раскладывает).

Стабильные товары-спутники известны и так (например отдельные запчасти для агрегата).
Нестабильные или сильно вариативные - малоценны (телефон + чехол).
...
Рейтинг: 0 / 0
15.05.2019, 11:48
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813561
Фотография Megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Megabyte
Участник
H5N1 для планирование нужна история заказов, тебе нужно понимать сколько клиенты заказывали, а не сколько тебе удалось отгрузить.

А чтобы сделать таблицу заказов, надо внедрить DWH? Или система становится DWH, как только туда добавили таблицу истории заказов?
...
Рейтинг: 0 / 0
15.05.2019, 14:26
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813688
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex_496
Участник
Если с позиции торгашей (термин М. Задорнова), то сейчас главное - продажи.
Остальное ничего не нужно, что не продается.

Тем, кому нужно DWH и другие системы, они работают, используют и на форумах в рабочее время не просиживают.

Что ни топик, то фантом ПТ.
Модераторы, удалите топик.
Если бы была такая функция, сам удалился.
...
Рейтинг: 0 / 0
15.05.2019, 16:50
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813711
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
MegabyteH5N1 для планирование нужна история заказов, тебе нужно понимать сколько клиенты заказывали, а не сколько тебе удалось отгрузить.

А чтобы сделать таблицу заказов, надо внедрить DWH? Или система становится DWH, как только туда добавили таблицу истории заказов?
как только развернули табличку заказов в факты и дименсии - вот сразу это dwh. даже если временной дименсии (истории) нет.
нарисовать "ETL" который положит это в mysql и подсунуть какому-нибудь google datastudio "работа" на один вечер. один.
т.е. после одного вечера у тебя нормальный тул, под отчеты и нормальная структура для тула.

Alex_496Если с позиции торгашей (термин М. Задорнова), то сейчас главное - продажи.
Остальное ничего не нужно, что не продается.

ваша проблема в том что вы все метрите по себе. с позиции торгашей, которые абсолютно все измеряют колбасой
я вот человек технический и все что хотел уже давно продал хадупу задорого.
...
Рейтинг: 0 / 0
15.05.2019, 17:28
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813838
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
все что хотел уже давно продал хадупу задорого.Это тоже измерение колбасой. :)
Не важно, дало ли оно экономический эффект заказчику. Исполнителю дало.
Продал лохам хрен-знает-что задорого.

Но правильнее менять ценности интересами заказчика, а не исполнителя. Иначе это торговля воздухом, а точнее товарами Цептер или пылесосами за тыщи баксов.

В чем выигрыш заказчика от внедрения хадупа ? Кроме "это щас в тренде" и "ваш сосед уже внедрил хадуп".
...
Рейтинг: 0 / 0
16.05.2019, 08:48
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813891
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
L_argoВ чем выигрыш заказчика от внедрения хадупа ? Кроме "это щас в тренде" и "ваш сосед уже внедрил хадуп".
для заказчика бонусов миллион, для разработчика чуток меньше. если речь о заказчике то наш не заплатил многие миллионы евров ораклу ни по лицензиям ни за супорт. хадуп не стоил ему ни копейки ни по лицензиям ни по супорту. вместо ораклового RAC с отдельно лицензируемом датагвардом, компрессией, партишенингом, требующим уникальных энтерпрайз полок/сториджов, он поставил самые обычные сервачки с совершенно обычными хдд. плюс получил более эффективную платформу для анализа. любое энтерпрайз решение с классической субд это по сути превращение субд в тупой сторидж из которого по унылому jdbc медленно и печально вытягивает данные какой-нить питончик или R-сервер. в хадупе же мы можем юзать любую жаба ML либу никуда не таская данные. тот же процесс что вычитывает даннные с hdfs в нем же ML движек процессит данные не копирую никуда во внешний процесс. при этом все это из флакона работает в параллель на десятках считай бесплатных узлов. далее имея гигантские бесплатные ресурсы многие задачи заказчик может делать тупо в лоб не привлекая дорогих разработчиков. там где в оракле требовалось муть сложные алгоритмы какие вытянут исправят несколько гб данных, в хадупе оператор может себе позволить запустить в лоб перестройку всей витрины на терабайты, не заботясь ни о чем. просто потому, что дофига ресурсов и канторе перестроить терабайты витрины с нуля ничего не стоит.
...
Рейтинг: 0 / 0
16.05.2019, 10:03
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813910
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
Слишком много упоминаний про ML. Галимая реклама (с)
Вот взяло оно данные и само бесплатно понастроило нам все отчеты и дашборды. Ога. Дайтедве.

Для уличной магии есть другие форумы.
...
Рейтинг: 0 / 0
16.05.2019, 10:41
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813918
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
адЪ какой-то...

выбор между гигантской клизмой и бочкой с дерьмом
...
Рейтинг: 0 / 0
16.05.2019, 10:54
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39813986
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
H5N1для заказчика бонусов миллион
Ух ты, какая развитая фантазия!
H5N1если речь о заказчике то наш не заплатил многие миллионы евров ораклу ни по лицензиям ни за супорт. хадуп не стоил ему ни копейки ни по лицензиям ни по супорту.
Тебе подсказать про существование бесплатных БД?
H5N1он поставил самые обычные сервачки с совершенно обычными хдд. плюс получил более эффективную платформу для анализа.
Тебе подсказать, что улучшается, если ставить "не самые обычные хдд"? И тебе подсказать, что анализ при твоём выборе только замедляется?
H5N1любое энтерпрайз решение с классической субд это по сути превращение субд в тупой сторидж из которого по унылому jdbc медленно и печально вытягивает данные какой-нить питончик или R-сервер. в хадупе же мы можем юзать любую жаба ML либу никуда не таская данные.
Тебе, видимо, ещё надо подсказывать, зачем вообще нужна БД. Расскажи-ка нам, что такое элементарные OLTP? И про чудеса с твоим хадупом на поддержке OLTP.
H5N1тот же процесс что вычитывает даннные с hdfs в нем же ML движек процессит данные не копирую никуда во внешний процесс.
Ну вот, опять с дуба рухнул. Тебе опять надо подсказывать, что один процесс может вычитывать не только из твоего сраного хадупа?
H5N1при этом все это из флакона работает в параллель на десятках считай бесплатных узлов.
Уже очевидно, что мальчик тупой, поэтому сразу подсказываю - узким местом являются твои "обычные хдд", а не параллельная или какая угодно ещё обработка.
H5N1далее имея гигантские бесплатные ресурсы многие задачи заказчик может делать тупо в лоб не привлекая дорогих разработчиков
Это типа дорогие разработчики будут как-то не тупо и не в лоб распараллеливать всё на свете, при этом ясно понимая, что упираются в тобою выбранные хдд?
H5N1там где в оракле требовалось муть сложные алгоритмы какие вытянут исправят несколько гб данных, в хадупе оператор может себе позволить запустить в лоб перестройку всей витрины на терабайты, не заботясь ни о чем. просто потому, что дофига ресурсов и канторе перестроить терабайты витрины с нуля ничего не стоит.
Мальчик, тебе опять нужна подсказка - оператор такой же тупой, как и ты, поэтому он просто не знает, зачем вообще нужно что-то перестраивать. Понятно? Или продолжать подсказки про неумение использовать данные?
...
Рейтинг: 0 / 0
16.05.2019, 12:54
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39814756
Фотография Megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Megabyte
Участник
Блин, тоже чтоль внедрить хадуп, шоб отчёты сами делались. Круто же 🙂 можно сидеть, в потолок плевать))
...
Рейтинг: 0 / 0
17.05.2019, 17:42
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39814853
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
L_argoОсновные проблемы бизнеса известны и без хранилищ.
Не уверен, что это верно для любого бизнеса. По опыту, даже если хранилище загружается из единственной ИС - в нём обильно и наглядно вылезают нестыковки, на которые в самой ИС десятилетиями не обращают внимания. А уж если источников несколько... Ну а степень влияния этих нестыковок на бизнес, в том числе на управленческие решения, принятые на основе неполной и неверной информации... может быть разной.
...
Рейтинг: 0 / 0
18.05.2019, 12:21
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39815013
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
softwarerL_argoОсновные проблемы бизнеса известны и без хранилищ.
Не уверен, что это верно для любого бизнеса. По опыту, даже если хранилище загружается из единственной ИС - в нём обильно и наглядно вылезают нестыковки, на которые в самой ИС десятилетиями не обращают внимания.Безусловно есть бизнесы, сильназависящие от хранилищ. Но их намного меньше, чем хотели бы менеджеры по продажам решений для хранилищ. :)

И потом.... если на нестыковку не обращают внимания десятилетиями,значит она несущественна. :)
Чаще про нее все знают, но просто игнорируют. Ибо несущественная.
В некот. случаях чтобы ее исправить, надо переписать всю сложную систему. Что почти всегда невозможно. Точнее - бессмысленно долго и дорого.
Даже довольно критичные ошибки бизнес скорее зачислит в некритичные, лишь бы ничего не менять.
...
Рейтинг: 0 / 0
19.05.2019, 15:20
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39815125
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
L_argoИ потом.... если на нестыковку не обращают внимания десятилетиями,значит она несущественна. :)
Правильнее будет "значит, бизнес из-за неё не навернулся". Но когда на эту нестыковку таки обращают внимание и считают, сколько из-за неё потеряли - хватаются за голову (себе) либо за другие части тела (ответственным).
...
Рейтинг: 0 / 0
19.05.2019, 21:23
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39815158
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
L_argosoftwarerпропущено...

Не уверен, что это верно для любого бизнеса. По опыту, даже если хранилище загружается из единственной ИС - в нём обильно и наглядно вылезают нестыковки, на которые в самой ИС десятилетиями не обращают внимания.Безусловно есть бизнесы, сильназависящие от хранилищ. Но их намного меньше, чем хотели бы менеджеры по продажам решений для хранилищ. :)

И потом.... если на нестыковку не обращают внимания десятилетиями,значит она несущественна. :)
Чаще про нее все знают, но просто игнорируют. Ибо несущественная.
В некот. случаях чтобы ее исправить, надо переписать всю сложную систему. Что почти всегда невозможно. Точнее - бессмысленно долго и дорого.
Даже довольно критичные ошибки бизнес скорее зачислит в некритичные, лишь бы ничего не менять.
Решения для хранилищ... Проще надо быть.
Компаний,у которых объем данных превышает террабайт (не всякие фотки и отсканированные договора) - меньше одного процента.
Какие решения?
Обычная база на обычном, не супер мощном сервере - для таких компаний хватит в подавляющем большинстве случаев.

Но с другой стороны - хранилище им таки нужно, так как выполнять аналитические запросы на OLTP базе - весьма чревато.
...
Рейтинг: 0 / 0
20.05.2019, 00:22
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39815264
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
s_ustinovНо с другой стороны - хранилище им таки нужно, так как выполнять аналитические запросы на OLTP базе - весьма чревато.
Как бы что проще - добавить памяти и процессоров на сервер БД, или городить хранилище с выделенными серверами со своими памятью и процессорами, плюс с приличной оплатой за это хранилище?
...
Рейтинг: 0 / 0
20.05.2019, 11:18
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39815265
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
нет робяты...

так вы слона не продадите
...
Рейтинг: 0 / 0
20.05.2019, 11:19
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39815338
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
alex55555s_ustinovНо с другой стороны - хранилище им таки нужно, так как выполнять аналитические запросы на OLTP базе - весьма чревато.
Как бы что проще - добавить памяти и процессоров на сервер БД, или городить хранилище с выделенными серверами со своими памятью и процессорами, плюс с приличной оплатой за это хранилище?
Хм.
Добавить памяти и процессоров часто означает другую версию СУБД. Например, если переходить с MS SQL Standard на Enterprise, цена отдельного нового сервера покажется очень незначительной. :)

Ну и сама идея запускать аналитические запросы на рабочей базе... Лично мне подобная идея кажется очень уж экстремальной.
...
Рейтинг: 0 / 0
20.05.2019, 13:36
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39815348
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
авторНапример, если переходить с MS SQL Standard на Enterprise"Переход" это всего лишь одна гуидоподобная строчечка.
...
Рейтинг: 0 / 0
20.05.2019, 14:04
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39815360
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
L_argoавторНапример, если переходить с MS SQL Standard на Enterprise"Переход" это всего лишь одна гуидоподобная строчечка.

Можно еще несколько строчечек в дополнение получить.
http://appp.ru/pr/news/3572/69262/]признать виновным в совершении преступления, предусмотренного п. «в» ч. 3 ст. 146 Уголовного кодекса Российской Федерации и назначить ему наказание в виде лишения свободы сроком на ДВА года

Правда, чел отделался условным... Но... Осадочек, думаю, остался.
...
Рейтинг: 0 / 0
20.05.2019, 14:31
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39815715
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
s_ustinovДобавить памяти и процессоров часто означает другую версию СУБД. Например, если переходить с MS SQL Standard на Enterprise, цена отдельного нового сервера покажется очень незначительной.
Вообще говорить можно, но бесполезно. Надо конкретику. Сколько стоит хранилище и все сопутствующие затраты. Сколько стоит расширение мощностей БД, ну и сопутствующие, понятно. И потом сравнивать.
s_ustinovНу и сама идея запускать аналитические запросы на рабочей базе... Лично мне подобная идея кажется очень уж экстремальной.
В чём здесь проблема?

Если анализом занимается 1-2 человека, то что изменится для 1000 остальных? Особенно если память и прочее железо добавлены.

Хотя да, можно сгородить огород "каждому оператору по витрине данных", но это к откровенным идиотам, а не на форум программистов.
...
Рейтинг: 0 / 0
21.05.2019, 11:52
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39815832
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
alex55555s_ustinovДобавить памяти и процессоров часто означает другую версию СУБД. Например, если переходить с MS SQL Standard на Enterprise, цена отдельного нового сервера покажется очень незначительной.
Вообще говорить можно, но бесполезно. Надо конкретику. Сколько стоит хранилище и все сопутствующие затраты. Сколько стоит расширение мощностей БД, ну и сопутствующие, понятно. И потом сравнивать.
s_ustinovНу и сама идея запускать аналитические запросы на рабочей базе... Лично мне подобная идея кажется очень уж экстремальной.
В чём здесь проблема?

Если анализом занимается 1-2 человека, то что изменится для 1000 остальных? Особенно если память и прочее железо добавлены.

Хотя да, можно сгородить огород "каждому оператору по витрине данных", но это к откровенным идиотам, а не на форум программистов.
А вы хоть раз сами пробовали анализом заниматься? Или видели, как это другие делают?

Когда анализируешь данные, об оптимизации начинаешь думать только тогда, когда селект больше 15-20 МИНУТ выполняется. Данные за несколько лет (а не по одному документу, как обычно в OLTP), 20-30 соединений таблиц, вложенные подзапросы, outer apply и т.д... Догадываетесь, что могут сказать в этот момент остальные 1000 пользователей, которым надо товар отгружать, платежи учитывать и прочие нужные вещи делать?
...
Рейтинг: 0 / 0
21.05.2019, 14:34
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39816205
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
ДВХ приобретает ценность тогда когда учетных систем уже несколько. Тут сразуже и MDM задачи появляются, и one point of truth.
...
Рейтинг: 0 / 0
22.05.2019, 09:55
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39816278
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
Ivan DurakДВХ приобретает ценность тогда когда учетных систем уже несколько. Тут сразуже и MDM задачи появляются, и one point of truth.
если учетная система не хранит исторических данных, то dwh и под единственную систему ценно. особенно если эта система какое-нить порно на 1с.
третий круг ...
...
Рейтинг: 0 / 0
22.05.2019, 11:22
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39816426
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
H5N1третий круг ...

дада

третий круг какого-то голословного бреда
...
Рейтинг: 0 / 0
22.05.2019, 13:20
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39816539
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
H5N1Ivan DurakДВХ приобретает ценность тогда когда учетных систем уже несколько. Тут сразуже и MDM задачи появляются, и one point of truth.
если учетная система не хранит исторических данных, то dwh и под единственную систему ценно. особенно если эта система какое-нить порно на 1с.
третий круг ...
ну тут еще есть вариант усовершенствавать единственную систему для этих целей.
...
Рейтинг: 0 / 0
22.05.2019, 14:46
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39816607
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
Ivan DurakH5N1пропущено...

если учетная система не хранит исторических данных, то dwh и под единственную систему ценно. особенно если эта система какое-нить порно на 1с.
третий круг ...
ну тут еще есть вариант усовершенствавать единственную систему для этих целей.
Ну...
Вариант...
Хотел бы я поприсутствовать на совещании, где кто то предложит: "А давайте мы SAP допилим, чтобы он лучше хранил исторические данные..."
...
Рейтинг: 0 / 0
22.05.2019, 15:50
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39816629
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
s_ustinovА вы хоть раз сами пробовали анализом заниматься? Или видели, как это другие делают?
Не сцы, не ты один такой умный.
s_ustinovКогда анализируешь данные, об оптимизации начинаешь думать только тогда, когда селект больше 15-20 МИНУТ выполняется. Данные за несколько лет (а не по одному документу, как обычно в OLTP), 20-30 соединений таблиц, вложенные подзапросы, outer apply и т.д... Догадываетесь, что могут сказать в этот момент остальные 1000 пользователей, которым надо товар отгружать, платежи учитывать и прочие нужные вещи делать?
Повесить многопроцессорный сервер (да хотя бы всего с двумя ядрами) не так просто. И оракл и мс-скуль (ну и не только) умеют читать без блокировки всей таблицы, особенно если писатель запросов про это что-то знает.

В целом это просто наброс из серии "а я вот щас какую страшную историю расскажу!!!".

Собственно использование в качестве базы для всякого OLAP-а именно указанных БД немного говорит нам о надуманности вопроса "что могут сказать в этот момент остальные 1000 пользователей". Хотя да, какая-нибудь SAP может и виснет, по этим бегемотам я не спец. Но кто-ж заставляет сапу покупать? Только злобные буратины в собственном лице.
...
Рейтинг: 0 / 0
22.05.2019, 16:11
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39816632
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
s_ustinovХотел бы я поприсутствовать на совещании, где кто то предложит: "А давайте мы SAP допилим, чтобы он лучше хранил исторические данные..."

А чем тогда сапёры годами в каждой такой конторе занимаются? Может и исторические данные допилят.

Хотя если сверху решили, что будут вечно и много платить за SAP - это уже не технический вопрос, и не архитектурный. Цена здесь определяется приказом конторы SAP, а не выбором правильной архитектуры. А обсуждать приказы - запрещено, в том числе на форуме, в том числе от SAP.
...
Рейтинг: 0 / 0
22.05.2019, 16:15
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39816633
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
alex55555Повесить многопроцессорный сервер (да хотя бы всего с двумя ядрами) не так просто.
Ну, на всякую многопроцессорность есть параллельные запросы. И вопрос не только и не столько в блокировках, сколько в общем влиянии на производительность и следующую из этого пропускную способность. Скажем так - один сервер в одной базе, конечно, может обслуживать оба типа запросов, примерно как один человек может бегать одновременно спринты и марафоны. Но, начиная с какого-то уровня результатов, действительно целесообразно поделить такую нагрузку по двум разноплановым исполнителям.
...
Рейтинг: 0 / 0
22.05.2019, 16:16
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39816666
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
alex55555s_ustinovКогда анализируешь данные, об оптимизации начинаешь думать только тогда, когда селект больше 15-20 МИНУТ выполняется. Данные за несколько лет (а не по одному документу, как обычно в OLTP), 20-30 соединений таблиц, вложенные подзапросы, outer apply и т.д... Догадываетесь, что могут сказать в этот момент остальные 1000 пользователей, которым надо товар отгружать, платежи учитывать и прочие нужные вещи делать?
Повесить многопроцессорный сервер (да хотя бы всего с двумя ядрами) не так просто. И оракл и мс-скуль (ну и не только) умеют читать без блокировки всей таблицы, особенно если писатель запросов про это что-то знает.

В целом это просто наброс из серии "а я вот щас какую страшную историю расскажу!!!".

Собственно использование в качестве базы для всякого OLAP-а именно указанных БД немного говорит нам о надуманности вопроса "что могут сказать в этот момент остальные 1000 пользователей". Хотя да, какая-нибудь SAP может и виснет, по этим бегемотам я не спец. Но кто-ж заставляет сапу покупать? Только злобные буратины в собственном лице.
Вот что-что, а повесить (не в смысле остановить, а в смысле очень сильно замедлить и увеличить количество блокировок) как раз очень легко. :))

Вот интересно, а по какой из учетных систем ты спец? По 1С?
Ну тогда расскажи нам, как сейчас 1000 пользователей в одной базе 1С живет.
...
Рейтинг: 0 / 0
22.05.2019, 17:06
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39816676
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
s_ustinovНу тогда расскажи нам, как сейчас 1000 пользователей в одной базе 1С живет. У мну есть опыт общения с 1С БД ок. 1Тб. 1,5тыс. конкурентных пользователей.
Сервер: 80ядер, 0,5Тб ОЗУ.
Работало временами тяжко, но лучше, чем многие тут пугают. Много инфы было выведено в BI.
...
Рейтинг: 0 / 0
22.05.2019, 17:19
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39816689
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
L_argos_ustinovНу тогда расскажи нам, как сейчас 1000 пользователей в одной базе 1С живет. У мну есть опыт общения с 1С БД ок. 1Тб. 1,5тыс. конкурентных пользователей.
Сервер: 80ядер, 0,5Тб ОЗУ .
Работало временами тяжко, но лучше, чем многие тут пугают. Много инфы было выведено в BI.
Почему то вспомнился их девиз - "Доступно и всерьез"...
...
Рейтинг: 0 / 0
22.05.2019, 17:45
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39816691
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
L_argoМного инфы было выведено в BI.
что же они в этом прекрасном 1с не устроили BI ?
...
Рейтинг: 0 / 0
22.05.2019, 17:47
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39816881
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
В принципе стандартно жизненный цикл выглядит где-то так:
1 этап - Ну допилите уже вашу эту 1C/SAP/Siebel/Axapta/Saleforce whatever чтобы мне нормально отчетики показывала
2 этап - нет, хватит это терпеть, слишком долго - давайте мне выгрузку в эксель, сами запилим отчетик, прямо тут в экселе
3 этап - нет, хватит это терпеть, мы упарились руками эти эксели массажировать, давайте наймем раба - он нам автоматизирует
4 этап - ну и понеслось....
...
Рейтинг: 0 / 0
23.05.2019, 08:39
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39816966
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
Ivan DurakВ принципе стандартно жизненный цикл выглядит где-то так:
1 этап - Ну допилите уже вашу эту 1C/SAP/Siebel/Axapta/Saleforce whatever чтобы мне нормально отчетики показывала
2 этап - нет, хватит это терпеть, слишком долго - давайте мне выгрузку в эксель, сами запилим отчетик, прямо тут в экселе
3 этап - нет, хватит это терпеть, мы упарились руками эти эксели массажировать, давайте наймем раба - он нам автоматизирует
4 этап - ну и понеслось....
Причем четвертый этап как правило делится еще на несколько:
4.1 запилили отчетик на SQL на рабочей базе, и в процессе разработки / тестирования несколько раз подвесили систему на пол часа (+-)
4.2 (необязательный) хватит это терпеть, давайте добавим памяти / ядер / ssd дисков - при разработке очередного отчетика повесили систему на час... )))
4.3 хватит это терпеть - покупается отдельный сервер, делается асинхронная реплика базы и все отчетики делаются на копии базы, которая именуется гордым словом DWH. :)
4.4 добавляются разные задания по чистке данных и всяким пересчетам - и действительно появляется DWH.

Есть еще один вариант - начинают делать "правильную" DWH с правильной структурой данных, Slowly Changing Dimension, правильным софтом и железом и прочими плюшками настоящей DWH, потом начинают думать, как закачивать данные из работающей системы, потом начинают делать нужные отчетики (если доходят до этого этапа)... Но, как я слышал про несколько таких проектов - очень часто такие начинания завершаются фиаско...
...
Рейтинг: 0 / 0
23.05.2019, 11:27
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39817006
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
очень часто такие начинания завершаются фиаско... А все потому, что это все по большому счету ненужно и без него бизнес все равно нормально функционирует. :)

Можно взять наугад любой завод, работающий хотя бы 30лет.
Какая там автоматизация ? Чаще всего примитивная, бумажная.
Почему ? Потому что автоматизация съест кучу денег и времени, а эффекта скорее всего никакого не даст. Будет только кратковременный вау-эффект.
...
Рейтинг: 0 / 0
23.05.2019, 12:23
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39817046
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
softwarerодин сервер в одной базе, конечно, может обслуживать оба типа запросов, примерно как один человек может бегать одновременно спринты и марафоны. Но, начиная с какого-то уровня результатов, действительно целесообразно поделить такую нагрузку по двум разноплановым исполнителям.
Есть два варианта - работа "как всегда" и квалифицированная работа.

В первом варианте народ постепенно, занимаясь при этом всем на свете, начинает ковырять отчёты, BI и прочее модное. Потом игры разрастаются, появляются заявки на новое железо, новый софт и т.д, а всё потому, что игры от балды, не продуманные, неэффективные. Потом игры разрастаются снова, потому что думать опять никто не хотел. Потом опять новое железо, софт и т.д. Ну и так будет вечно, потому что думать никто не хочет. Точнее думают снизу, а сверху их не слышат (и не думают).

А во втором варианте такую страшную аналитику, что бы многопроцессорному серверу стало тяжело, просто не делают. Исторические данные банально агрегируют, запросы оптимизируют, всякую отчётность операторов так же пишут не идиоты высшего уровня, а вменяемые разработчики. В целом систему поддерживают в бодром и поджаром состоянии. Потому что думают, ну и думы доходят до руками водителей.

В целом же по большинству контор DWH имеет смысл выделять из-за наличия различных и плохо связанных между собой систем, а не из-за какой-то повышенной нагрузки. То есть приоритетность задачи стыковки данных гораздо выше, чем некоторые паузы при получении отчётов тётей Маней из бухгалтерии.

Хотя да, я в своей практике встречал либо среднего размера оптимизированные системы, либо бегемотов, работающих по первому варианту (как всегда). Бегемотов, где хотя бы пытались бы что-то оптимизировать - не встречал. Но сильно подозреваю, что займись они правильной оптимизацией, паузы на ожидание отчётов были бы столь же малозначимыми, как и в тех среднего размера конторах, где оптимизацией всё же занимались.

Ну и так, к слову, если бы наблюдавшиеся мной бегемоты слегка напряглись, то им вполне по силам сделать единую систему, без плохо стыкуемого зоопарка. И для DWH оставалось бы наполнение внешними данными, которые часто есть база для совсем независимой от самой конторы аналитики (типа биржевые данные или прогнозы по отраслям для инвестирования).
...
Рейтинг: 0 / 0
23.05.2019, 13:07
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39817050
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
s_ustinovВот что-что, а повесить (не в смысле остановить, а в смысле очень сильно замедлить и увеличить количество блокировок) как раз очень легко. :))
Сдуру можно и х..й сломать, кто-ж спорит.
s_ustinovВот интересно, а по какой из учетных систем ты спец? По 1С?
Ну тогда расскажи нам, как сейчас 1000 пользователей в одной базе 1С живет.
В 1С плохо живут. Потому что там нет оптимизация, что в свою очередь есть следствие конструкторного подхода, когда конструктор тупо не умеет оптимизировать.
...
Рейтинг: 0 / 0
23.05.2019, 13:09
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39817054
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
Ivan DurakВ принципе стандартно жизненный цикл выглядит где-то так:
1 этап - Ну допилите уже вашу эту 1C/SAP/Siebel/Axapta/Saleforce whatever чтобы мне нормально отчетики показывала
2 этап - нет, хватит это терпеть, слишком долго - давайте мне выгрузку в эксель, сами запилим отчетик, прямо тут в экселе
3 этап - нет, хватит это терпеть, мы упарились руками эти эксели массажировать, давайте наймем раба - он нам автоматизирует
4 этап - ну и понеслось....
Это типично бардачный подход. Хотя да, так очень и очень во многих местах.
...
Рейтинг: 0 / 0
23.05.2019, 13:12
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39817067
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
по факту в каких-нибудь 1с с его историей в виде "версионных документов" ковыряются лишь те, что не в состоянии освоить что-то еще. сколько 1с не оптимизируй, там убогий орм, там убогие структуры хранения, инструменты отчетности из глубоких 90х. никакого смысла в это погружаться и оптимизировать нет.
...
Рейтинг: 0 / 0
23.05.2019, 13:28
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39817068
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
L_argo очень часто такие начинания завершаются фиаско... А все потому, что это все по большому счету ненужно и без него бизнес все равно нормально функционирует. :)

Можно взять наугад любой завод, работающий хотя бы 30лет.
Какая там автоматизация ? Чаще всего примитивная, бумажная.
Почему ? Потому что автоматизация съест кучу денег и времени, а эффекта скорее всего никакого не даст. Будет только кратковременный вау-эффект.

Угу, берем такой завод.
И берем несколько заявок на запчасти, которые ремонтники выдают отделу закупок.
Если хорошенько поискать по складам - обычно минимум 30% запчастей из заявок пылиться уже несколько лет на складах. Но найти их крайне тяжело, так как все на бумажках и даже в бумажках названия - как придет в голову бухгалтерии.
Запасов таких на складе может быть на несколько миллионов (не рублей). И каждый год эта сумма обычно увеличивается. И в то же время у завода куча кредитов, по которым платятся нехилые проценты.

Но зато у завода есть куча "эффективных" менеджеров, которые вместо того, чтобы нормально наладить процесс, только и могут, что накричать на кладовщика...
...
Рейтинг: 0 / 0
23.05.2019, 13:29
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39817100
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
H5N1если учетная система не хранит исторических данных, то dwh и под единственную систему ценно.
"Если учётная система не хранит данные" - самое точно описание состояния современных учётных систем, которые криворукие разработчики довели до "проблемы N+1".
...
Рейтинг: 0 / 0
23.05.2019, 13:56
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39817134
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
alex55555softwarerодин сервер в одной базе, конечно, может обслуживать оба типа запросов, примерно как один человек может бегать одновременно спринты и марафоны. Но, начиная с какого-то уровня результатов, действительно целесообразно поделить такую нагрузку по двум разноплановым исполнителям.
Есть два варианта - работа "как всегда" и квалифицированная работа.

В первом варианте народ постепенно, занимаясь при этом всем на свете, начинает ковырять отчёты, BI и прочее модное. Потом игры разрастаются, появляются заявки на новое железо, новый софт и т.д, а всё потому, что игры от балды, не продуманные, неэффективные. Потом игры разрастаются снова, потому что думать опять никто не хотел. Потом опять новое железо, софт и т.д. Ну и так будет вечно, потому что думать никто не хочет. Точнее думают снизу, а сверху их не слышат (и не думают).

А во втором варианте такую страшную аналитику, что бы многопроцессорному серверу стало тяжело, просто не делают. Исторические данные банально агрегируют , запросы оптимизируют, всякую отчётность операторов так же пишут не идиоты высшего уровня, а вменяемые разработчики. В целом систему поддерживают в бодром и поджаром состоянии. Потому что думают, ну и думы доходят до руками водителей.

В целом же по большинству контор DWH имеет смысл выделять из-за наличия различных и плохо связанных между собой систем, а не из-за какой-то повышенной нагрузки. То есть приоритетность задачи стыковки данных гораздо выше, чем некоторые паузы при получении отчётов тётей Маней из бухгалтерии.

Хотя да, я в своей практике встречал либо среднего размера оптимизированные системы, либо бегемотов, работающих по первому варианту (как всегда). Бегемотов, где хотя бы пытались бы что-то оптимизировать - не встречал. Но сильно подозреваю, что займись они правильной оптимизацией, паузы на ожидание отчётов были бы столь же малозначимыми, как и в тех среднего размера конторах, где оптимизацией всё же занимались.

Ну и так, к слову, если бы наблюдавшиеся мной бегемоты слегка напряглись, то им вполне по силам сделать единую систему, без плохо стыкуемого зоопарка. И для DWH оставалось бы наполнение внешними данными, которые часто есть база для совсем независимой от самой конторы аналитики (типа биржевые данные или прогнозы по отраслям для инвестирования).
Это называется - имитация бурной деятельности.
Практически любая ситуация, требующая анализа - требует доступа к детальным, не агрегированным данным. Если у предприятия падает прибыль - невозможно сказать "прибыль, расти - раз, два!". Вернее, можно, но результат будет не очень.
Чтобы что-то менять - надо докапываться до факторов, которые можно изменить. А это всегда - конкретные заказы, инвойсы, товары и т.п.
И агрегированные данные при таком анализе мало чем помогают.

Жили-были мыши и все их обижали. Как-то пошли они к мудрому филину
и говорят:
— Мудрый филин, помоги советом. Все нас обижают, коты разные, совы.
Что нам делать?
Филин подумал и говорит:
— А вы станьте ёжиками. У ёжиков иголки, их никто не обижает.
Мыши обрадовались и побежали домой. Но по дороге одна мышка сказала:
— Как же мы станем ёжиками? — и все побежали обратно, чтобы задать
этот вопрос мудрому филину.
Прибежав, они спросили:
— Мудрый филин, а как же мы станем ёжиками?
И ответил филин:
— Ребята, вы меня ерундой не грузите. Я стратегией занимаюсь.
...
Рейтинг: 0 / 0
23.05.2019, 14:26
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39817231
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Часто структура учетных систем банально не удобна для составления сложных отчтетов. Время работы сложных отчтов до десятков минут вполне обычное явление.

Для отчетов которые запускаются несколько раз в месяц/год, это хоть и не очень приятно, но терпимо и пользователи готовы ждать. Но если с подобными отчетами нужно работать каждый день - такое время работы станет уже не приемлимо.

На некоторых проектах, DWH это фактически просто еще одна "отчетная система". Но так как она специально делается для отчтетов, то структуру данных можно преобразовать(спроектировать) так, что бы было удобно(быстро) отчетам.

Плюсы:
И учетную систему (OLTP) сильно не нужно ломать/уложнять
И "отчетчики" могут иметь данные в "приятной" структре

С одной стороны, совокупная сложность и стоимость вроде должна возрастать (3 системы вместо одной: OLTP, ETL, DWH), с другой стороны, сложность разработки/сопровождения и учетной системы (OLTP) меньше (т.к. выкидывается часть сложного отчетного функционала) и сложность разработки/сопровождения отчетов меньше. Если выгоды упрощения OLTP + DWH перевешивают стоимость создания ETL, то экономический резон уже появляется. Т.к. стоимость "OLTP без сложных отчетов" + ETL + DWH вполне может быть меньше, чем "OLTP с жутко навороченной отчетной системой."

Не говоря уже о случаях, когда учетных систем несколько и пользователи хотять данные/отчеты из разных систем.

IMHO & AFAIK по опыту
...
Рейтинг: 0 / 0
23.05.2019, 16:08
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39817346
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
Leonid KudryavtsevЧасто структура учетных систем банально не удобна для составления сложных отчтетов. Время работы сложных отчтов до десятков минут вполне обычное явление.

Для отчетов которые запускаются несколько раз в месяц/год, это хоть и не очень приятно, но терпимо и пользователи готовы ждать. Но если с подобными отчетами нужно работать каждый день - такое время работы станет уже не приемлимо.

На некоторых проектах, DWH это фактически просто еще одна "отчетная система". Но так как она специально делается для отчтетов, то структуру данных можно преобразовать(спроектировать) так, что бы было удобно(быстро) отчетам.

Плюсы:
И учетную систему (OLTP) сильно не нужно ломать/уложнять
И "отчетчики" могут иметь данные в "приятной" структре

С одной стороны, совокупная сложность и стоимость вроде должна возрастать (3 системы вместо одной: OLTP, ETL, DWH), с другой стороны, сложность разработки/сопровождения и учетной системы (OLTP) меньше (т.к. выкидывается часть сложного отчетного функционала) и сложность разработки/сопровождения отчетов меньше. Если выгоды упрощения OLTP + DWH перевешивают стоимость создания ETL, то экономический резон уже появляется. Т.к. стоимость "OLTP без сложных отчетов" + ETL + DWH вполне может быть меньше, чем "OLTP с жутко навороченной отчетной системой."

Не говоря уже о случаях, когда учетных систем несколько и пользователи хотять данные/отчеты из разных систем.

IMHO & AFAIK по опыту
Все так, но вы забываете еще об одном минусе, когда OLTP и сложные отчеты "в одном флаконе".

Предположим, у нас есть:
L_argo 1С БД ок. 1Тб. 1,5тыс. конкурентных пользователей.
Сервер: 80ядер, 0,5Тб ОЗУ.
Работало временами тяжко , но лучше, чем многие тут пугают.
и в какой то не очень счастливый момент запускается 2-3 тяжелых отчета каждый на полчаса - час.
Я подозреваю, что пользователям станет не просто тяжело, а очень тяжело ...
...
Рейтинг: 0 / 0
23.05.2019, 20:03
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39817382
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
s_ustinov...Я подозреваю, что пользователям станет не просто тяжело, а очень тяжело ...

На одном из проектов и 2-3 разных OLTP и OLAP система были на одном сервере. Когда дошли до ситуации из-за OLAP пользователям OLTP "очень тяжело", настроили Oracle Resource Manager. Если запрос выполнялся дольше 0.5 Сек - ему понижался приоритет, если дольше 15 секунд - приоритет полностью срезался до уровня плинтуса.

В основном были проблемы, что пользователи запустив отчет который закончится через час ))), этот час не ждали, а запускали еще одну копию отчета ))) т.ч. иногда некоторых (не особо важных) отчетов на сервере одновременно под несколько десятков экземпляров выполнялось ))) и ждали тех пор пока их руками кильнут.

Настройка Oracle Resource Manager проблему решила полностью.

Note: На правах рекламы Oracle Resource Manager )))
...
Рейтинг: 0 / 0
23.05.2019, 22:27
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39817396
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
Leonid Kudryavtsevs_ustinov...Я подозреваю, что пользователям станет не просто тяжело, а очень тяжело ...

На одном из проектов и 2-3 разных OLTP и OLAP система были на одном сервере. Когда дошли до ситуации из-за OLAP пользователям OLTP "очень тяжело", настроили Oracle Resource Manager. Если запрос выполнялся дольше 0.5 Сек - ему понижался приоритет, если дольше 15 секунд - приоритет полностью срезался до уровня плинтуса.

В основном были проблемы, что пользователи запустив отчет который закончится через час ))), этот час не ждали, а запускали еще одну копию отчета ))) т.ч. иногда некоторых (не особо важных) отчетов на сервере одновременно под несколько десятков экземпляров выполнялось ))) и ждали тех пор пока их руками кильнут.

Настройка Oracle Resource Manager проблему решила полностью.

Note: На правах рекламы Oracle Resource Manager )))
Да, прикольно. )))
Но я так понимаю, для такого управления ресурсами все равно надо было разносить OLTP и OLAP по разным базам?
Или Oracle Resource Manager смотрел на длительность запроса независимо ни от чего? Но тогда ведь могли пострадать OLTP системы...
...
Рейтинг: 0 / 0
23.05.2019, 23:05
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39817404
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
s_ustinovНо я так понимаю, для такого управления ресурсами все равно надо было разносить OLTP и OLAP по разным базам?

Нет
s_ustinovИли Oracle Resource Manager смотрел на длительность запроса независимо ни от чего? Но тогда ведь могли пострадать OLTP системы...
Могли и страдали "кривые" запросы и в OLTP. И это хорошо!
Т.к. пофиг чей "кривой" запрос. Хоть OLTP, хоть OLAP. "Кривые" гнобить, что бы "прямые" быстро работали )))

Там много критериев по которым можно разнести запросы в разные группы. При этом группы могут меняться динамически. Например изначально запрос (или сессия, не помню) попадает в группу OLTP-High, но если долго выполняется - переводим его в группу OLTP-Low с понижением приоритета. OLAP-Normal И OLAP-Low работали аналогично.
...
Рейтинг: 0 / 0
23.05.2019, 23:26
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39817669
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
s_ustinovЗапасов таких на складе может быть на несколько миллионов (не рублей). И каждый год эта сумма обычно увеличивается. И в то же время у завода куча кредитов, по которым платятся нехилые проценты.
Ну и зачем нам тут втирать про убожество современных манагеров?
s_ustinovЭто называется - имитация бурной деятельности.
Ну знаток, чо...
s_ustinovПрактически любая ситуация, требующая анализа - требует доступа к детальным, не агрегированным данным.
А кто тебе сказал, что какие-то данные удаляются?
s_ustinovЯ подозреваю, что пользователям станет не просто тяжело, а очень тяжело ...
Так надо не подозревать, а реальные данные по тормозам иметь. Запускаем несколько тяжёлых отчётов и проверяем время базовых операций OLTP.

В целом всё было неплохо, а вычисления бывало запускались на весь день (на миллион человек посчитать кучу данных).
...
Рейтинг: 0 / 0
24.05.2019, 12:10
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39817679
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
Leonid KudryavtsevНа некоторых проектах, DWH это фактически просто еще одна "отчетная система". Но так как она специально делается для отчтетов, то структуру данных можно преобразовать(спроектировать) так, что бы было удобно(быстро) отчетам.
Сильно преобразовывать тоже не получится. Погружение в детали всё ограничивает.

Но на самом деле в целом я согласен, только с поправкой - сколько БД при этом используется и как. В принципе хватало одной БД на все нужды, но в ней просто совмещались детальные данный и агрегаты, ну и прочие отчётные приблуды. В результате все разработчики легко переключались на любую тему, потому что всё в привычной единой базе с одинаковыми средствами доступа.
Leonid KudryavtsevКогда дошли до ситуации из-за OLAP пользователям OLTP "очень тяжело", настроили Oracle Resource Manager. Если запрос выполнялся дольше 0.5 Сек - ему понижался приоритет, если дольше 15 секунд - приоритет полностью срезался до уровня плинтуса.
Ну вот, то есть в одной БД не только у нас всё с комфортом помещалось. Вопрос лишь в желании подумать, что мешает и как это что-то убрать.
...
Рейтинг: 0 / 0
24.05.2019, 12:15
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39817859
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
alex55555Сильно преобразовывать тоже не получится. Погружение в детали всё ограничивает.
Да бог с ними, с деталями.

По памяти, для отчетов обычно получается очень сложная связь начисления/счета - оплаты. С учетом всяких сторнировок, отмен, авансов, зачетов авансов и прочего и прочего (как с одной так и с другой стороны).

Базовые выщи, типа задолжность, обычно в OLTP системе поддерживается, а вот собрать весь "куст" документов воедино - многостраничные запросы с многократными заходами в одни и те же таблицы. Это не говоря, что когда начинаются всякие заумные требования отбора по датам, там вообще шарики за ролики могут поехать.

Тут еще конечно от аналитиков многое зависит. Когда отчет "за месяц" принимает > 3 диапозонов дат, у программистов и потом у СУБД крыша съезжает полностью. Т.к. на мой взгляд глупого человека, если отчет "за месяц" то и нужно ему передавать один-два параметра: месяц и год )))
...
Рейтинг: 0 / 0
24.05.2019, 16:00
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39818077
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
alex55555s_ustinovЗапасов таких на складе может быть на несколько миллионов (не рублей). И каждый год эта сумма обычно увеличивается. И в то же время у завода куча кредитов, по которым платятся нехилые проценты.
Ну и зачем нам тут втирать про убожество современных манагеров?
s_ustinovЭто называется - имитация бурной деятельности.
Ну знаток, чо...
s_ustinovПрактически любая ситуация, требующая анализа - требует доступа к детальным, не агрегированным данным.
А кто тебе сказал, что какие-то данные удаляются?
s_ustinovЯ подозреваю, что пользователям станет не просто тяжело, а очень тяжело ...
Так надо не подозревать, а реальные данные по тормозам иметь. Запускаем несколько тяжёлых отчётов и проверяем время базовых операций OLTP.

В целом всё было неплохо, а вычисления бывало запускались на весь день (на миллион человек посчитать кучу данных).
Ну не только менеджеры бывают убогими. :)

А по поводу реальных данных по тормозам...
Предположим, есть торговая фирма. Приходит начальник отдела продаж и говорит - мы продумываем варианты, как нам развить направление поставок под заказ. И надо посмотреть некоторые данные.
Например, вывести список заказов по каждому из клиентов, у кого за последние 2 года было как минимум 4 месяца, в которых были достаточно крупные (больше 5000 долларов) заказы заказных товаров (товар не является складским, на момент заказа в наличии на складах не более 10% от требуемого количества, подобных товаров в заказе должно быть не менее двух позиций и не менее 10 штук заказных товаров в заказе), при этом нам надо видеть сумму предоплаты по каждому заказу покупателя и разбивку по товарным группам (с суммами) для каждого заказа отдельно для складских товаров и отдельно для заказных.

Подобных запросов понадобится сделать пару - тройку десятков за несколько дней, причем заранее никто список, какие запросы будут нужны, сказать не сможет. Смотрятся данные, и по результатам осмысления формируются требования к следующему запросу.
Оптимизировать такие запросы смысла нет - они одноразовые. Готовыми агрегированными данными не воспользуешься - данные в таких разрезах никому раньше не были интересны.
И при этом некоторые из подобных запросов могут очень сильно нагрузить базу. И информации о том, будут тормоза или нет, и если будут, то какие - тоже нет - именно таких запросов к базе никто раньше не делал.

Так вот, я почему то уверен, что у вас или не было подобных задач (начальство предпочитает принимать решения "на интуиции" или "и так все всё знают"), или же вы при возникновении подобных задач начинаете рассказывать байки, что нужно ТЗ по всем правилам, которое вы рассмотрите и включите в план на следующий месяц ну или что то в таком духе. :)
Иначе вы бы не рвались решать аналитические задачи на рабочей OLTP базе.
...
Рейтинг: 0 / 0
24.05.2019, 22:09
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39818142
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
Leonid KudryavtsevПо памяти, для отчетов обычно получается очень сложная связь начисления/счета - оплаты. С учетом всяких сторнировок, отмен, авансов, зачетов авансов и прочего и прочего (как с одной так и с другой стороны).
Вообще есть одна сущность - текущее количество денег. И по ней есть история. А уж как там отдельная операция трактуется - плевать, ибо в сумме они все дают точный результат на конкретную дату. Хотя при этом могут быть дополнительные таблицы для учёта деталей авансирования и прочих сторно/отмен, но они лишь расшифровывают смысл одной записи в таблице "счёт". То есть отчёт по счёту в большинстве случаев делается по одной таблице, а за расшифровками лезем лишь когда отчёт по некому контрагенту требует расшифровки смысла его операций, но тогда и количество операций будет небольшим, что опять не даёт нагрузку на БД.
Leonid KudryavtsevБазовые выщи, типа задолжность, обычно в OLTP системе поддерживается, а вот собрать весь "куст" документов воедино - многостраничные запросы с многократными заходами в одни и те же таблицы. Это не говоря, что когда начинаются всякие заумные требования отбора по датам, там вообще шарики за ролики могут поехать.
Я же говорю - кусты и прочие джунгли появляются лишь в случае разбора конкретной ситуации, а одна ситуация требует для её описания очень мало памяти, поэтому сервер всё это засасывает в кэш и далее летает очень и очень быстро, хотя бы просто потому, что по конкретной ситуации данных мало - ну тысяча записей, ну 10 тысяч - это же копейки. А когда речь идёт о всех ситуациях, то их смотрят в разрезе каких-то конкретных проблем, мол дай мне все задолженности с вот такой вот особенностью. Ну и для таких сначала находим особенность, что сильно сужает круг подозреваемых, а уже потом что-то там "из кустов" вытаскиваем.

В общем я не встречал таких отчётов, которые бы нельзя было серьёзно оптимизировать. По началу писали отчёты "по быстрому", потом по части отчётов замечались тормоза, отчёты оптимизировались, и всегда ускорение было очень существенным.
...
Рейтинг: 0 / 0
25.05.2019, 11:03
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39818146
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
s_ustinovНапример, вывести список заказов по каждому из клиентов, у кого за последние 2 года было как минимум 4 месяца, в которых были достаточно крупные (больше 5000 долларов) заказы заказных товаров (товар не является складским, на момент заказа в наличии на складах не более 10% от требуемого количества, подобных товаров в заказе должно быть не менее двух позиций и не менее 10 штук заказных товаров в заказе), при этом нам надо видеть сумму предоплаты по каждому заказу покупателя и разбивку по товарным группам (с суммами) для каждого заказа отдельно для складских товаров и отдельно для заказных.
Ну я выше концепцию показал уже. Выбираем эти самые "заказные" товары, которых мало, а потом уже от них пляшем в сторону сумм и прочего. В итоге всё будет быстро.
s_ustinovПодобных запросов понадобится сделать пару - тройку десятков за несколько дней
Ну сколько там дней - это уже вопрос об идиотизме начальства. Хотят всё убить - ну вот вам OLAP и сами рисуйте свои запросы, убивайте ими производительность. Зато быстро.
s_ustinovОптимизировать такие запросы смысла нет - они одноразовые.
Оптимизация бывает двух типов - когда кто-то ранее написал "по быстрому" и это поделие переделывается, и второй тип - сразу пишут немного думая о сути. Так вот второй тип, пусть немного напрягая начальство со сроками (на самом деле не сильно, и даже иногда вообще незаметно из-за небольших затрат на модификацию готового отчёта для его расширения), даст хороший результат и для общей производительности системы. А если есть желание платить поменьше да получать всё "сей момент" - ну вот и будет таким желающим тормоз на тормозе. То есть вопрос опять упирается в тупость наверху.
s_ustinovГотовыми агрегированными данными не воспользуешься - данные в таких разрезах никому раньше не были интересны.
Открою страшную тайну - в БД можно делать временные таблицы, прямо в процессе создания отчёта.
s_ustinovинформации о том, будут тормоза или нет, и если будут, то какие - тоже нет - именно таких запросов к базе никто раньше не делал.
Вся информация есть. Вся. Абсолютно вся.

Но это если решением задачи занимается грамотный специалист, а не студент или аналитик, никогда не занимавшийся вопросами оптимизации.
s_ustinovИначе вы бы не рвались решать аналитические задачи на рабочей OLTP базе.
Я не рвусь, я просто констатирую - возможность есть. Поэтому я задаю детский вопрос - что лучше, простая и понятная система или несколько сложных и непонятных? И выбираю первый вариант. Хотя да, для его создания нужен специалист. А ему нужно платить, да. А далее каждый сам решает - будет он оплачивать несколько дорогих спецов или вместо них будет финансировать зоопарк из кучи систем с миллионом студентов для их обслуживания.
...
Рейтинг: 0 / 0
25.05.2019, 11:18
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39818351
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
alex55555s_ustinovНапример, вывести список заказов по каждому из клиентов, у кого за последние 2 года было как минимум 4 месяца, в которых были достаточно крупные (больше 5000 долларов) заказы заказных товаров (товар не является складским, на момент заказа в наличии на складах не более 10% от требуемого количества, подобных товаров в заказе должно быть не менее двух позиций и не менее 10 штук заказных товаров в заказе), при этом нам надо видеть сумму предоплаты по каждому заказу покупателя и разбивку по товарным группам (с суммами) для каждого заказа отдельно для складских товаров и отдельно для заказных.
Ну я выше концепцию показал уже. Выбираем эти самые "заказные" товары, которых мало, а потом уже от них пляшем в сторону сумм и прочего. В итоге всё будет быстро.
s_ustinovПодобных запросов понадобится сделать пару - тройку десятков за несколько дней
Ну сколько там дней - это уже вопрос об идиотизме начальства. Хотят всё убить - ну вот вам OLAP и сами рисуйте свои запросы, убивайте ими производительность. Зато быстро.
s_ustinovОптимизировать такие запросы смысла нет - они одноразовые.
Оптимизация бывает двух типов - когда кто-то ранее написал "по быстрому" и это поделие переделывается, и второй тип - сразу пишут немного думая о сути. Так вот второй тип, пусть немного напрягая начальство со сроками (на самом деле не сильно, и даже иногда вообще незаметно из-за небольших затрат на модификацию готового отчёта для его расширения), даст хороший результат и для общей производительности системы. А если есть желание платить поменьше да получать всё "сей момент" - ну вот и будет таким желающим тормоз на тормозе. То есть вопрос опять упирается в тупость наверху.
s_ustinov Готовыми агрегированными данными не воспользуешься - данные в таких разрезах никому раньше не были интересны.
Открою страшную тайну - в БД можно делать временные таблицы, прямо в процессе создания отчёта .
s_ustinovинформации о том, будут тормоза или нет, и если будут, то какие - тоже нет - именно таких запросов к базе никто раньше не делал.
Вся информация есть. Вся. Абсолютно вся.

Но это если решением задачи занимается грамотный специалист, а не студент или аналитик, никогда не занимавшийся вопросами оптимизации.
s_ustinovИначе вы бы не рвались решать аналитические задачи на рабочей OLTP базе.
Я не рвусь, я просто констатирую - возможность есть. Поэтому я задаю детский вопрос - что лучше, простая и понятная система или несколько сложных и непонятных? И выбираю первый вариант. Хотя да, для его создания нужен специалист. А ему нужно платить, да. А далее каждый сам решает - будет он оплачивать несколько дорогих спецов или вместо них будет финансировать зоопарк из кучи систем с миллионом студентов для их обслуживания.
"Эффективный менеджер" + "грамотный специалист" = "команда мечты"


Основная идея понятна - если бизнес желает видеть некоторые данные в течении часа - двух (время написания и выполнения запроса) - они тупые. А вот если готовы ждать пару-тройку дней (недель) данные по каждому запросу - молодцы.
Позиция в целом понятна, вопросов нет.
Предлагаю на этом прекратить обсуждение DWH и OLAP - разумеется, это абсолютно глупая идея, когда люди хотят быстро видеть ответы на свои вопросы.

Меня вот другое ваше высказывание заинтересовало.
alex55555s_ustinovинформации о том, будут тормоза или нет, и если будут, то какие - тоже нет - именно таких запросов к базе никто раньше не делал.
Вся информация есть. Вся. Абсолютно вся.
Нельзя ли как то раскрыть это утверждение?
Даже если на сервере работает один пользователь, который выполняет один запрос (влияния на производительность запросов других пользователей нет) - время выполнения запроса и нагрузка на сервер СУБД очень сильно зависит от количества записей, которые сервер должен обработать на каждом этапе выполнения.
Как именно вы, глядя на текст запроса, но не выполняя запрос , предсказываете, сколько записей будет удовлетворять некоторым условиям? Например, из миллиона строк заказов сколько будут удовлетворять условию "товар не является складским, на момент заказа в наличии на складах не более 10% от требуемого количества" - тысяча, 10 тысяч или может 500 тысяч? При условии, что такой запрос раньше никогда не выполнялся.
Прямое подключение к ноосфере? Или интуиция?
...
Рейтинг: 0 / 0
26.05.2019, 13:05
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39818368
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
alex55555В общем я не встречал таких отчётов, которые бы нельзя было серьёзно оптимизировать. По началу писали отчёты "по быстрому", потом по части отчётов замечались тормоза, отчёты оптимизировались, и всегда ускорение было очень существенным.
если бы у не такие воинствующие невежды, которые не встречали, моя зп была бы раза в 3-5 меньше
кстати огульное хаинье бигдата стека для меня выглядит примерно так же. "оптимизаторы 1с" многое в этой жизни повидали и сделали совершенно компетентный вывод, что бигдата лишь маркетинг.

s_ustinovНельзя ли как то раскрыть это утверждение?
Даже если на сервере работает один пользователь, который выполняет один запрос (влияния на производительность запросов других пользователей нет) - время выполнения запроса и нагрузка на сервер СУБД очень сильно зависит от количества записей, которые сервер должен обработать на каждом этапе выполнения.
Как именно вы, глядя на текст запроса, но не выполняя запрос , предсказываете, сколько записей будет удовлетворять некоторым условиям? Например, из миллиона строк заказов сколько будут удовлетворять условию "товар не является складским, на момент заказа в наличии на складах не более 10% от требуемого количества" - тысяча, 10 тысяч или может 500 тысяч? При условии, что такой запрос раньше никогда не выполнялся.
Прямое подключение к ноосфере? Или интуиция?

ну на самом деле у взрослой субд все же есть cost based оптимизатор и статистики. по таблицам храниться селективность полей, соответственно оптимизатор в некоторых случаях вполне способен предсказать порядок какой выйдет из джоина и фильтра по предикатам. но когда там десятки джоинов, сложность возрастает и по факту в тяжелых запросах оптимизатор начинает жестко тупить и начинаются танцы с переписыванием запроса и хинтами.
...
Рейтинг: 0 / 0
26.05.2019, 14:18
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39818397
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
H5N1s_ustinovНельзя ли как то раскрыть это утверждение?
Даже если на сервере работает один пользователь, который выполняет один запрос (влияния на производительность запросов других пользователей нет) - время выполнения запроса и нагрузка на сервер СУБД очень сильно зависит от количества записей, которые сервер должен обработать на каждом этапе выполнения.
Как именно вы, глядя на текст запроса, но не выполняя запрос , предсказываете, сколько записей будет удовлетворять некоторым условиям? Например, из миллиона строк заказов сколько будут удовлетворять условию "товар не является складским, на момент заказа в наличии на складах не более 10% от требуемого количества" - тысяча, 10 тысяч или может 500 тысяч? При условии, что такой запрос раньше никогда не выполнялся .
Прямое подключение к ноосфере? Или интуиция?

ну на самом деле у взрослой субд все же есть cost based оптимизатор и статистики. по таблицам храниться селективность полей, соответственно оптимизатор в некоторых случаях вполне способен предсказать порядок какой выйдет из джоина и фильтра по предикатам. но когда там десятки джоинов, сложность возрастает и по факту в тяжелых запросах оптимизатор начинает жестко тупить и начинаются танцы с переписыванием запроса и хинтами.
Да, оптимизатор может на основе индексов и статистик сделать некоторые предсказания и оптимизировать запрос. Но ему для этого нужны эти самые индексы и статистики. А их в подобных случаях часто нет. Просто никто данные в таком разрезе не анализировал.
Более того, задача оптимизатора - выбрать близкий к оптимальному план выполнения запроса, а не точно рассчитать "трудоемкость" запроса. И даже если он идеально выполнит свою задачу - выберет самый оптимальный план - мы все равно не будем знать, сколько именно времени будет выполняться запрос.
...
Рейтинг: 0 / 0
26.05.2019, 16:00
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39818620
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
alex55555Поэтому я задаю детский вопрос - что лучше, простая и понятная система или несколько сложных и непонятных?Это 1С то простая и понятная система? Или SAP ???? Или зибель CRM ? Или любая банковская АБС ?
И кому понятная? Аналитику который sql с трудом выучил?
...
Рейтинг: 0 / 0
27.05.2019, 10:05
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39818700
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
s_ustinovОсновная идея понятна - если бизнес желает видеть некоторые данные в течении часа - двух (время написания и выполнения запроса) - они тупые.
В общем - да. Затраты на выделенное хранилище исключительно для ублажения мальчиков, которым вынь да положь - да, это про откровенно тупых.
s_ustinovПредлагаю на этом прекратить обсуждение DWH и OLAP
Ну как хочешь.
s_ustinovКак именно вы, глядя на текст запроса, но не выполняя запрос
Во первых - я уже выполнял кучу запросов, во вторых, я немного знаю про механизмы их выполнения, ну и в третьих, если даже я чего-то не знаю про данные, то я узнаю это одним запросом (не убивающим сервер, разумеется).
...
Рейтинг: 0 / 0
27.05.2019, 12:19
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39818703
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
Ivan DurakЭто 1С то простая и понятная система? Или SAP ???? Или зибель CRM ? Или любая банковская АБС ?
И кому понятная? Аналитику который sql с трудом выучил?
Ты чего так возбудился?

Я про нормальную систему. И нормальных разработчиков.

Хотя да, 1с простая. А конфигурации могут быть сложными. И все остальные системы примерно такие же.
...
Рейтинг: 0 / 0
27.05.2019, 12:20
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39819032
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
alex55555s_ustinovОсновная идея понятна - если бизнес желает видеть некоторые данные в течении часа - двух (время написания и выполнения запроса) - они тупые.
В общем - да. Затраты на выделенное хранилище исключительно для ублажения мальчиков, которым вынь да положь - да, это про откровенно тупых.
s_ustinovПредлагаю на этом прекратить обсуждение DWH и OLAP
Ну как хочешь.
s_ustinovКак именно вы, глядя на текст запроса, но не выполняя запрос
Во первых - я уже выполнял кучу запросов, во вторых, я немного знаю про механизмы их выполнения, ну и в третьих, если даже я чего-то не знаю про данные, то я узнаю это одним запросом (не убивающим сервер, разумеется) .

alex55555 в БД можно делать временные таблицы, прямо в процессе создания отчёта.

alex55555 Я не рвусь, я просто констатирую - возможность есть.



Есть очень хороший анекдот на эту тему:

Девушка идет по улице. Видит - посреди газона стоит парень в водолазном костюме и косит траву.
- Слушай, зачем ты так оделся? Жара ведь, упаришься...
- Мы, комсомольцы, не привыкли бегать от трудностей! Мы их сначала сами себе создадим, а потом с ними героически боремся!
- Хватит херней страдать - пошли лучше потрахаемся...
- Ну пошли, но только стоя, в гамаке и противогазе!

Когда специалист тратит кучу своего рабочего времени на всякие оптимизации, создание и наполнение временных таблиц, узнавания данных и прочие действия, которые никому не нужны и не приносят ценности фирме, вместо того, чтобы купить отдельный сервер (не такой уж и дорогой), чтобы специалист просто формировал нужные отчеты, концентрируясь только на правильной логической структуре селекта - это оправданно только в одном случае - когда такому специалисту платят 2 бакса в час.

alex55555Вообще есть одна сущность - текущее количество денег. И по ней есть история. А уж как там отдельная операция трактуется - плевать , ибо в сумме они все дают точный результат на конкретную дату. Хотя при этом могут быть дополнительные таблицы для учёта деталей авансирования и прочих сторно/отмен, но они лишь расшифровывают смысл одной записи в таблице "счёт". То есть отчёт по счёту в большинстве случаев делается по одной таблице, а за расшифровками лезем лишь когда отчёт по некому контрагенту требует расшифровки смысла его операций, но тогда и количество операций будет небольшим, что опять не даёт нагрузку на БД.
Сразу видно "грамотного специалиста". Явно с большим опытом создания подобных отчетов...

Например, нужен очень простой с виду отчет за некоторый период:
- Покупатель
- Заказ
- Номер отгрузки (в рамках заказа)
- Дата отгрузки
- Сумма продажи (финальная, с учетом всех корректировок)
- Маржа
- Срок оплаты (дни), зафиксированный в инвойсах. (Средневзвешенный, может быть несколько разных инвойсов - предварительный, финальный, инвойсы могут быть отменены, у одного инвойса может быть несколько сроков оплаты - при этом надо учитывать только инвойсы, по которым "закрывалась" задолженность, сроки платежа, указанные в отсторнированных инвойсах, надо игнорировать)
- Фактический срок оплаты (Тоже средневзвешенный, может быть отрицательным, если была предоплата)
- Просрочка платежа (опять же - средневзвешенная только по инвойсам, по которым фактически закрывалась задолженность, отсторнированные не учитываем)

То есть вполне может быть следующая ситуация:
Выставили предварительный инвойс с двумя сроками платежа - 5 банковских дней 90% суммы и 10 % после выставления финального инвойса. Пришла оплата 90%. Потом выставили финальный инвойс с немного другой (уточненной) суммой, чем в предварительном инвойсе, по нему заплатили оставшуюся часть денег (которая не равна 10% предварительного инвойса, так как общая сумма поменялась). Еще через некоторое время покупатель выставил претензию, отсторнировали финальный инвойс и выставили новый инвойс с откорректированной (уменьшенной) суммой, но деньги не вернули, а зачли в счет оплаты по другому инвойсу и другому заказу. И для того другого инвойса сроком поступления денег необходимо считать не дату кредит ноты, которой закрыли часть задолженности, а дату фактического платежа.
Пример, кстати, реальный. )))

Расскажи, как правильно делать такой отчет без "трактовки отдельных операций"?
...
Рейтинг: 0 / 0
28.05.2019, 00:51
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39819098
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
alex55555Ты чего так возбудился?

Я про нормальную систему. И нормальных разработчиков.

Хотя да, 1с простая. А конфигурации могут быть сложными. И все остальные системы примерно такие же.
за любую другую можно посадить аналитика с питончиком, R или sas data miner, к любой другой можно подключить приличный BI инструмент. а за убогий 1с, после орма которого ничерта из базы не взять, аналитика с питончиком не посадить. BI не подключить.
...
Рейтинг: 0 / 0
28.05.2019, 09:30
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39819126
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
H5N1т. а за убогий 1с, после орма которого ничерта из базы не взять

хосподи, и эти люди запрещают ковыряться в носу

еще раз повторите свою мантру про отсутствие истории заказаов и прочую чушь
...
Рейтинг: 0 / 0
28.05.2019, 10:48
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39819160
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
s_ustinovРасскажи, как правильно делать такой отчет без "трактовки отдельных операций"?
Для начала почитай ветку и вылови в ней, почему ты в последнем посте написал херню.

Ну а потом соберись с силами, напрягись, скажи себе "надо!", ну или как ты там себя заставляешь хоть что-нибудь сделать, а потом тупо представь содержимое таблицы с данными по твоему счёту. И ты сам увидишь, если действительно умеешь заставлять себя хоть немного подумать, что суммы прекрасно считаются по одной таблице, а остальные - для фильтрации и для других показателей, как тебе и было говорено.
...
Рейтинг: 0 / 0
28.05.2019, 11:29
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39820083
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
alex55555s_ustinovРасскажи, как правильно делать такой отчет без "трактовки отдельных операций"?
Для начала почитай ветку и вылови в ней, почему ты в последнем посте написал херню.
Ну я не писал, а цитировал.
Надеюсь, "грамотный специалист" понимает разницу?

alex55555Ну а потом соберись с силами, напрягись, скажи себе "надо!", ну или как ты там себя заставляешь хоть что-нибудь сделать, а потом тупо представь содержимое таблицы с данными по твоему счёту. И ты сам увидишь, если действительно умеешь заставлять себя хоть немного подумать, что суммы прекрасно считаются по одной таблице, а остальные - для фильтрации и для других показателей, как тебе и было говорено.

Ну тебе я советовать что-то представить не буду. Бесполезно.

Лучше еще раз процитирую:
alex55555Leonid KudryavtsevПо памяти, для отчетов обычно получается очень сложная связь начисления/счета - оплаты. С учетом всяких сторнировок, отмен, авансов, зачетов авансов и прочего и прочего (как с одной так и с другой стороны).
Вообще есть одна сущность - текущее количество денег. И по ней есть история. А уж как там отдельная операция трактуется - плевать, ибо в сумме они все дают точный результат на конкретную дату. Хотя при этом могут быть дополнительные таблицы для учёта деталей авансирования и прочих сторно/отмен, но они лишь расшифровывают смысл одной записи в таблице "счёт". То есть отчёт по счёту в большинстве случаев делается по одной таблице, а за расшифровками лезем лишь когда отчёт по некому контрагенту требует расшифровки смысла его операций, но тогда и количество операций будет небольшим, что опять не даёт нагрузку на БД.
Я надеюсь, "грамотные специалисты" умеют читать?
Так вот, в сообщении Leonid Kudryavtsev говорилось про отчеты в целом. Я понимаю, что у тебя нет большого опыта создания отчетов. Поэтому просто поверь на слово - если фигурируют слова "начисления/счета - оплаты" - очень часто речь идет не только о суммах.
И часто вот тут то и вылазит "очень сложная связь".
Я надеюсь, это не слишком сложная мысль для "грамотного специалиста"?
...
Рейтинг: 0 / 0
29.05.2019, 22:31
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39820280
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
s_ustinovЯ надеюсь, "грамотные специалисты" умеют читать?
Они ещё и понимать умеют. Они отлично понимают, что ты тупо передёргиваешь. Либо от непонимания, либо намеренно - с пониманием. Последний случай безнадёжен. Ну а в первом случае ты получаешься идиотом.

Поэтому все твои "сложности с отчётами" либо бот первого (идиотизма), либо от желания нагадить. Оба случая - клинические.

ЗЫ. Для случая "идиот" всё же попробую на пальцах показать - речь шла о времени выполнения запроса (перечитай ветку), и в контексте времени выполнения роль играет именно количество данных, а если к этому количеству прикладывается десяток джойнов, которые уменьшают количество данных раз так в 100, то такой финт ушами даже ускоряет работу отчёта.
...
Рейтинг: 0 / 0
30.05.2019, 12:23
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39820544
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
alex55555ЗЫ. Для случая "идиот" всё же попробую на пальцах показать - речь шла о времени выполнения запроса (перечитай ветку), и в контексте времени выполнения роль играет именно количество данных, а если к этому количеству прикладывается десяток джойнов, которые уменьшают количество данных раз так в 100, то такой финт ушами даже ускоряет работу отчёта.
наивность дурачка просто умиляет.
а я всегда говорил что 1с это диагноз
...
Рейтинг: 0 / 0
31.05.2019, 08:07
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39820607
Фотография Megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Megabyte
Участник
s_ustinovВсе так, но вы забываете еще об одном минусе, когда OLTP и сложные отчеты "в одном флаконе".

Предположим, у нас есть:
L_argo 1С БД ок. 1Тб. 1,5тыс. конкурентных пользователей.
Сервер: 80ядер, 0,5Тб ОЗУ.
Работало временами тяжко , но лучше, чем многие тут пугают.
и в какой то не очень счастливый момент запускается 2-3 тяжелых отчета каждый на полчаса - час.
Я подозреваю, что пользователям станет не просто тяжело, а очень тяжело ...
А вы запросы не пробовали оптимизировать или архитектуру?
У нас в олтп системе вполне себе уживаются аналитика и обычная текущая работа. Конечно у разного бизнеса отчётность может отличаться. Может в вашем случае по-другому. У нас просто отчёт, который выполняется больше минуты, это уже медленный. Нагрузку на систему он не дает, так чтобы всем было тяжело. И в целом такие отчёты - это редкость и в 95% случаев они либо не оптимизированы, либо кривая изначальная архитектура данных.
...
Рейтинг: 0 / 0
31.05.2019, 10:32
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39820618
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
H5N1alex55555ЗЫ. Для случая "идиот" всё же попробую на пальцах показать - речь шла о времени выполнения запроса (перечитай ветку), и в контексте времени выполнения роль играет именно количество данных, а если к этому количеству прикладывается десяток джойнов, которые уменьшают количество данных раз так в 100, то такой финт ушами даже ускоряет работу отчёта.
наивность дурачка просто умиляет.
а я всегда говорил что 1с это диагноз

диагноз - это инфоцыгане продающие кашу из топора

кривой отчет по кривой архитектуре кладет на бок всю базу. по этому давайте рядом сделаем свалку из разного мусора с гордым именем - хранилище
...
Рейтинг: 0 / 0
31.05.2019, 10:43
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39820653
Фотография Megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Megabyte
Участник
s_ustinovПодобных запросов понадобится сделать пару - тройку десятков за несколько дней, причем заранее никто список, какие запросы будут нужны, сказать не сможет. Смотрятся данные, и по результатам осмысления формируются требования к следующему запросу.
Оптимизировать такие запросы смысла нет - они одноразовые. Готовыми агрегированными данными не воспользуешься - данные в таких разрезах никому раньше не были интересны.
И при этом некоторые из подобных запросов могут очень сильно нагрузить базу. И информации о том, будут тормоза или нет, и если будут, то какие - тоже нет - именно таких запросов к базе никто раньше не делал.

Так dwh - это некая система или просто отдельный сервер? Потому как для таких одноразовых не оптимизированных запросов можно просто копию/реплику бд сделать. Если так, то тогда у нас тоже есть dwh. :) правда именуется резервным сервером и используется только разрабами.
...
Рейтинг: 0 / 0
31.05.2019, 11:39
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39820725
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
MegabyteТак dwh - это некая система или просто отдельный сервер?
Это сложная хрень с кучей запчастей для кучи задач. И к этой хрени нужны админы и всякие разработчики-аналитики. В общем стоит дорого. И всё ради того, что бы начальник иногда мог получить некий отчёт побыстрее. Ну да с этой сторону уже Устинов всё расписал.
...
Рейтинг: 0 / 0
31.05.2019, 13:12
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39820788
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
МодальноеОкнодиагноз - это инфоцыгане продающие кашу из топора

кривой отчет по кривой архитектуре кладет на бок всю базу. по этому давайте рядом сделаем свалку из разного мусора с гордым именем - хранилище

а по мне инфоцыган тот кто херачит код не понимая что в репортинге многоблочное чтение фулсканом денормализованных данных в аналитике стандарт именно потому, что в сотни и тысячи раз быстрее джоинов.
...
Рейтинг: 0 / 0
31.05.2019, 14:33
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39820799
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mad_nazgul
Участник
H5N1а по мне инфоцыган тот кто херачит код не понимая что в репортинге многоблочное чтение фулсканом денормализованных данных в аналитике стандарт именно потому, что в сотни и тысячи раз быстрее джоинов.

grep наше всио?!
<:o)
...
Рейтинг: 0 / 0
31.05.2019, 14:54
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39820802
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
mad_nazgul
grep наше всио?!
<:o)
да. век бигдаты на дворе.
...
Рейтинг: 0 / 0
31.05.2019, 14:58
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39820807
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
H5N1mad_nazgulgrep наше всио?!
<:o)
да. век бигдаты на дворе.

скорее век проходимцев
...
Рейтинг: 0 / 0
31.05.2019, 15:07
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39820879
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
alex55555s_ustinovЯ надеюсь, "грамотные специалисты" умеют читать?
Они ещё и понимать умеют. Они отлично понимают, что ты тупо передёргиваешь. Либо от непонимания, либо намеренно - с пониманием. Последний случай безнадёжен. Ну а в первом случае ты получаешься идиотом.

Поэтому все твои "сложности с отчётами" либо бот первого (идиотизма), либо от желания нагадить. Оба случая - клинические.

Может, "грамотные специалисты" к своим измышлениям еще и цитаты умеют приводить, которые подкрепляют их утверждения?

alex55555ЗЫ. Для случая "идиот" всё же попробую на пальцах показать - речь шла о времени выполнения запроса (перечитай ветку), и в контексте времени выполнения роль играет именно количество данных, а если к этому количеству прикладывается десяток джойнов, которые уменьшают количество данных раз так в 100 , то такой финт ушами даже ускоряет работу отчёта.

Извините, а вы точно умеете на SQL запросы писать?

Я вам немного расскажу про джойны. На пальцах, чтобы даже “грамотному специалисту” было понятно.
В OLTP системах джойны действительно часто (но не всегда!) приводят к уменьшению количества данных. (Кстати, если умеете читать - рекомендую начать с прочтения статей в википедии, для вашего уровня будет очень полезно. Например, прочтите вот эту статью: https://ru.wikipedia.org/wiki/OLTP)
Но в аналитических запросах джойны обычно приводят к совсем другим результатам.

Рассмотрим очень простой пример, который будет понятен даже “грамотному специалисту”.
Предположим, у нас есть:
- Отгрузки (30000 строк)
- Инвойсы (20000 строк)
- Платежи (10000 строк)
И две вспомогательных таблицы для связей многие ко многим между отгрузками и инвойсами и между инвойсами и платежами.

У каждой отгрузки есть как минимум один инвойс, но бывает и два и три. В среднем - два инвойса на отгрузку.
У каждого инвойса как минимум один платеж, но бывает и 2 оплаты. В среднем - 1,2 оплаты на инвойс.
Каждая оплата относится как минимум к одному инвойсу, но чаще одна оплата относится к 2-3 инвойсам. В среднем - одна оплата на 2 инвойса.

И вот предположим нам надо узнать, какими платежами оплачены каждая из отгрузок.
Делаем четыре (всего четыре, не десять!!!) джойна - соединяем отгрузки с инвойсами, которые выставлены по этим отгрузкам, а инвойсы в свою очередь соединяем с платежами, которые закрывают инвойсы.
И у нас, в результате, будет примерно 30000 * 2 * 1,2 = 72000 строк. Не меньше, а БОЛЬШЕ , чем в каждой из "исходных" таблиц - отгрузок и платежей.
...
Рейтинг: 0 / 0
31.05.2019, 16:41
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39820917
Ares_ekb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ares_ekb
Участник
s_ustinov,

не понятно к чему этот пример. Если все данные будут лежать в одной таблице, то строк будет меньше?

Смысл в высокой степени нормализации данных в хранилищах такой:

1) Устойчивость схемы данных. При изменении схемы данных OLTP в DWH только добавляются таблицы, но не изменяются и не удаляются - старые данные никак не затрагиваются.

2) Возможность гармонизировать между собой очень разнородные схемы данных OLTP. Те же сведения об организациях, товарах и т.п. могут иметь разную структуру в разных системах. А в DWH можно всё это свести, если использовать 6НФ.

3) Производительность. Важно не только сколько строк, но и сколько столбцов. Если для запроса не нужны абсолютно все столбцы, то объём данных меньше. А если ещё используются колоночное хранение, то совсем зашибись.
...
Рейтинг: 0 / 0
31.05.2019, 17:32
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39820935
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
Megabytes_ustinovВсе так, но вы забываете еще об одном минусе, когда OLTP и сложные отчеты "в одном флаконе".

Предположим, у нас есть:
пропущено...

и в какой то не очень счастливый момент запускается 2-3 тяжелых отчета каждый на полчаса - час.
Я подозреваю, что пользователям станет не просто тяжело, а очень тяжело ...
А вы запросы не пробовали оптимизировать или архитектуру?
У нас в олтп системе вполне себе уживаются аналитика и обычная текущая работа. Конечно у разного бизнеса отчётность может отличаться. Может в вашем случае по-другому. У нас просто отчёт, который выполняется больше минуты, это уже медленный. Нагрузку на систему он не дает, так чтобы всем было тяжело. И в целом такие отчёты - это редкость и в 95% случаев они либо не оптимизированы, либо кривая изначальная архитектура данных.
Кривая архитектура данных у подавляющего большинства систем.
И очень часто архитектуру данных править нет и смысла, и возможностей. Ну вот написали так разработчики тиражной системы лет 20 назад.

Сложные отчеты могут считаться долго. И даже "выправление" структуры данных не особо поможет - банально большой объем вычислений.
Да, можно делать отдельные таблички для промежуточных результатов, ночами пересчитывать данные и записывать в эти таблички, попутно чистить данные от косяков и т.д. - но зачем это делать на том же сервере СУБД, что и OLTP система? Чтобы они конфликтовали между собой за ресурсы?
А если вынести на отдельный сервер - это и будет DWH.
...
Рейтинг: 0 / 0
31.05.2019, 17:48
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39820938
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
Megabytes_ustinovПодобных запросов понадобится сделать пару - тройку десятков за несколько дней, причем заранее никто список, какие запросы будут нужны, сказать не сможет. Смотрятся данные, и по результатам осмысления формируются требования к следующему запросу.
Оптимизировать такие запросы смысла нет - они одноразовые. Готовыми агрегированными данными не воспользуешься - данные в таких разрезах никому раньше не были интересны.
И при этом некоторые из подобных запросов могут очень сильно нагрузить базу. И информации о том, будут тормоза или нет, и если будут, то какие - тоже нет - именно таких запросов к базе никто раньше не делал.

Так dwh - это некая система или просто отдельный сервер? Потому как для таких одноразовых не оптимизированных запросов можно просто копию/реплику бд сделать. Если так, то тогда у нас тоже есть dwh. :) правда именуется резервным сервером и используется только разрабами.
Мое мнение - во многих случаях такого DWH вполне достаточно. Просто отдельный сервер с репликой базы, где выполняются сложные отчеты.
Правда, потом может понадобиться хранить данные в очищенном виде, в более правильной структуре, с расчетом некоторых промежуточных результатов - и постепенно появится "настоящий" DWH.
...
Рейтинг: 0 / 0
31.05.2019, 17:52
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821013
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
Ares_ekbs_ustinov,

не понятно к чему этот пример. Если все данные будут лежать в одной таблице, то строк будет меньше?

Смысл в высокой степени нормализации данных в хранилищах такой:

1) Устойчивость схемы данных. При изменении схемы данных OLTP в DWH только добавляются таблицы, но не изменяются и не удаляются - старые данные никак не затрагиваются.

2) Возможность гармонизировать между собой очень разнородные схемы данных OLTP. Те же сведения об организациях, товарах и т.п. могут иметь разную структуру в разных системах. А в DWH можно всё это свести, если использовать 6НФ.

3) Производительность. Важно не только сколько строк, но и сколько столбцов. Если для запроса не нужны абсолютно все столбцы, то объём данных меньше. А если ещё используются колоночное хранение, то совсем зашибись.
Нет, пример не к тому, чтобы хранить все в одной таблице.
Мне самому больше нравится работать с данными в высоких формах нормализации.

Пример к тому, что объемы вычислений в аналитических запросах могут быть очень большими . И такие запросы могут очень негативно сказаться на работе OLTP приложения.

Если в том примере посчитать использование оборотных средств по заказам покупки / продажи, то при примерно похожих количествах поступлений, инвойсов закупки и платежей поставщикам количество строк для обработки в результате джойнов легко вырастает до нескольких миллионов. А ведь самих операций в этом условном примере мало - десятки тысяч строк.

А если данных побольше - там количество строк после соединений легко превысит несколько миллиардов. И нагрузка на сервер БД будет очень существенной.
...
Рейтинг: 0 / 0
31.05.2019, 20:54
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821098
Фотография Megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Megabyte
Участник
s_ustinovКривая архитектура данных у подавляющего большинства систем.
И очень часто архитектуру данных править нет и смысла, и возможностей. Ну вот написали так разработчики тиражной системы лет 20 назад.

Да, Кривая архитектура - это частое явление. Но это же не значит, что её не надо исправлять... Потихоньку, кусочками. Другое дело, если нет возможности исправить.
Я вижу необходимость отдельного сервера под хранилище, если надо действительно оперировать большими объёмами данных за одну выгрузку, притом чтобы не мешать текущей работе. И то тут тоже есть варианты оптимизации вроде промежуточных расчетов и агрегаций.
...
Рейтинг: 0 / 0
01.06.2019, 10:22
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821118
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
MegabyteЯ вижу необходимость отдельного сервера под хранилище, если надо действительно оперировать большими объёмами данных за одну выгрузку, притом чтобы не мешать текущей работе. И то тут тоже есть варианты оптимизации вроде промежуточных расчетов и агрегаций.
Из моей практики, когда пишешь отчеты для целей анализа - регулярно сталкиваешься с большими объемами. То есть 10-20 отчетов быстрые и легкие, а потом бац - и очередной отчет на пол часа грузит систему...

Варианты оптимизации, разумеется, есть. Но главный вопрос - зачем?
Отдельный сервер для отчетов может быть не особо мощным (и не очень дорогим). Настроить асинхронную реплику базы - пара дней. И после этого можно вообще не беспокоиться о возможном влиянии отчетов на рабочую систему. Отчет в худшем случае положит сервер отчетов, но никак не затронет рабочую систему. С моей точки зрения - овчинка стоит выделки.
...
Рейтинг: 0 / 0
01.06.2019, 13:09
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821142
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
H5N1а по мне инфоцыган тот кто херачит код не понимая что в репортинге многоблочное чтение фулсканом денормализованных данных в аналитике стандарт именно потому, что в сотни и тысячи раз быстрее джоинов.
У тебя видать представления о работе бд как у Устинова, почитай ниже, что я ему напишу.
...
Рейтинг: 0 / 0
01.06.2019, 15:58
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821143
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
s_ustinovИ у нас, в результате, будет примерно 30000 * 2 * 1,2 = 72000 строк. Не меньше, а БОЛЬШЕ , чем в каждой из "исходных" таблиц - отгрузок и платежей.
Для начала скажи мне - ты хоть раз слышал фразу "план выполнения запроса"? Если нет, тогда можешь и дальше бегать и прыгать от радости полного непонимания проблемы.
...
Рейтинг: 0 / 0
01.06.2019, 16:00
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821147
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
s_ustinovПример к тому, что объемы вычислений в аналитических запросах могут быть очень большими . И такие запросы могут очень негативно сказаться на работе OLTP приложения.
Это один момент.
s_ustinovА если данных побольше - там количество строк после соединений легко превысит несколько миллиардов. И нагрузка на сервер БД будет очень существенной.
А это уже принципиально другой момент. И ты, очевидно, разницы между ними не понимаешь. Вот поэтому тебе и кажется, что улучшить ничего нельзя. Но я тебе по секрету скажу - улучшить можно. То есть в переводе на русский язык "попроще" - ты реально не стоишь тех денег, которые тебе зачем-то платит твой работодатель. Ты тупо не даёшь ему улучшить его систему, заявляя про невозможность улучшения и приводя в качестве аргумента идиотские рассуждения про миллиарды строк.

Миллиарды получаются только тогда, когда пейсатель запросов не понимает, как работает БД. И вот твой пример как раз нам это дело ярко демонстрирует. Ты высосал из пальца эти миллиарды только лишь потому, что не понимаешь, как от них избавиться. Ну и начальству пропихиваешь эти теории, сервера дополнительные, софт дорогой, репликации, обслугу к этому всему, себя в качестве аналитика... В общем куча лишних затрат из-за непонимания того, что реально можно сделать.
...
Рейтинг: 0 / 0
01.06.2019, 16:05
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821204
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
alex55555s_ustinovПример к тому, что объемы вычислений в аналитических запросах могут быть очень большими . И такие запросы могут очень негативно сказаться на работе OLTP приложения.
Это один момент.
s_ustinovА если данных побольше - там количество строк после соединений легко превысит несколько миллиардов. И нагрузка на сервер БД будет очень существенной.
А это уже принципиально другой момент. И ты, очевидно, разницы между ними не понимаешь. Вот поэтому тебе и кажется, что улучшить ничего нельзя. Но я тебе по секрету скажу - улучшить можно. То есть в переводе на русский язык "попроще" - ты реально не стоишь тех денег, которые тебе зачем-то платит твой работодатель. Ты тупо не даёшь ему улучшить его систему, заявляя про невозможность улучшения и приводя в качестве аргумента идиотские рассуждения про миллиарды строк.

Миллиарды получаются только тогда, когда пейсатель запросов не понимает, как работает БД. И вот твой пример как раз нам это дело ярко демонстрирует. Ты высосал из пальца эти миллиарды только лишь потому, что не понимаешь, как от них избавиться. Ну и начальству пропихиваешь эти теории, сервера дополнительные, софт дорогой, репликации, обслугу к этому всему, себя в качестве аналитика... В общем куча лишних затрат из-за непонимания того, что реально можно сделать.
Ооооо...
"Грамотный специалист" почитал википедию...

А вот про соединения таблиц, видать, "ниасилил"...

Ты не стесняйся, детально расскажи, как избавиться от миллиардов строк. Я так понимаю, речь идет о секретной технологии "к этому количеству прикладывается десяток джойнов, которые уменьшают количество данных раз так в 100"?

Можешь для примера взять описанную мной задачу - для торговой фирмы посчитать фактическую потребность в оборотных средствах для каждого заказа (покупки или продажи) за несколько лет. Это тот самый пример, который по моим расчетам для компании со средним количеством операций покупок / продаж (сотни тысяч в год) может потребовать обработки миллиардов строк.
Продемонстрируй нам свои глубокие знания "как работает БД". ))
...
Рейтинг: 0 / 0
01.06.2019, 22:29
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821282
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
s_ustinovТы не стесняйся, детально расскажи, как избавиться от миллиардов строк. Я так понимаю, речь идет о секретной технологии "к этому количеству прикладывается десяток джойнов, которые уменьшают количество данных раз так в 100"?

Можешь для примера взять описанную мной задачу - для торговой фирмы посчитать фактическую потребность в оборотных средствах для каждого заказа (покупки или продажи) за несколько лет. Это тот самый пример, который по моим расчетам для компании со средним количеством операций покупок / продаж (сотни тысяч в год) может потребовать обработки миллиардов строк.
Продемонстрируй нам свои глубокие знания "как работает БД". ))
Давай я тебе даже чуть подробнее опишу ситуацию, а то есть у меня ощущение, что такой "грамотный специалист" в лучшем случае с парой ларьков работал. )))

Потребность в оборотном капитале - это когда ты заплатил 5 числа поставщику 10000, а 23 числа получил от покупателя 11000. И вот на эти 18 дней (23-5) тебе нужно где то взять 10000. И, разумеется, скорее всего платить за каждый день использования. То есть на эту сделку тебе надо 18 * 10000 = 180000 деньго*дней. Надеюсь, не сильно сложно для "грамотного специалиста" объясняю?
В реальной жизни обычно делают не один платеж поставщику, а много - поставщику, аренда контейнера, перевозка, хранение, растаможка и т.д.

Предположим, ситуация:
Стоит задача найти за пять лет 200 самых лучших отгрузок по показателю:
Маржа / Использованный оборотный капитал
Маржа у нас выручка минус себестоимость. Использованный оборотный капитал - деньго*дни.
Это я специально для "грамотного специалиста" повторяю. )))
2000 отгрузок в день. Считаем, что рабочих дней 300 в год.
Каждая отгрузка - 15 позиций, примерно треть из них из разных партий - 20 партий в отгрузке.
Итого за год - 2000 * 20 * 300 = 12'000'000 (двенадцать миллионов отгрузок разных партий).
За пять лет - 60 миллионов.
20% отгрузок - две оплаты (аванс + оплата).
По каждой партии товара 15 платежей поставщикам (тоже часть с авансовыми платежами).
Итого 60'000'000 * 1,2 * 15 = 1'080'000'000 строк (чуть больше миллиарда).


Расскажи нам всем, "что реально можно сделать", как избавиться от обработки этого миллиарда строк. Продемонстрируй знание "как работает БД".
...
Рейтинг: 0 / 0
02.06.2019, 12:18
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821289
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
Хотя нет, с заказами там действительно легко уменьшить количество строк именно для этой задачи.
Я по привычке для таких вещей считаю строчки фактов для куба.
Например, другой запрос - вывести покупателя, поставщика, товарную группу, маржу по покупателю в целом (будет дублироваться в нескольких строках) и использованный оборотный капитал.
...
Рейтинг: 0 / 0
02.06.2019, 12:54
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821375
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
s_ustinovТы не стесняйся, детально расскажи, как избавиться от миллиардов строк. Я так понимаю, речь идет о секретной технологии "к этому количеству прикладывается десяток джойнов, которые уменьшают количество данных раз так в 100"?
Твой узбекский метод вытягивания знаний (которых ты, понятно, не имеешь) меня ни разу не удивляет. А потому совсем спокойно тебе, глупышке, объясняю - если хочешь повысить скилл, то в первую очередь учись искать информацию. А во вторую очередь - учись вежливости при общении с грамотными специалистами. Первое они тоже будут проверять, так что одно без другого не работает.

И вот когда научишься, вот тогда с тобой будут разговаривать о деле, а не о глупостях.

ЗЫ. Начни хотя бы с тривиальной фильтрации, может хоть как-то начнёшь понимать азы.
...
Рейтинг: 0 / 0
02.06.2019, 19:49
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821376
alex55555
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex55555
Участник
s_ustinovНапример, другой запрос - вывести покупателя, поставщика, товарную группу, маржу по покупателю в целом (будет дублироваться в нескольких строках) и использованный оборотный капитал.
Вот это, возможно, если схема данных убогая и ты в не не создал нужных вещей, может потребовать fullscan, но для начала я бы хотел, что бы ты продемонстрировал понимание - почему этот случай отличается от случай, когда я говорил про 100-кратное сокращение.
...
Рейтинг: 0 / 0
02.06.2019, 19:51
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821665
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
alex55555s_ustinovНапример, другой запрос - вывести покупателя, поставщика, товарную группу, маржу по покупателю в целом (будет дублироваться в нескольких строках) и использованный оборотный капитал.
Вот это, возможно, если схема данных убогая и ты в не не создал нужных вещей, может потребовать fullscan, но для начала я бы хотел, что бы ты продемонстрировал понимание - почему этот случай отличается от случай, когда я говорил про 100-кратное сокращение.
О, уже нашлась причина - "схема данных убогая".
Ну так расскажи нам про хорошую схему данных применительно к этой задаче.
Но внутренний голос мне подсказывает, что и тут что то тебе помешает.
А если бы в танцоры пошел?
YouTube Video
YouTube Video
...
Рейтинг: 0 / 0
03.06.2019, 13:56
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821701
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
alex55555..Вот это, возможно, если схема данных убогая....
Давайте подойдем филосовски: "а бывают ли НЕ убогие схемы данных?"

На мой взгляд, ответ будет "нет" ))). Т.к. любая схема проектируется под задачу и чем схема оптимальнее для одних задачь, тем будет менее оптимальна для других. Что на мой взгляд аксиома (вещь ясная и не требующая доказательств).

А задачи бывают разные и все время появляются новые. Таким образом, при возникновении новой задачи, любая супер-пупер-оптимальная схема, тут же становится супер-пупер убогой. Просто по определению ))).

Схемы оптимально "заточенные" под удобный интерфейс (OLTP, а OLTP все таки на 90% это интерфейс и только на 10% какая-то относительно банальная бизнес логика), будут не удобны для отчетов. Схемы удобные для поиска и отчетов, будут неудобны для OLTP.

Т.ч. на мой взгляд, спор бесмысленный.

Если у кого-то схема более-менее оптимальна - честь и хвала
Если кому-то приходится работать с "убогой" - думаю в 70% случаев это осталось по наследству, в 20% вызвано какими-то достаточно значимыми фактами о которых мы не знаем и лишь в 5-10% случаев вызванно природной склонностью к мазохизму )))
Ares_ekbв высокой степени нормализации данных в хранилищах
????

Я всегда думал, что в хранилищах как раз обычно данные часто ДЕнормализируют. Банальная звезда (снежинка), когда все джоны сведены к минимому уровней вложенности.

В OLTP сильно денормализовать не получается, т.к. если пойдет противоречие данных (например разойдется сумма оплаты на счете с суммами на платежах) - придет меховой зверек.

s_ustinovпро хорошую схему данных применительно к этой задаче
Элементарно! Одно табличка, колонки которой точно совпадают с колонками в результирующем отчете.

А вот откуда там появятся данные в таком формате... "моя специализация — стратегический консалтинг" ( С )
...
Рейтинг: 0 / 0
03.06.2019, 14:34
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821724
Ares_ekb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ares_ekb
Участник
Leonid Kudryavtsev,

это всякие дурацкие витрины данных по Кимбаллу денормализуют. По Инмону, Data Vault'ам и т.п. всё должно быть нормализовано, причём, даже сильнее, чем OLTP.
...
Рейтинг: 0 / 0
03.06.2019, 14:56
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821798
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
Ares_ekbLeonid Kudryavtsev,

это всякие дурацкие витрины данных по Кимбаллу денормализуют. По Инмону, Data Vault'ам и т.п. всё должно быть нормализовано, причём, даже сильнее, чем OLTP.
дата волт предполагает поверх самих вольтов те же самые денормализованные витрины.
...
Рейтинг: 0 / 0
03.06.2019, 16:11
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821826
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
Вот, кстати, обратная сторона некоторых оптимизаций:
https://www.sql.ru/forum/1313252/dannye-v-kube-i-vo-vu-ne-sovpadaut

С таким сталкиваешься редко, но крови может попить...
...
Рейтинг: 0 / 0
03.06.2019, 16:38
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821843
Ares_ekb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ares_ekb
Участник
Ivan Durak,

да, но это уже поверх. Мы на одном проекте делаем модель данных, правда не хранения, а обменную (иногда называют канонической). В ней тыщи элементов и типов. Каждый документируется как самостоятельная сущность. И на основе этой модели фигачим структуры электронных документов (или наборы сведений - по смыслу это аналог витрин данных). Я из этой модели генерил схемы хранения данных разной степени нормализации:

YouTube Video
YouTube Video
...
Рейтинг: 0 / 0
03.06.2019, 16:58
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821856
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
авторда, но это уже поверх.
ну так это везде "поверх". И у Инмона "поверх", и у Кимбала это "поверх" фактов. И в любом dwh где с одной стороны сырые данные, а с другой аналитика - будут витрины "поверх"
...
Рейтинг: 0 / 0
03.06.2019, 17:20
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821870
Ares_ekb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ares_ekb
Участник
Ivan Durak,

всё-таки это разные подходы. Одно дело когда мы по Кимбаллу просто собираем много разрозненных кучек данных, нужных для конкретных отчетов. Это даже сложно назвать хранилищем данных. При этом совершенно не факт, что данные в исходных OLTP были сильно нормализованные. "Единость" хранилища тут только в том, что снежинки просто сложены в одну кучку. Там никакой гармонизации исходных данных, никакого долговременного хранения. Со временем такое хранилище будет только захламляться.

И совершенно другое дело, когда мы по Инмону гармонизирует исходные базы данных. Тут необходима сильная нормализация данных. И это действительно долговременное хранилище. На котором уже можно делать витрины и аналитику.

Т.е. у Кимбалла основной акцент на аналитике, а не на хранилище.
...
Рейтинг: 0 / 0
03.06.2019, 17:49
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821928
vitkhv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vitkhv
Участник
H5N11с с его историей в виде "версионных документов" .

А что не так в 1С с версионностью? А то уже несколько раз от вас в этом топике слышу про убогую версионность от 1С. Аж любопытно стало.
...
Рейтинг: 0 / 0
03.06.2019, 20:04
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39821955
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
vitkhvH5N11с с его историей в виде "версионных документов" .

А что не так в 1С с версионностью? А то уже несколько раз от вас в этом топике слышу про убогую версионность от 1С. Аж любопытно стало.
В 1С есть перепроведение...
Кроме того, там таблички выглядят... Одним словом - лучше на них не смотреть. :)
...
Рейтинг: 0 / 0
03.06.2019, 20:59
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822104
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
Ares_ekbIvan Durak,
всё-таки это разные подходы. Одно дело когда мы по Кимбаллу просто собираем много разрозненных кучек данных, нужных для конкретных отчетов. Это даже сложно назвать хранилищем данных. При этом совершенно не факт, что данные в исходных OLTP были сильно нормализованные. "Единость" хранилища тут только в том, что снежинки просто сложены в одну кучку. Там никакой гармонизации исходных данных, никакого долговременного хранения. Со временем такое хранилище будет только захламляться.
чушь, и у Кимбала в методологии естественно присутствует и гармонизация данных и связь их между собой. "conformed dimensions" это кака раз его термин
...
Рейтинг: 0 / 0
04.06.2019, 09:59
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822117
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
s_ustinovvitkhvпропущено...


А что не так в 1С с версионностью? А то уже несколько раз от вас в этом топике слышу про убогую версионность от 1С. Аж любопытно стало.
В 1С есть перепроведение...
Кроме того, там таблички выглядят... Одним словом - лучше на них не смотреть. :)

содержательно....



и это наши мозговые аристократы
...
Рейтинг: 0 / 0
04.06.2019, 10:22
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822124
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
МодальноеОкносодержательно....



и это наши мозговые аристократы
можешь показать бессодержательным как в 1с упп вытащить список товаров заказа, которые были до стадии согласование, но были удалены к стадии отгрузка ?
...
Рейтинг: 0 / 0
04.06.2019, 10:26
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822141
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
H5N1МодальноеОкносодержательно....



и это наши мозговые аристократы
как в 1с упп вытащить список товаров заказа, которые были до стадии согласование, но были удалены к стадии отгрузка ?

запросом. не хватает мозга самим - позовите 1с-ника
...
Рейтинг: 0 / 0
04.06.2019, 10:50
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822155
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
МодальноеОкнозапросом. не хватает мозга самим - позовите 1с-ника
так покажи запрос. задача ж на три минуты, верно ?
...
Рейтинг: 0 / 0
04.06.2019, 11:00
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822162
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
H5N1задача ж на три минуты, верно ?


какой дешевый трюк - самому придумать, а потом собственную выдумку опрокидывать
...
Рейтинг: 0 / 0
04.06.2019, 11:04
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822166
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
вас вроде внятно спросили - что за версионность про которую вы тут всем затираете

в ответ начинается какая-то дичь про перепроведение и таблицы
...
Рейтинг: 0 / 0
04.06.2019, 11:09
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822169
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
МодальноеОкноs_ustinovпропущено...

В 1С есть перепроведение...
Кроме того, там таблички выглядят... Одним словом - лучше на них не смотреть. :)

содержательно....



и это наши мозговые аристократы
А что ещё объяснять?
Есть документ с номером и датой и некоторыми цифрами.
Через некоторое время внезапно у документа с тем же номером и датой цифры меняются. И надо такие ситуации отслеживать и правильно на них реагировать.
...
Рейтинг: 0 / 0
04.06.2019, 11:12
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822177
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
s_ustinovЧерез некоторое время внезапно у документа с тем же номером и датой цифры меняются.

и причем тут 1с как таковая?

таковы возможности РСБУ - в рамках как минимум квартала бухгалтер может перепроводить период хоть до посинения

опять же корректное фифо как вы организуете если документы на доп. расходы пришли через неделю после поступления

чтобы он этого не делал в закрытом периоде - есть дата запрета редактирования
...
Рейтинг: 0 / 0
04.06.2019, 11:25
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822210
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
МодальноеОкноs_ustinovЧерез некоторое время внезапно у документа с тем же номером и датой цифры меняются.

и причем тут 1с как таковая?

таковы возможности РСБУ - в рамках как минимум квартала бухгалтер может перепроводить период хоть до посинения

опять же корректное фифо как вы организуете если документы на доп. расходы пришли через неделю после поступления

чтобы он этого не делал в закрытом периоде - есть дата запрета редактирования
Например в навике при поступлении доп расходов создаются дополнительные записи (с новым номером записи) которые корректируют цифры себестоимости. Старые записи при этом не удаляются.
Собственно, все корректировки можно так делать.
...
Рейтинг: 0 / 0
04.06.2019, 12:04
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822260
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
s_ustinovМодальноеОкнопропущено...


и причем тут 1с как таковая?

таковы возможности РСБУ - в рамках как минимум квартала бухгалтер может перепроводить период хоть до посинения

опять же корректное фифо как вы организуете если документы на доп. расходы пришли через неделю после поступления

чтобы он этого не делал в закрытом периоде - есть дата запрета редактирования
Например в навике при поступлении доп расходов создаются дополнительные записи (с новым номером записи) которые корректируют цифры себестоимости. Старые записи при этом не удаляются.
Собственно, все корректировки можно так делать.

так доп. расход - такая же доп. запись которая увеличивает стоимость поступления.

а в навике доп расход умеет всю цепочку пересчитывать? все производство и реализации по этой партии?
...
Рейтинг: 0 / 0
04.06.2019, 13:13
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822268
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
МодальноеОкноs_ustinovпропущено...

Например в навике при поступлении доп расходов создаются дополнительные записи (с новым номером записи) которые корректируют цифры себестоимости. Старые записи при этом не удаляются.
Собственно, все корректировки можно так делать.

так доп. расход - такая же доп. запись которая увеличивает стоимость поступления.

а в навике доп расход умеет всю цепочку пересчитывать? все производство и реализации по этой партии?
Да - по всей цепочке создаются дополнительные корректировки себестоимости.
...
Рейтинг: 0 / 0
04.06.2019, 13:29
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822271
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
МодальноеОкноа в навике доп расход умеет всю цепочку пересчитывать? все производство и реализации по этой партии?А его не надо пересчитывать. Оно всегда считается на лету по вычисляемым полям (SIFT).
...
Рейтинг: 0 / 0
04.06.2019, 13:33
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822287
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
L_argoМодальноеОкноа в навике доп расход умеет всю цепочку пересчитывать? все производство и реализации по этой партии?А его не надо пересчитывать. Оно всегда считается на лету по вычисляемым полям (SIFT).
Надо.
Не считается оно на лету.
Есть специальное задание, его запуск обычно на ночь настраивают.
...
Рейтинг: 0 / 0
04.06.2019, 13:54
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822292
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
L_argo,
вот здесь можно почитать:
https://docs.microsoft.com/en-us/dynamics-nav-app/design-details-cost-adjustment

Вроде действительно есть опция автоматического обновления себестоимости:
Automatically, by adjusting costs every time that you post an inventory transaction, and when you finish a production order. The cost adjustment is only run for the specific item or items affected by the posting. This is set up when you select the Automatic Cost Adjustment check box in the Inventory Setup window.
Но её включать - плохая идея.
Разносишь расходы по инвойсу от поставщика услуг на пару тысяч товарных операций. А после них еще цепочки из 10-15 шагов. И постинг инвойса будет идти несколько минут (десятков минут). Со всеми вытекающими в виде блокировок.
...
Рейтинг: 0 / 0
04.06.2019, 14:03
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822312
vitkhv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vitkhv
Участник
s_ustinovА что ещё объяснять?
Есть документ с номером и датой и некоторыми цифрами.
Через некоторое время внезапно у документа с тем же номером и датой цифры меняются. И надо такие ситуации отслеживать и правильно на них реагировать.

т.е. я правильно понимаю, что не нравится сам принцип? Когда документ изменяем и перепроводим, создается новая версия этого документа, а старая уходит в специальные таблички, в которых мы всегда можем посмотреть, что с этим документом происходило, и всегда можем вернуться на старую версию .
...
Рейтинг: 0 / 0
04.06.2019, 14:21
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822340
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
vitkhvs_ustinovА что ещё объяснять?
Есть документ с номером и датой и некоторыми цифрами.
Через некоторое время внезапно у документа с тем же номером и датой цифры меняются. И надо такие ситуации отслеживать и правильно на них реагировать.

т.е. я правильно понимаю, что не нравится сам принцип? Когда документ изменяем и перепроводим, создается новая версия этого документа, а старая уходит в специальные таблички, в которых мы всегда можем посмотреть, что с этим документом происходило, и всегда можем вернуться на старую версию .
Да, скорее сам принцип.
Я с механизмом версий на практике не работал. Когда с 1С работал, вообще все плохо было: "Океания воевала с Остазией: Океания всегда воевала с Остазией."
Бесило сильно.
С версиями наверно получше - можно хоть следы найти. Но не нравится мне сама идея перепроведения.

Я вообще считаю, что в учётных и ерп системах апдейтов и делейтов не должно быть - только селекты и инсерты. :)
...
Рейтинг: 0 / 0
04.06.2019, 15:22
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822342
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
s_ustinovЯ вообще считаю, что в учётных и ерп системах апдейтов и делейтов не должно быть - только селекты и инсерты. :)
Чудится в этом высказывании секта свидетелей Postres
...
Рейтинг: 0 / 0
04.06.2019, 15:33
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822352
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
vitkhvт.е. я правильно понимаю, что не нравится сам принцип? Когда документ изменяем и перепроводим, создается новая версия этого документа, а старая уходит в специальные таблички, в которых мы всегда можем посмотреть, что с этим документом происходило, и всегда можем вернуться на старую версию .
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
	Result = DataHistory.SelectVersions(
		New Structure(
			""Data, DataChangeType"", 
			Parameters.Data,
			ExcludeDeleted), 
		""VersionNumber"", 
		""VersionNumber Desc"",
		1);
представь каким аналом пришлось бы заняться что бы достать удаленные из заказа товары. по сути она у 1с ни на что более чем посмотреть что за гад менял объект не предназначена.
...
Рейтинг: 0 / 0
04.06.2019, 15:42
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822362
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
softwarers_ustinovЯ вообще считаю, что в учётных и ерп системах апдейтов и делейтов не должно быть - только селекты и инсерты. :)
Чудится в этом высказывании секта свидетелей Postres
Ну ведь можно же помечтать...
Селекты, инсерты и все в 6НФ ну или как минимум в НФБК и, разумеется, Serializable... Причем везде Serializable! :))

Самое интересное - это может работать быстро.
Для интерфейсов, чтобы лишний раз не собирать данные с помощью десятков джойнов - использовать материализованные представления. Главное не переборщить. Да и если отказаться от апдейтов и делейтов - это многое упрощает.
И инсерты, если правильно написать, сильно тормозить не должны...
Я вообще подозреваю, что так будет в целом быстрее система работать.
...
Рейтинг: 0 / 0
04.06.2019, 16:01
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822377
vitkhv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vitkhv
Участник
H5N1vitkhvт.е. я правильно понимаю, что не нравится сам принцип? Когда документ изменяем и перепроводим, создается новая версия этого документа, а старая уходит в специальные таблички, в которых мы всегда можем посмотреть, что с этим документом происходило, и всегда можем вернуться на старую версию .
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
	Result = DataHistory.SelectVersions(
		New Structure(
			""Data, DataChangeType"", 
			Parameters.Data,
			ExcludeDeleted), 
		""VersionNumber"", 
		""VersionNumber Desc"",
		1);
представь каким аналом пришлось бы заняться что бы достать удаленные из заказа товары. по сути она у 1с ни на что более чем посмотреть что за гад менял объект не предназначена.

Ну вот не надо ерунду говорить.
И товары достаются и версии строк в ТЧ товаров между собой прекрасно сравниваются. И восстановить версию можно без проблем. И хранятся версии компактно т.к. хранится только разница, а не полностью вся версия . Плюс сейчас это делается сборщиком в определенное время.

Вот старый механизм хранения версий имел проблемы т.к. всегда сохранялась полная версия, без каких либо проверок на изменения, соответсвенно пухла таблица версий. И в старом механизме версия сохранялась сразу, поэтому имелись проблемы с производительностью.

Я вот часто слышу про 1С устаревшую информацию, люди когда то познакомились с 1С 7.7 и думают, что все так до сих пор. Изливая свое невежество на форумах, особенно на этом. Выглядит это - честно говоря не профессионально
...
Рейтинг: 0 / 0
04.06.2019, 16:29
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822389
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
vitkhvНу вот не надо ерунду говорить.
И товары достаются и версии строк в ТЧ товаров между собой прекрасно сравниваются.
т.е. для простого вопроса тебе придется в цикле открывать каждую версию объекта и это прекрасно?
а потом 1с-ники плачут что у них зп на уровне посудомойки.
...
Рейтинг: 0 / 0
04.06.2019, 16:45
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822401
vitkhv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vitkhv
Участник
H5N1vitkhvНу вот не надо ерунду говорить.
И товары достаются и версии строк в ТЧ товаров между собой прекрасно сравниваются.
т.е. для простого вопроса тебе придется в цикле открывать каждую версию объекта и это прекрасно?
а потом 1с-ники плачут что у них зп на уровне посудомойки.

Зачем мне в цикле (или запросом) открывать каждую версию объекта, цель в этом в этом какая? Что мне искать в куче версий?
Обычно сравниваются две версии между собой, методом ПолучитьРазличияВерсий, который тебе сразу выдает всю историю изменений по объекту.

У меня ЗП далеко не на уровне посудомойки, у меня задач по оптимизации на целых на два месяца вперед.
А то что у многих 1С ников ЗП на уровне посудомойки так это их проблемы, т.к. не хотят развиваться.
...
Рейтинг: 0 / 0
04.06.2019, 17:02
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822408
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
vitkhvЗачем мне в цикле (или запросом) открывать каждую версию объекта, цель в этом в этом какая? Что мне искать в куче версий?
Обычно сравниваются две версии между собой, методом ПолучитьРазличияВерсий, который тебе сразу выдает всю историю изменений по объекту.

в третий раз: "как в 1с упп вытащить список товаров заказа, которые были до стадии согласование, но были удалены к стадии отгрузка ?"
цель - получить ответ на этот простой вопрос и осознать что в реальной жизни не посудомойки таких простых вопросов не будет. реально будут вопросы по разным сущности в разные срезы времени. типа клиент со скидкой на момент отгрузки и прочая.
...
Рейтинг: 0 / 0
04.06.2019, 17:13
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822412
vitkhv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vitkhv
Участник
H5N1vitkhvЗачем мне в цикле (или запросом) открывать каждую версию объекта, цель в этом в этом какая? Что мне искать в куче версий?
Обычно сравниваются две версии между собой, методом ПолучитьРазличияВерсий, который тебе сразу выдает всю историю изменений по объекту.

в третий раз: "как в 1с упп вытащить список товаров заказа, которые были до стадии согласование, но были удалены к стадии отгрузка ?"
цель - получить ответ на этот простой вопрос и осознать что в реальной жизни не посудомойки таких простых вопросов не будет. реально будут вопросы по разным сущности в разные срезы времени. типа клиент со скидкой на момент отгрузки и прочая.

Еще раз отвечаю, что просто - берем последнюю версию заказа имеющего не имеющего статус согласован и сравниваем его с последней версий заказа имеющего статус согласован.

Теперь я понимаю какое эго у программистов ранее работавших посудомойкой, что на программистских форумах об этом в пишут в каждом сообщении.
...
Рейтинг: 0 / 0
04.06.2019, 17:19
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822422
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
vitkhvЕще раз отвечаю, что просто - берем последнюю версию заказа имеющего не имеющего статус согласован и сравниваем его с последней версий заказа имеющего статус согласован.

Теперь я понимаю какое эго у программистов ранее работавших посудомойкой, что на программистских форумах об этом в пишут в каждом сообщении.
ну дело то не в эго, а в том что конкретно ты тут не понимаешь, что что бы найти какую либо стадию тебе придется в цикле последовательно открывать каждую версию. я даже не углубляюсь в то что стадия согласования запросто может возникать несколько раз, ты даже более простой пример не понимаешь.
чихать на эго. суть то в задачке и то что задачка сильно, сильно упрощена.
...
Рейтинг: 0 / 0
04.06.2019, 17:28
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822429
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
я не понимаю зачем это натягивание совы на глобус

и в чем сакральный смысл поиска изменений в рамках одного документа "заказ" между его статусами?

и почему он меняется если он уже согласован?

если он уже отгружен - сравните его и реализацию если разница интересует между тем что "хотели" и "продали"
...
Рейтинг: 0 / 0
04.06.2019, 17:35
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822436
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
МодальноеОкноя не понимаю зачем это натягивание совы на глобус

и в чем сакральный смысл поиска изменений в рамках одного документа "заказ" между его статусами?

и почему он меняется если он уже согласован?

если он уже отгружен - сравните его и реализацию если разница интересует между тем что "хотели" и "продали"
вполне здоровая задача. люди пытаются понять на какие товары спрос и чего заказывать китайцам в следующей партии. пытаются понять чего клиент пытался заказывать, но не получил. в типичной dwh структуре подобные вопросы и яйца выеденного не стоят. 10 минуты и дашборд готов.
стадий согласований может быть несколько. не нашлось такого товара - заменили на другой, а другого на складе партнера снова не оказалось - повторное согласование. а потом в стадии отгрузки клиент звонит и просит еще чего то добавить, а этого снова может не оказаться в наличии.
...
Рейтинг: 0 / 0
04.06.2019, 17:47
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822442
vitkhv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vitkhv
Участник
H5N1vitkhvЕще раз отвечаю, что просто - берем последнюю версию заказа имеющего не имеющего статус согласован и сравниваем его с последней версий заказа имеющего статус согласован.

Теперь я понимаю какое эго у программистов ранее работавших посудомойкой, что на программистских форумах об этом в пишут в каждом сообщении.
ну дело то не в эго, а в том что конкретно ты тут не понимаешь, что что бы найти какую либо стадию тебе придется в цикле последовательно открывать каждую версию. я даже не углубляюсь в то что стадия согласования запросто может возникать несколько раз, ты даже более простой пример не понимаешь.
чихать на эго. суть то в задачке и то что задачка сильно, сильно упрощена.

Ну дело может и не в эго но вот это первое ваше сообщение которое не содержит упоминание посудомойки в контексте программирования в 1С. Поверьте в 1С работают разные люди и решают разные задачи, соответственно и оплата этих задач различна.
Я работаю с многотерабайтными БД, постоянно мониторю через самописную мною систему евентов, производительность запросов, написанных различными программистами. Поэтому знаю какие они бывают, эти программисты 1С.

Конечно я понимаю, что что бы решить специфическую задачу мне придется сравнивать в цикле, т.к. версии сжаты и не хранятся в таблицах в нормализованном виде. Поэтому для тех случаев где изменения важны, я естественно оставляю метку об этих изменениях, через комментирование версии.

В случае более строгой задачи в конфигурациях имеются механизмы документов изменений. В той же УПП например, почти на каждый чих существует документ изменения, который позволяет не трогать первичный документ, а постоянно его изменять новым документом, который в том числе изменяет состояние объектов измененных предыдущим изменением. Вот в этом случае данные нормализованны и соответственно я могу их нормально сравнить запросом, те-же версии заказов покупателей например или заказов поставщиков.
...
Рейтинг: 0 / 0
04.06.2019, 17:51
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822444
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
H5N1МодальноеОкноя не понимаю зачем это натягивание совы на глобус

и в чем сакральный смысл поиска изменений в рамках одного документа "заказ" между его статусами?

и почему он меняется если он уже согласован?

если он уже отгружен - сравните его и реализацию если разница интересует между тем что "хотели" и "продали"
вполне здоровая задача. люди пытаются понять на какие товары спрос и чего заказывать китайцам в следующей партии. пытаются понять чего клиент пытался заказывать, но не получил. в типичной dwh структуре подобные вопросы и яйца выеденного не стоят. 10 минуты и дашборд готов.
стадий согласований может быть несколько. не нашлось такого товара - заменили на другой, а другого на складе партнера снова не оказалось - повторное согласование. а потом в стадии отгрузки клиент звонит и просит еще чего то добавить, а этого снова может не оказаться в наличии.

опять 25 за корову деньги

это все уже обсуждалось. что дефектуру можно фиксировать. причем не через анус...
...
Рейтинг: 0 / 0
04.06.2019, 17:54
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822448
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
H5N1вполне здоровая задача. люди пытаются понять на какие товары спрос...
типичной dwh структуре подобные вопросы и яйца выеденного не стоят...

Как DWH отследит следующую ситуацию:

клиент хотел купить гравицапу, посмотрел на наш прайс, не нашел, пошел покупать гравицапу в соседний поцанкский магазин, а нам даже не позвонил ?

Если OLTP система отслеживает call back от менеджеров/заказчиков - это одно, если не отслеживает - то смотреть статусы и утверждение/переутверждение заказов IMHO гадание по хрустальному шару. Но вообще то, IMHO это не проблема учетной (бухгалтерской) системы, а проблема отсутвия отдела маркетинга и отслеживание call back'а от заказчиков.
...
Рейтинг: 0 / 0
04.06.2019, 17:57
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822517
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
МодальноеОкноэто все уже обсуждалось. что дефектуру можно фиксировать. причем не через анус...
мне снова нужно разжевывать что суть не в конкретном примере а в убогой структуре хранения 1с ? этот анал будет при любой попытке анализа во временном срезе. учетные системы в принципе не должны таким заниматься, это не окупается.

vitkhvКонечно я понимаю, что что бы решить специфическую задачу мне придется сравнивать в цикле, т.к. версии сжаты и не хранятся в таблицах в нормализованном виде. Поэтому для тех случаев где изменения важны, я естественно оставляю метку об этих изменениях, через комментирование версии.

я честно попробовал донести "А что не так в 1С с версионностью?". может оно и к лучшему, что такие вот оптимизируют терабайтные базы, а потом прихожу я и показываю что все это в нормальной структуре упаковывается в колончатый parquet на 100 гб и аналитика летает хоть на ноутбуке.

Leonid KudryavtsevКак DWH отследит следующую ситуацию:

клиент хотел купить гравицапу, посмотрел на наш прайс, не нашел, пошел покупать гравицапу в соседний поцанкский магазин, а нам даже не позвонил ?
про dwh не знаю, а вот товарищ которому помогаю ставит что у него 200 гравицап, получает заказы, анализирует и старательно считает сколько он теряет, когда не может выполнить заказ.
...
Рейтинг: 0 / 0
04.06.2019, 20:26
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822558
vitkhv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vitkhv
Участник
H5N1
vitkhvКонечно я понимаю, что что бы решить специфическую задачу мне придется сравнивать в цикле, т.к. версии сжаты и не хранятся в таблицах в нормализованном виде. Поэтому для тех случаев где изменения важны, я естественно оставляю метку об этих изменениях, через комментирование версии.

я честно попробовал донести "А что не так в 1С с версионностью?". может оно и к лучшему, что такие вот оптимизируют терабайтные базы, а потом прихожу я и показываю что все это в нормальной структуре упаковывается в колончатый parquet на 100 гб и аналитика летает хоть на ноутбуке.


Да вы правы, потом приходят люди с синдромом уборщицы, бъя себя пяткой в грудь аналогом колончатого parquet в MSSQL , вешая columnstore индекс на таблицу РегистрСведений.ЗначенияСвойствОбъектов (слабое место в УПП, УТ10, КА 1x), не вникая в принцип хранения составных полей в 1С. Победив зло, счастливый с потяжелевшими карманами уходит в ночь. А потом пользователи начинают пихать в таблицу данные с другим набором свойств и все начинает жутко тормозить т.к. MSSQL при прочих равных предпочитает, колоночный индекс стандартному составному, который генерирует для таблицы 1С. Тут та и обращаются ко мне т.к. бывшая уборщица трагичным и уставшим голосом говорит, что ее не поняли, но она очень старалась объяснить в чем мы не правы, вместе с этой самой 1С ее версионностью, циклами и терабайтными базами. Рекомендуя срочно установить Hadoop, убежав нафиг с этой самой 1С.

При этом ковыряя прямые запросы к таблицам в 1С пишут гордо все через _Fldxxx,_ReferenceXXX и прочие _Documents вместо нормальных метаимен в запросах, тупо не зная что так можно . Но бывшим уборщицам глубоко на это пофиг, у нее один ответ, что ваше 1С гавно и даже структура таблиц там как в мордоре и пофиг, что там почти стандартный майкрософтовский последовательный GUID, ведь не IDENTITY же - значит точно мордор.

И слыша, что человек программирует на 1С начинает нести чушь, про колончатые parquet, как абсолютное решение всех проблем с хранением данных.
...
Рейтинг: 0 / 0
04.06.2019, 23:11
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822574
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
vitkhvH5N1пропущено...

я честно попробовал донести "А что не так в 1С с версионностью?". может оно и к лучшему, что такие вот оптимизируют терабайтные базы, а потом прихожу я и показываю что все это в нормальной структуре упаковывается в колончатый parquet на 100 гб и аналитика летает хоть на ноутбуке.


Да вы правы, потом приходят люди с синдромом уборщицы, бъя себя пяткой в грудь аналогом колончатого parquet в MSSQL , вешая columnstore индекс на таблицу РегистрСведений.ЗначенияСвойствОбъектов (слабое место в УПП, УТ10, КА 1x), не вникая в принцип хранения составных полей в 1С . Победив зло, счастливый с потяжелевшими карманами уходит в ночь. А потом пользователи начинают пихать в таблицу данные с другим набором свойств и все начинает жутко тормозить т.к. MSSQL при прочих равных предпочитает, колоночный индекс стандартному составному, который генерирует для таблицы 1С. Тут та и обращаются ко мне т.к. бывшая уборщица трагичным и уставшим голосом говорит, что ее не поняли, но она очень старалась объяснить в чем мы не правы, вместе с этой самой 1С ее версионностью, циклами и терабайтными базами. Рекомендуя срочно установить Hadoop, убежав нафиг с этой самой 1С.

При этом ковыряя прямые запросы к таблицам в 1С пишут гордо все через _Fldxxx,_ReferenceXXX и прочие _Documents вместо нормальных метаимен в запросах, тупо не зная что так можно . Но бывшим уборщицам глубоко на это пофиг, у нее один ответ, что ваше 1С гавно и даже структура таблиц там как в мордоре и пофиг, что там почти стандартный майкрософтовский последовательный GUID, ведь не IDENTITY же - значит точно мордор.

И слыша, что человек программирует на 1С начинает нести чушь, про колончатые parquet, как абсолютное решение всех проблем с хранением данных.

Собрался ежегодный конгресс врачей.
Американцы делают доклады об операциях на сердце, японцы о лечении рака и т.п.
А русские говорят: ``А мы гланды вырезаем...``
Все: ``Подумаешь!``
Русские: ``...через жопу.``
Все: ``Ого!..``

Через год на конгрессе - все в том же духе - пересадки органов, лечение неизлечимых болезней.
Русские: ``А мы гланды вырезаем...``
Все: ``Подумаешь!``
Русские: ``...через жопу...``
Все: ``Подумаешь!``
Русские: ``...автогеном...``
Все: ``Ого!..``

Еще через год на конгрессе - искусственный глаз, бионические протезы...
Русские: ``А мы гланды вырезаем...``
Все: ``Подумаешь!``
Русские: ``...через жопу...``
Все: ``Подумаешь!``
Русские: ``...автогеном...``
Все: ``Подумаешь!``
Русские: ``...без наркоза!!!``
Все: ``Ого!..``
...
Рейтинг: 0 / 0
05.06.2019, 00:24
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822578
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
vitkhv,

Вот это - справочник номенклатуры в навике:
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.
111.
112.
113.
114.
115.
116.
117.
118.
119.
120.
121.
122.
123.
124.
125.
126.
127.
128.
129.
130.
131.
132.
133.
134.
135.
136.
137.
138.
CREATE TABLE [dbo].[1 TEMPLATE$Item](
	[timestamp] [timestamp] NOT NULL,
	[No_] [nvarchar](20) NOT NULL,
	[No_ 2] [nvarchar](20) NOT NULL,
	[Description] [nvarchar](50) NOT NULL,
	[Search Description] [nvarchar](50) NOT NULL,
	[Description 2] [nvarchar](50) NOT NULL,
	[Base Unit of Measure] [nvarchar](10) NOT NULL,
	[Price Unit Conversion] [int] NOT NULL,
	[Type] [int] NOT NULL,
	[Inventory Posting Group] [nvarchar](20) NOT NULL,
	[Shelf No_] [nvarchar](10) NOT NULL,
	[Item Disc_ Group] [nvarchar](20) NOT NULL,
	[Allow Invoice Disc_] [tinyint] NOT NULL,
	[Statistics Group] [int] NOT NULL,
	[Commission Group] [int] NOT NULL,
	[Unit Price] [decimal](38, 20) NOT NULL,
	[Price_Profit Calculation] [int] NOT NULL,
	[Profit _] [decimal](38, 20) NOT NULL,
	[Costing Method] [int] NOT NULL,
	[Unit Cost] [decimal](38, 20) NOT NULL,
	[Standard Cost] [decimal](38, 20) NOT NULL,
	[Last Direct Cost] [decimal](38, 20) NOT NULL,
	[Indirect Cost _] [decimal](38, 20) NOT NULL,
	[Cost is Adjusted] [tinyint] NOT NULL,
	[Allow Online Adjustment] [tinyint] NOT NULL,
	[Vendor No_] [nvarchar](20) NOT NULL,
	[Vendor Item No_] [nvarchar](20) NOT NULL,
	[Lead Time Calculation] [varchar](32) NOT NULL,
	[Reorder Point] [decimal](38, 20) NOT NULL,
	[Maximum Inventory] [decimal](38, 20) NOT NULL,
	[Reorder Quantity] [decimal](38, 20) NOT NULL,
	[Alternative Item No_] [nvarchar](20) NOT NULL,
	[Unit List Price] [decimal](38, 20) NOT NULL,
	[Duty Due _] [decimal](38, 20) NOT NULL,
	[Duty Code] [nvarchar](10) NOT NULL,
	[Gross Weight] [decimal](38, 20) NOT NULL,
	[Net Weight] [decimal](38, 20) NOT NULL,
	[Units per Parcel] [decimal](38, 20) NOT NULL,
	[Unit Volume] [decimal](38, 20) NOT NULL,
	[Durability] [nvarchar](10) NOT NULL,
	[Freight Type] [nvarchar](10) NOT NULL,
	[Tariff No_] [nvarchar](20) NOT NULL,
	[Duty Unit Conversion] [decimal](38, 20) NOT NULL,
	[Country_Region Purchased Code] [nvarchar](10) NOT NULL,
	[Budget Quantity] [decimal](38, 20) NOT NULL,
	[Budgeted Amount] [decimal](38, 20) NOT NULL,
	[Budget Profit] [decimal](38, 20) NOT NULL,
	[Blocked] [tinyint] NOT NULL,
	[Last Date Modified] [datetime] NOT NULL,
	[Last Time Modified] [datetime] NOT NULL,
	[Price Includes VAT] [tinyint] NOT NULL,
	[VAT Bus_ Posting Gr_ (Price)] [nvarchar](20) NOT NULL,
	[Gen_ Prod_ Posting Group] [nvarchar](20) NOT NULL,
	[Picture] [uniqueidentifier] NOT NULL,
	[Country_Region of Origin Code] [nvarchar](10) NOT NULL,
	[Automatic Ext_ Texts] [tinyint] NOT NULL,
	[No_ Series] [nvarchar](20) NOT NULL,
	[Tax Group Code] [nvarchar](20) NOT NULL,
	[VAT Prod_ Posting Group] [nvarchar](20) NOT NULL,
	[Reserve] [int] NOT NULL,
	[Global Dimension 1 Code] [nvarchar](20) NOT NULL,
	[Global Dimension 2 Code] [nvarchar](20) NOT NULL,
	[Stockout Warning] [int] NOT NULL,
	[Prevent Negative Inventory] [int] NOT NULL,
	[Application Wksh_ User ID] [nvarchar](128) NOT NULL,
	[Assembly Policy] [int] NOT NULL,
	[GTIN] [nvarchar](14) NOT NULL,
	[Default Deferral Template Code] [nvarchar](10) NOT NULL,
	[Low-Level Code] [int] NOT NULL,
	[Lot Size] [decimal](38, 20) NOT NULL,
	[Serial Nos_] [nvarchar](20) NOT NULL,
	[Last Unit Cost Calc_ Date] [datetime] NOT NULL,
	[Rolled-up Material Cost] [decimal](38, 20) NOT NULL,
	[Rolled-up Capacity Cost] [decimal](38, 20) NOT NULL,
	[Scrap _] [decimal](38, 20) NOT NULL,
	[Inventory Value Zero] [tinyint] NOT NULL,
	[Discrete Order Quantity] [int] NOT NULL,
	[Minimum Order Quantity] [decimal](38, 20) NOT NULL,
	[Maximum Order Quantity] [decimal](38, 20) NOT NULL,
	[Safety Stock Quantity] [decimal](38, 20) NOT NULL,
	[Order Multiple] [decimal](38, 20) NOT NULL,
	[Safety Lead Time] [varchar](32) NOT NULL,
	[Flushing Method] [int] NOT NULL,
	[Replenishment System] [int] NOT NULL,
	[Rounding Precision] [decimal](38, 20) NOT NULL,
	[Sales Unit of Measure] [nvarchar](10) NOT NULL,
	[Purch_ Unit of Measure] [nvarchar](10) NOT NULL,
	[Time Bucket] [varchar](32) NOT NULL,
	[Reordering Policy] [int] NOT NULL,
	[Include Inventory] [tinyint] NOT NULL,
	[Manufacturing Policy] [int] NOT NULL,
	[Rescheduling Period] [varchar](32) NOT NULL,
	[Lot Accumulation Period] [varchar](32) NOT NULL,
	[Dampener Period] [varchar](32) NOT NULL,
	[Dampener Quantity] [decimal](38, 20) NOT NULL,
	[Overflow Level] [decimal](38, 20) NOT NULL,
	[Manufacturer Code] [nvarchar](10) NOT NULL,
	[Item Category Code] [nvarchar](20) NOT NULL,
	[Created From Nonstock Item] [tinyint] NOT NULL,
	[Product Group Code] [nvarchar](10) NOT NULL,
	[Service Item Group] [nvarchar](10) NOT NULL,
	[Item Tracking Code] [nvarchar](10) NOT NULL,
	[Lot Nos_] [nvarchar](20) NOT NULL,
	[Expiration Calculation] [varchar](32) NOT NULL,
	[Warehouse Class Code] [nvarchar](10) NOT NULL,
	[Special Equipment Code] [nvarchar](10) NOT NULL,
	[Put-away Template Code] [nvarchar](10) NOT NULL,
	[Put-away Unit of Measure Code] [nvarchar](10) NOT NULL,
	[Phys Invt Counting Period Code] [nvarchar](10) NOT NULL,
	[Last Counting Period Update] [datetime] NOT NULL,
	[Use Cross-Docking] [tinyint] NOT NULL,
	[Next Counting Start Date] [datetime] NOT NULL,
	[Next Counting End Date] [datetime] NOT NULL,
	[Routing No_] [nvarchar](20) NOT NULL,
	[Production BOM No_] [nvarchar](20) NOT NULL,
	[Single-Level Material Cost] [decimal](38, 20) NOT NULL,
	[Single-Level Capacity Cost] [decimal](38, 20) NOT NULL,
	[Single-Level Subcontrd_ Cost] [decimal](38, 20) NOT NULL,
	[Single-Level Cap_ Ovhd Cost] [decimal](38, 20) NOT NULL,
	[Single-Level Mfg_ Ovhd Cost] [decimal](38, 20) NOT NULL,
	[Overhead Rate] [decimal](38, 20) NOT NULL,
	[Rolled-up Subcontracted Cost] [decimal](38, 20) NOT NULL,
	[Rolled-up Mfg_ Ovhd Cost] [decimal](38, 20) NOT NULL,
	[Rolled-up Cap_ Overhead Cost] [decimal](38, 20) NOT NULL,
	[Order Tracking Policy] [int] NOT NULL,
	[Critical] [tinyint] NOT NULL,
	[Common Item No_] [nvarchar](20) NOT NULL,
	[Block Reason] [nvarchar](250) NOT NULL,
	[Last DateTime Modified] [datetime] NOT NULL,
	[Id] [uniqueidentifier] NOT NULL,
	[Unit of Measure Id] [uniqueidentifier] NOT NULL,
	[Tax Group Id] [uniqueidentifier] NOT NULL,
 CONSTRAINT [1 TEMPLATE$Item$0] PRIMARY KEY CLUSTERED 
(
	[No_] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [Data Filegroup 1]
) ON [Data Filegroup 1]



Вот это - таблица товародвижений (приходы, расходы, перемещения...):
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
CREATE TABLE [dbo].[1 TEMPLATE$Item Ledger Entry](
	[timestamp] [timestamp] NOT NULL,
	[Entry No_] [int] NOT NULL,
	[Item No_] [nvarchar](20) NOT NULL,
	[Posting Date] [datetime] NOT NULL,
	[Entry Type] [int] NOT NULL,
	[Source No_] [nvarchar](20) NOT NULL,
	[Document No_] [nvarchar](20) NOT NULL,
	[Description] [nvarchar](50) NOT NULL,
	[Location Code] [nvarchar](10) NOT NULL,
	[Quantity] [decimal](38, 20) NOT NULL,
	[Remaining Quantity] [decimal](38, 20) NOT NULL,
	[Invoiced Quantity] [decimal](38, 20) NOT NULL,
	[Applies-to Entry] [int] NOT NULL,
	[Open] [tinyint] NOT NULL,
	[Global Dimension 1 Code] [nvarchar](20) NOT NULL,
	[Global Dimension 2 Code] [nvarchar](20) NOT NULL,
	[Positive] [tinyint] NOT NULL,
	[Source Type] [int] NOT NULL,
	[Drop Shipment] [tinyint] NOT NULL,
	[Transaction Type] [nvarchar](10) NOT NULL,
	[Transport Method] [nvarchar](10) NOT NULL,
	[Country_Region Code] [nvarchar](10) NOT NULL,
	[Entry_Exit Point] [nvarchar](10) NOT NULL,
	[Document Date] [datetime] NOT NULL,
	[External Document No_] [nvarchar](35) NOT NULL,
	[Area] [nvarchar](10) NOT NULL,
	[Transaction Specification] [nvarchar](10) NOT NULL,
	[No_ Series] [nvarchar](20) NOT NULL,
	[Document Type] [int] NOT NULL,
	[Document Line No_] [int] NOT NULL,
	[Order Type] [int] NOT NULL,
	[Order No_] [nvarchar](20) NOT NULL,
	[Order Line No_] [int] NOT NULL,
	[Dimension Set ID] [int] NOT NULL,
	[Assemble to Order] [tinyint] NOT NULL,
	[Job No_] [nvarchar](20) NOT NULL,
	[Job Task No_] [nvarchar](20) NOT NULL,
	[Job Purchase] [tinyint] NOT NULL,
	[Variant Code] [nvarchar](10) NOT NULL,
	[Qty_ per Unit of Measure] [decimal](38, 20) NOT NULL,
	[Unit of Measure Code] [nvarchar](10) NOT NULL,
	[Derived from Blanket Order] [tinyint] NOT NULL,
	[Cross-Reference No_] [nvarchar](20) NOT NULL,
	[Originally Ordered No_] [nvarchar](20) NOT NULL,
	[Originally Ordered Var_ Code] [nvarchar](10) NOT NULL,
	[Out-of-Stock Substitution] [tinyint] NOT NULL,
	[Item Category Code] [nvarchar](20) NOT NULL,
	[Nonstock] [tinyint] NOT NULL,
	[Purchasing Code] [nvarchar](10) NOT NULL,
	[Product Group Code] [nvarchar](10) NOT NULL,
	[Completely Invoiced] [tinyint] NOT NULL,
	[Last Invoice Date] [datetime] NOT NULL,
	[Applied Entry to Adjust] [tinyint] NOT NULL,
	[Correction] [tinyint] NOT NULL,
	[Shipped Qty_ Not Returned] [decimal](38, 20) NOT NULL,
	[Prod_ Order Comp_ Line No_] [int] NOT NULL,
	[Serial No_] [nvarchar](20) NOT NULL,
	[Lot No_] [nvarchar](20) NOT NULL,
	[Warranty Date] [datetime] NOT NULL,
	[Expiration Date] [datetime] NOT NULL,
	[Item Tracking] [int] NOT NULL,
	[Return Reason Code] [nvarchar](10) NOT NULL,
 CONSTRAINT [1 TEMPLATE$Item Ledger Entry$0] PRIMARY KEY CLUSTERED 
(
	[Entry No_] ASC
)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [Data Filegroup 1]
) ON [Data Filegroup 1]



И что самое приятное - не надо делать кучи приседаний, чтобы у полей были вменяемые имена. Ни вьюшки не надо создавать, ни смотреть через специальные утилиты соответствие полей...


А вот если просто посмотреть на таблички 1С в базе - сразу станет мучительно больно.
...
Рейтинг: 0 / 0
05.06.2019, 00:36
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822582
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
И самое неприятное в 1С (я её, кстати, с 6.0 знаю)) - прикладной функционал так и не довели до нормального уровня. По крайней мере лет 5 назад так было.
Например, задача.
Купили 100 штук товара в 2018. В том же 2018 перевезли 40 штук на другой склад и продали. 2018 год закрыли. А в июне 2019 получили инвойс от перевозчика, который вез эти 40 штук.
Можно ли в 1С учесть этот инвойс и потом увидеть, что себестоимость продажи тех 40 штук изменилась (увеличилась), и чтобы себестоимость остальных 60 штук никак не поменялась, и чтобы фин проводки 2018 никак не изменились, а все проводки создались в 2019 году (как требуют стандарты бухучета - год ведь закрыт)?
Насколько знаю, пять лет назад это было нельзя сделать ни в одной стандартной конфигурации 1С. И, я так подозреваю - и сейчас нельзя. А навик это умеет очень давно.
...
Рейтинг: 0 / 0
05.06.2019, 01:31
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822607
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
s_ustinovА навик это умеет очень давно.Навик много другого не умеет. Сырая до невозможности штука.
Непонятно, кто это недоразумение вообще использует.
...
Рейтинг: 0 / 0
05.06.2019, 08:44
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822670
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
L_argos_ustinovА навик это умеет очень давно.Навик много другого не умеет. Сырая до невозможности штука.
Непонятно, кто это недоразумение вообще использует.

Процентов 20-40 фирм среднего размера в Европе используют навик.

Он не идеален, там много своих глюков и приколов.
Но все познается в сравнении. Я ведь довольно много работал одновременно и с навиком и с 1С. Так вот, при всех недостатках навик нравится мне намного больше, чем 1С.
Работая с 1С, постоянно есть ощущение, что это какая-то потемкинская деревня, имитирующая "настоящую" ERP. :)
...
Рейтинг: 0 / 0
05.06.2019, 10:29
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822671
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
H5N1мне снова нужно разжевывать что суть не в конкретном примере а в убогой структуре хранения 1с

скорее попытаться придумать пример более адекватный


H5N1учетные системы в принципе не должны таким заниматься, это не окупается.

вы уже определитесь
...
Рейтинг: 0 / 0
05.06.2019, 10:36
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822674
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
vitkhvДа вы правы, потом приходят люди с синдромом уборщицы, бъя себя пяткой в грудь аналогом колончатого parquet в MSSQL , вешая columnstore индекс на таблицу РегистрСведений.ЗначенияСвойствОбъектов (слабое место в УПП, УТ10, КА 1x), не вникая в принцип хранения составных полей в 1С.

ну я же вник в эти упакованные дельты версий объекта.

vitkhvПри этом ковыряя прямые запросы к таблицам в 1С пишут гордо все через _Fldxxx,_ReferenceXXX и прочие _Documents вместо нормальных метаимен в запросах, тупо не зная что так можно . Но бывшим уборщицам глубоко на это пофиг, у нее один ответ, что ваше 1С гавно

т.е. не смотря на строгое табу от 1с тру программеры продолжают лезть напрямую в базу ? а вас не смущает вообще ситуация - что программеры не смотря ни на что все равно изобретают костыли, которые им позволяют как-нибудь посмотреть на 1с базы в человеческом виде?

vitkhvИ слыша, что человек программирует на 1С начинает нести чушь, про колончатые parquet, как абсолютное решение всех проблем с хранением данных.
боюсь я всего лишь жертва рекламы майкрософт и его mssql2019 с хадупами на борту...
...
Рейтинг: 0 / 0
05.06.2019, 10:38
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822686
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
Летом 1958 г. под лозунгом «три года упорного труда — десять тысяч лет счастья!» весь Китай был мобилизован для участия в «большом скачке».
...
Под лозунгом «вся страна варит сталь» в Китае развернулось движение за создание базы «малой металлургии». Была поставлена задача соорудить более 10 тыс. малых и средних металлургических печей, ежегодной производительностью 20 млн. т чугуна. Небольшие металлургические печи, строившиеся на основе традиционной технологии, создавались как в городах, так и в сельской местности. Миллионы людей приняли участие и в «битве за сталь». К осени того же года в стране варили металл более 700 тыс. кустарных доменных печей, а всего в непромышленном производстве металла было занято до 100 млн. человек. В усиленном темпе работала и вся промышленность, причем предприятия стремились максимально увеличить объем производства, не заботясь о рациональном использовании ресурсов.
...
Уже осенью выявились тяжелейшие последствия нового политического курса. Несмотря на то, что с мест рапортовали о все новых достижениях, страна оказалась в катастрофическом экономическом положении. Особенно разрушительные последствия имела «битва за сталь». Формально задание на 1958 г. было выполнено: производство стали по сравнению с предшествующим годом увеличилось в два раза, достигнув примерно 10 млн. т, однако в действительности около 3 млн. составляли приписки и примерно столько же выплавленного металла оказалось некондиционным, не годившимся даже для переработки. Первые секретари парткомов, обязанные лично руководить выплавкой стали, зачастую, чтобы отчитаться, выдавали металл, произведенный современными предприятиями, за сталь, выплавленную на кустарных доменных печах.

В целом по стране усилия, затраченные на производство металла кустарным способом, обернулись колоссальными выброшенными на ветер средствами: расходы рабочей силы были почти в десять раз больше, чем в современной промышленности, сырья и материалов — в три раза.

В результате был нанесен тяжелый удар по современной промышленности, которой не хватало сырья и топлива, возникло напряженное положение на транспорте, в стране упало качество продукции и снизилась производительность труда. Огромный расход угля вызвал перебои в снабжении электроэнергией — осенью в ряде провинций Северо-Востока полностью или частично прекратили работу большинство предприятий легкой промышленности. В печати распространились сообщения об успехах, а в кустарных домнах пускали в переплавку металлическую посуду и прочие предметы домашнего обихода.

Обычно, когда начинают рассказывать о крутизне 1С - рассказывают о крутизне платформы.
Создается такое впечатление, что любой ларек должен силами студента наваять свою нетленку.
Но исторический опыт показывает, что подобные начинания обычно завершаются фиаско. )))
...
Рейтинг: 0 / 0
05.06.2019, 10:54
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822694
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
s_ustinovОбычно, когда начинают рассказывать о крутизне 1С - рассказывают о крутизне платформы.

платформа уже как таковая даром никому не упала. хотя в последних версия она неплоха. даже упр. формы тошноты (почти) не вызывают

эра автоматизации регл. учета имхо уже закончилась.

мелким/средним достаточно будет типовых с кастомизациями. тем более что все больше и больше будет фискализироваться на лету

крупные себя с 1с - где она в роли КИС - не связывают в силу понятных причин



s_ustinovСоздается такое впечатление, что любой ларек должен силами студента наваять свою нетленку.

эм... вас заморозили лет на 15 ?
...
Рейтинг: 0 / 0
05.06.2019, 11:01
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822697
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
И чего мы про 1С начали?
Ну нравится кому то 1С - имеет право. Еще кто то вынужден работать с 1С - бывает.
Смысл это обсуждать в топике про DWH?
...
Рейтинг: 0 / 0
05.06.2019, 11:03
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822700
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
МодальноеОкноs_ustinovОбычно, когда начинают рассказывать о крутизне 1С - рассказывают о крутизне платформы.

платформа уже как таковая даром никому не упала. хотя в последних версия она неплоха. даже упр. формы тошноты (почти) не вызывают

эра автоматизации регл. учета имхо уже закончилась.

мелким/средним достаточно будет типовых с кастомизациями. тем более что все больше и больше будет фискализироваться на лету

крупные себя с 1с - где она в роли КИС - не связывают в силу понятных причин



s_ustinovСоздается такое впечатление, что любой ларек должен силами студента наваять свою нетленку.

эм... вас заморозили лет на 15 ?
Да ладно, еще пару лет назад на мисте регулярно высказывались в том плане, что "сейчас мы легко перепилим половину конфигурации".
А пять лет назад на сайте 1С, в том месте где франчи про внедрения рассказывают, лично видел фразы в стиле "при внедрении переписано 30% конфигурации". :)
...
Рейтинг: 0 / 0
05.06.2019, 11:06
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822704
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
s_ustinovДа ладно, еще пару лет назад на мисте регулярно высказывались в том плане, что "сейчас мы легко перепилим половину конфигурации".

хосподя... нашли на что ссылаться

мизда - сборище употорых пикейных жилетов


перепилят они половину конфигурации. современной. с этой гребанной бсп

и так что она после апдейта не развалилась... верую, люблю, надеюсь
...
Рейтинг: 0 / 0
05.06.2019, 11:13
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39822920
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
МодальноеОкноs_ustinovДа ладно, еще пару лет назад на мисте регулярно высказывались в том плане, что "сейчас мы легко перепилим половину конфигурации".

хосподя... нашли на что ссылаться

мизда - сборище употорых пикейных жилетов


перепилят они половину конфигурации. современной. с этой гребанной бсп

и так что она после апдейта не развалилась... верую, люблю, надеюсь
Как ни крути - миста самое популярное сборище 1сников. :)

И сейчас они в целом более вменяемые. Помню я раньше как то пытался объяснить, что переписывание конфы - сомнительная мысль. Так больше половины начали доказывать, как все легко и просто. :)
А сейчас таких вроде поменьше.
...
Рейтинг: 0 / 0
05.06.2019, 15:53
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39823236
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
Переписыванием "типовой конфы" страдает (страдал) даже Ральф Кимбал естественно в сфере двх.

https://www.kimballgroup.com/2010/09/industry-standard-data-models-fall-short/
Based on our experience and observations, business-centric custom models are more likely to be adopted by the business users than vendor-supplied pre-built standard models which appeal more to IT teams less attuned to the business’s nuances.
...
Рейтинг: 0 / 0
06.06.2019, 09:25
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39823695
МодальноеОкно
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МодальноеОкно
Участник
s_ustinovИ сейчас они в целом более вменяемые.

не уверен

вот из свежего: https://forum.mista.ru/topic.php?id=838436

хрен с ней с темой - конкурентов никто не любит, это понятно.

судя по ветке о базовых вещах в современных ЯП, архитектуре ПО и средах разработки имеет представление буквально несколько человек из всех участников
...
Рейтинг: 0 / 0
06.06.2019, 19:17
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39823850
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
МодальноеОкноs_ustinovИ сейчас они в целом более вменяемые.

не уверен

вот из свежего: https://forum.mista.ru/topic.php?id=838436

хрен с ней с темой - конкурентов никто не любит, это понятно.

судя по ветке о базовых вещах в современных ЯП, архитектуре ПО и средах разработки имеет представление буквально несколько человек из всех участниковНу а чо ? Нормальная профессиональная дискуссия.
А каких конкретно важных базовых вещах в ЯП и архитектуре речь ?

Упоротые ООП-шники спорят с 1С никами.... Просто они никогда не решали тех задач, которые очень успешно решает 1С. И завидуют. :)
...
Рейтинг: 0 / 0
07.06.2019, 08:50
| Ответить | Цитировать | Написать  
Затраты на создание DWH
    #39839548
AlexSo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlexSo
Участник
Leonid KudryavtsevH5N1вполне здоровая задача. люди пытаются понять на какие товары спрос...
типичной dwh структуре подобные вопросы и яйца выеденного не стоят...

Как DWH отследит следующую ситуацию:

клиент хотел купить гравицапу, посмотрел на наш прайс, не нашел, пошел покупать гравицапу в соседний поцанкский магазин, а нам даже не позвонил ?

Если OLTP система отслеживает call back от менеджеров/заказчиков - это одно, если не отслеживает - то смотреть статусы и утверждение/переутверждение заказов IMHO гадание по хрустальному шару. Но вообще то, IMHO это не проблема учетной (бухгалтерской) системы, а проблема отсутвия отдела маркетинга и отслеживание call back'а от заказчиков.
Это вопрос не к DWH,а к источникам данных.
В современных реалиях качественные интернет магазины это отслеживают.
...
Рейтинг: 0 / 0
20.07.2019, 10:30
| Ответить | Цитировать | Написать  
206 сообщений из 206, показаны все 9 страниц
  все  
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Затраты на создание DWH
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=33&tid=1547152]:
 0ms
get settings:
 8ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 59ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 345ms
get tp. blocked users:
 2ms
others: 11ms
total:  459ms
созд. / загр.: 459ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]