Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Собственно, не только совет нужен, а в целом, вектор направления усилий не совсем ясен. Ситуация: 2 года назад сваял на SQL несколько табличек, очень по назначению похожих на витрину для остатков (дата, филиал, товар, на начало, 6 видов движения, на конец + все это в суммах). + ETL для этого. Сначала была табличка остатков и движения за месяц, потом 2-я табличка хранила за каждый день и при загрузке данных расчитывалась первая. За это время логисты успели наваять кучу приблуд, которые тянут эти таблички прямо из SQL. НИКАКОГО OLAP не было. Сейчас есть совершенно новый поток данных и заходелось сделать еще одну витрину остатков с целью вывода в аналитическое приложение и ухода от унаследованных первых 2 табличек. Объем данных не слабый - около 10 тыс товаров (рабочих - до 3), 300 складов, движение по 700 тыс. товарных операций в месяц. Видится 2 варианта реализации: 1) "тупо в лоб" Делаем табличку с расчитанным TSQL остатком на каждый день. Тем же TSQL заполняем (для совместимости) унаследованные таблички. Сверху вешаем куб на новую табличку. Считал, что за месяц около 2 мил. записей, а с ходу появится 25 млн за весь период. Работает по 30 минут только на расчете остатков для 3 табличек. 2) "умно, но труднее" Делаем табличку с остатками, лежащими в первом дне, и только оборотами за месяц на каждый день (практически идеально для моей схемы в хранилище). Делаем куб, в котором мера остатка - расчитываемая из начальных +- обороты. Вместо унаследованных табличек пишем view с OPENQUERY к кубу (таким образом их не надо будет рассчитывать). Записей должно быть меньше раза в 3, чем в первом случае. Работает 5 минут над расчетом минут над расчетом данных для витрины. Ограничения: Доступ к данным после загрузки должен появиться как можно быстрее (максимум через 30 минут после начала импорта данных). Импорт происходит раз в день, но около 9-10 утра. . Потери производительности на запросах к унаследнованным таблицам быть не должно ( а так туча Group by и т.д.) P.S. В данном случае рассматривать только MS AS 2K + ProClarity. В качестве примечания буду рад узнать как это MSTR было бы лучьше подсунуть. Спасибо ! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 01:51 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Я здесь вижу только проблемы ETL загрузки, а не инструментальные. Поэтому, вопросы: -- Почему не делать загрузку ночью? -- Так ли критично "30-40 мин после импорта", или это - пожелания потенциальных пользователей? -- Какова конфигурация сервера и что за СУБД? -- Есть ли кластерные индексы в агрегатных таблицах (вообще - индексы, в состав ключа которых входит расчитываемая сумма)? Удаляются ли они при загрузке? По MSTR : -- Можно хранить только остатки, а агрегации расчитывать на лету, но производительность запросов (отчетов) снизится -- Чтобы отчеты побыстрее ворочались - лучше иметь таблицы-агрегаты. Размер таблиц : -- А действительно нужно использовать данные за весь период? -- Может стоит использовать таблицы оперативных данных (за самый востребованный период) и архивных данных, которые возможно понадобятся. Если так, то оперативные данные можно юзать с агрегатами, а для архивных - расчитывать "на лету". ЗЫ MSTR одинаково работает с большими и малыми массивами данных, т.к. это - не инструмент настройки производительности БД (хотя там имеются средства настройки для работы с VLDB - Very Large Data Bases). Поэтому, вопросы производительности - к администратору & проектировщику БД. Если с этим - все в порядке, MSTR не подведет. ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 09:57 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Вы отдаете себе отчет, что OLAP на таких задачах нецелесообразен? Это притягивание OLAP за уши. SQL-процедуры будут проще, чем кубы с MDX-наворотами, будут быстрее строиться отчеты и оперативней доступность. Посмотрите реляционный репортинг типа MS ReportingServices или Cognos ReportNet 1.1 У Cognos также есть ETL DecisionStream, поддерживающий специальные виды агрегации типа "последнее непустое", и OLAP-решения PowerPlay, со встроенной агрегацией "На конец" и "На текущий период". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 10:28 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
конечно спасибо, но: to Jimmy: Читаем ограничения - пакеты появляются утром и до 10-11 должны уже лежать в витринах или кубах. Процессы такие, что делать.. 2-х проц П4, сказевые винты, 1 Г, вообщем достаточно быстрый кластерные есть, но не по сумме, есно, на суррогатных ключах места и времени данных, повторений около 200. Нельзя ли конкретнее об " то оперативные данные можно юзать с агрегатами, а для архивных - расчитывать "на лету" - как делать в принципе ? to Гликоген: Это почему ? расчет остатков на день по складу и номенклатуре всего лишь операция с максимум 30 слагаемыми. В постах встречал и такие реализации. про "ETL DecisionStream" огромное спасибо, если Вы еще напишете где 20-50 штук баксов на него взять, цены совету не будет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 11:06 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
To Torin: Самое зарумное - не хранить (не вычислять и не обновлять) остатки в реляционном ХД, а закачивать в куб только приходы и расходы. В кубе остатки будут вычисляться либо налету, либо можно сделать предварительно агрегаты. Это очень удобно делать в PowerPlay, но в MS AS, если помучаться и иметь мощное железо, все это тоже можно настроить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 11:47 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Я тоже думаю, что так логичнее, но хотелось бы узнать мнение того, кто такое на MS AS сделал. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 12:19 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Я тоже думаю, что так логичнее, но хотелось бы узнать мнение того, кто такое на MS AS сделал Если почитать дискуссии на эту тему, то я рассказывал как это делать в Cognos PowerPlay, а например Владимир Иванов - как в MS AS. Если правильно цепляться за агрегаты, по мнению Владимира все будет нормально. Если конечно не столкнетесь в будущем с проблемой лавинообразного роста куба в MS AS (поэтому например компании у которых большие объемы данных предпочитают не рисковать и делают кубы в PowerPlay, который этому неприятному эффекту не подвержен). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 12:23 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
To Torin i Jurii. Dlya ucheta ostatkov v MS AS ya bi vse ravno derzhal v DWH tablichku s ostatkami na nachalo mesya tablichku s dvizheniyami, a v MS AS postroil bi 2 kubika - kubik dvizheni i kubik ostatkov, a potom bi svel ih v edinii virtualnii kubik. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 12:26 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Юрий, MS AS не подвержен Data Explosion. Это самый свежий из OLAP-серверов и эта проблема там отсутствует By Design. Данные "взрываются" в реляционном хранилище, если хранить остатки на каждый день для каждого товара! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 12:35 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Вот !. истина уже рядом Я как раз ссылался на посты г-на Иванова, и как раз есть табличка остатков и табличка движения, более того, sp делаю простой вид движения - income и outgo to backfire: А как бы к практической стороне подойти ?. не жалко приватно кинуть копии экрана с макетом кубов и формулы мер ? Или с пивом бежать из Одессы ? ;-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 12:37 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
To Гликоген: Юрий, MS AS не подвержен Data Explosion. Это самый свежий из OLAP-серверов и эта проблема там отсутствует By Design. Ну значит MS AS еще сыроват и иногда сложный MDX взрывается. Об этой проблеме мне говорил один из экспертов по MS AS (именно эксперт, а не маркетолог). Эта проблема встречается в кубах, имеющих приличное количество измерений и не самых простых показателей. Если интересно - пишите на мыло, расскажу подробнее, могу дать координаты этого эксперта, но разумеется на форуме публиковать их не буду. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 12:51 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Да уж, по сравнению с PowerPlay, где такое невозможно лишь потому, что нет пользовательских многомерных вычислений ни в кубах, ни на клиенте - это большой недостаток! ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 13:02 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
To Torin Esli bezhat, to so svezhimi rakami, a piva u nas i svoego navalom :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 13:07 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
To Jurii MS AS ne vzrivaetsya, a tormozit, i to na "levih" zaprosah pri "levom" dizaine. Tak krivim zaprosom mozhno lyuboi instrument zagnat. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 13:11 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Ctrl-Break ! Сенсеи ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 13:25 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
2 Гликоген Данные "взрываются" в реляционном хранилище, если хранить остатки на каждый день для каждого товара! Смелое утверждение! Даже - очень смелое! Если так, то почти все OLTP enterprise системы давно бы уже "взорвались", т.к: -- используются РСУБД -- храняться остатки на каждый день -- более того - хранятся все проводки Вывод: Вы не знаете, что такое "взрыв данных" и как хранятся данные в РОЛАП. ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 14:17 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Трудно удержаться to Jimmy: Тихо намекну, что OLTP система остатки на каждый день как правило не хранят, а хранят текущий, что большая разница. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 14:35 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
2 Torin Тихо намекну, что OLTP система остатки на каждый день как правило не хранят, а хранят текущий, что большая разница. "Диасофт 5NT" - около 30% банковского рынка (т.е. не на коленке сделана). Хранятся остатки на каждый день. Concorde XAL - ERP система масштаба предприятия. Хранятся остатки на каждый день. 2 Гликоген О взрыве данных: DSS также сводит к минимуму влияние фундаментальной проблемы технологии OLAP - взрыва данных, вызываемого избыточным предварительным вычислением агрегатов. Как показано выше, взрыв данных в OLAP является результатом многомерной предварительной агрегации. В традиционных системах OLAP данные, не прошедшие такой агрегации, оказываются недоступными для целей анализа и построения отчетов, если только их не вычислять во время выполнения. Предварительное вычисление и сохранение всех возможных комбинаций агрегатов (например, сумма всех продуктов и уровней продуктов по всем периодам времени, по всем организациям, по всем каналам распространения и т.д.) в традиционных продуктах OLAP приводит к мощному взрыву данных. Источник: http://www.olap.ru/desc/microsoft/SQL7_dss.asp Если же имелись в виду маркетинговые заявления Sybase о "взрыве данных в РОЛАП", то это, ИМХО, - не более чем заявленя, с целью продвинуть Sybase IQ. По сути, там происходит подмена понятий "рост объемов данных" и "взрыв данных", т.е. несжатые данные => взрыв данных (по логике данного заявления) Источник: http://www.sybase.ru/Syb/products/dataware/technologybuilding.htm ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 14:48 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Еще по "взрыву данных" "Взрыв" базы данных представляет собой феномен многомерных баз. Несмотря на то, что эта проблема исследовалась специалистами, тем не менее, трудно объяснить, почему и как это происходит. Представляется, что это связано с разреженностью базы данных и предварительной агрегацией данных. Если многомерная база данных содержит небольшое число элементов данных, сравнимое с количеством обеспечиваемых ею уровней агрегации, каждый фрагмент данных будет вносить больший вклад во все получаемые из него данные. Когда база данных "взрывается", размер ее становится существенно больше, чем он должен быть. Сложно определить условия "взрыва" базы данных или предсказать, "взорвется" ли некая конкретная структура. Одним из подходов, который, похоже, может помочь решить проблему "взрыва", является динамическое управление разреженными данными. Эта методика позволяет анализировать свои собственные модели хранения и оптимизировать их с целью предотвращения "взрыва" базы данных. Источник: http://www.olap.ru/basic/olap_arch.asp ЗЫ Спросите - почему я так вцепился в этот самый "взрыв данных" в РОЛАП? Просто. Сейчас мы (ПЦ Datagy, Diasoft) поднимаем ХД в нескольких московских банках. Подчеркну особо - не витрин данных, которые часто называются Хранилищами Данных (для красного словца), а именно полноценных трехуровневых корпоративных ХД . Так вот - в качестве OLAP используется MSTR или BO, которые являются именно ROLAP инструментами. Данных, как вы сами понимаете, в банках - немеряно. И что? Никаких "взрывов данных" не наблюдается, не смотря на точ, что измерений (или разрезов или атрибутов) - несколько десятков. Остатки имеются на каждый день по каждому счету + агрегаты на уровне счетов 2-го порядка + агрегаты по среднехронологическим остаткам за месяц по каждому счету. Да, массивы данных - серьезные, но полностью контролируемые. ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 15:09 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
To Гликоген: Да уж, по сравнению с PowerPlay, где такое невозможно лишь потому, что нет пользовательских многомерных вычислений ни в кубах, ни на клиенте - это большой недостаток! В PowerPlay пользовательские многомерные вычисления выполняются в конструкторах выражений или через встроенные функции вычислений. Это более высокоуровневый подход чем скриптинг в MDX. Этот факт и высокое качество PowerPlay, который совершенствуется 14 лет гарантирует, что проблемы взрыва не существует. Теоретически MDX более универсален, но вот пока не известны задачи, где бы он выигрывал у визуальных средств PowerPlay... To backfire: MS AS ne vzrivaetsya, a tormozit, i to na "levih" zaprosah pri "levom" dizaine. Tak krivim zaprosom mozhno lyuboi instrument zagnat. Я говорил не о торможении MS AS, а именно о резком росте размера куба (в разы а не на проценты при добавлении нового показателя). To Jimmy: Тихо намекну, что OLTP система остатки на каждый день как правило не хранят, а хранят текущий, что большая разница. "Диасофт 5NT" - около 30% банковского рынка (т.е. не на коленке сделана). Хранятся остатки на каждый день. Concorde XAL - ERP система масштаба предприятия. Хранятся остатки на каждый день. Возможно в банковской или финансовой отрасли вполне реально хранить остатки на каждый день, но в оптовой/розничной торговле слишком велико произведение количества товаров на количество мест хранения на количество дней... Что касается вопроса взрыва, то я поднимал его лишь в контексте многомерного OLAP. Раньше я полагал, что этой проблеме подвержены Oracle Express и Hyperion Essbase, но потом узнал, что и у MS AS иногда эта проблема возникает, хотя и не так часто. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 15:26 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
2 Jurii Возможно в банковской или финансовой отрасли вполне реально хранить остатки на каждый день, но в оптовой/розничной торговле слишком велико произведение количества товаров на количество мест хранения на количество дней Налицо - семантический разрыв :0). Одно и то же слово "остатки" имеет разное значение для разных предметных областей. Посему допускаю, что остатки (товара) на каждый день по партиям и местам хранения действительно могут дать нехилый прирост данных , что заставляет еще раз тщательно проанализировать необходимость создания агрегатов. Однако, в грамотно спроектированной ROLAP схеме это будет именно прирост данных , а не взрыв. ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 17:06 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
2 Jimmy Не того парня цитируешь. Похоже, он ничего не понимает в том, о чём пишет. "Взрыв" базы данных представляет собой феномен многомерных баз. Ничего подобного - взрыв данных не зависит от способа хранения MOLAP и ROLAP в одинаковой степени подвержены этому феномену. Объяснение здесь Представляется, что это связано с разреженностью базы данных и предварительной агрегацией данных. В действительности (см. источник выше, а также вот эту статью ), разреженность объясняет рост базы примерно на порядок. Как оказывается, это намного меньше чем рост, который может обеспечить добавление новых измерений и новых уровней агрегирования. В общем, пересказывать не буду, читайте сами. Набирайтесь ума-разума :)) С уважением, Константин Лисянский http://lissianski.narod.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 19:40 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
2 Константин Лисянский ОК, обтекаю. 2 Глюкоген Приношу свои извинения. ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 20:07 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
to Jimmy Данные "взрываются" в реляционном хранилище, если хранить остатки на каждый день для каждого товара! Смелое утверждение! Даже - очень смелое! Обратное утверждение было бы не менее смелым :) Храним остатки 100 магазинов разничной сети на каждый день за 1 год, номенклатура товаров 100000 наименований, получаем 100*100000*365 = 3 650 000 000 фактов в таблице Добавляем еще порядок чтобы прикинуть размер в байтах Итого 36 гигабайт в год Это не взрыв данных? Или такого примера на практике не встречается? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 20:12 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
To Jurii Я говорил не о торможении MS AS, а именно о резком росте размера куба (в разы а не на проценты при добавлении нового показателя). Kakogo pokoazatelya? Meri ili izmenreniya? Privedite togda pozhaluista konkretnii sluchai s ciframi i faktami, kogda vi "na takie grabli nastupili" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 21:08 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=32460538&tid=1872734]: |
0ms |
get settings: |
4ms |
get forum list: |
9ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
42ms |
get topic data: |
6ms |
get forum data: |
1ms |
get page messages: |
36ms |
get tp. blocked users: |
1ms |
| others: | 215ms |
| total: | 318ms |

| 0 / 0 |
