Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Собственно, не только совет нужен, а в целом, вектор направления усилий не совсем ясен. Ситуация: 2 года назад сваял на SQL несколько табличек, очень по назначению похожих на витрину для остатков (дата, филиал, товар, на начало, 6 видов движения, на конец + все это в суммах). + ETL для этого. Сначала была табличка остатков и движения за месяц, потом 2-я табличка хранила за каждый день и при загрузке данных расчитывалась первая. За это время логисты успели наваять кучу приблуд, которые тянут эти таблички прямо из SQL. НИКАКОГО OLAP не было. Сейчас есть совершенно новый поток данных и заходелось сделать еще одну витрину остатков с целью вывода в аналитическое приложение и ухода от унаследованных первых 2 табличек. Объем данных не слабый - около 10 тыс товаров (рабочих - до 3), 300 складов, движение по 700 тыс. товарных операций в месяц. Видится 2 варианта реализации: 1) "тупо в лоб" Делаем табличку с расчитанным TSQL остатком на каждый день. Тем же TSQL заполняем (для совместимости) унаследованные таблички. Сверху вешаем куб на новую табличку. Считал, что за месяц около 2 мил. записей, а с ходу появится 25 млн за весь период. Работает по 30 минут только на расчете остатков для 3 табличек. 2) "умно, но труднее" Делаем табличку с остатками, лежащими в первом дне, и только оборотами за месяц на каждый день (практически идеально для моей схемы в хранилище). Делаем куб, в котором мера остатка - расчитываемая из начальных +- обороты. Вместо унаследованных табличек пишем view с OPENQUERY к кубу (таким образом их не надо будет рассчитывать). Записей должно быть меньше раза в 3, чем в первом случае. Работает 5 минут над расчетом минут над расчетом данных для витрины. Ограничения: Доступ к данным после загрузки должен появиться как можно быстрее (максимум через 30 минут после начала импорта данных). Импорт происходит раз в день, но около 9-10 утра. . Потери производительности на запросах к унаследнованным таблицам быть не должно ( а так туча Group by и т.д.) P.S. В данном случае рассматривать только MS AS 2K + ProClarity. В качестве примечания буду рад узнать как это MSTR было бы лучьше подсунуть. Спасибо ! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 01:51 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Я здесь вижу только проблемы ETL загрузки, а не инструментальные. Поэтому, вопросы: -- Почему не делать загрузку ночью? -- Так ли критично "30-40 мин после импорта", или это - пожелания потенциальных пользователей? -- Какова конфигурация сервера и что за СУБД? -- Есть ли кластерные индексы в агрегатных таблицах (вообще - индексы, в состав ключа которых входит расчитываемая сумма)? Удаляются ли они при загрузке? По MSTR : -- Можно хранить только остатки, а агрегации расчитывать на лету, но производительность запросов (отчетов) снизится -- Чтобы отчеты побыстрее ворочались - лучше иметь таблицы-агрегаты. Размер таблиц : -- А действительно нужно использовать данные за весь период? -- Может стоит использовать таблицы оперативных данных (за самый востребованный период) и архивных данных, которые возможно понадобятся. Если так, то оперативные данные можно юзать с агрегатами, а для архивных - расчитывать "на лету". ЗЫ MSTR одинаково работает с большими и малыми массивами данных, т.к. это - не инструмент настройки производительности БД (хотя там имеются средства настройки для работы с VLDB - Very Large Data Bases). Поэтому, вопросы производительности - к администратору & проектировщику БД. Если с этим - все в порядке, MSTR не подведет. ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 09:57 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Вы отдаете себе отчет, что OLAP на таких задачах нецелесообразен? Это притягивание OLAP за уши. SQL-процедуры будут проще, чем кубы с MDX-наворотами, будут быстрее строиться отчеты и оперативней доступность. Посмотрите реляционный репортинг типа MS ReportingServices или Cognos ReportNet 1.1 У Cognos также есть ETL DecisionStream, поддерживающий специальные виды агрегации типа "последнее непустое", и OLAP-решения PowerPlay, со встроенной агрегацией "На конец" и "На текущий период". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 10:28 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
конечно спасибо, но: to Jimmy: Читаем ограничения - пакеты появляются утром и до 10-11 должны уже лежать в витринах или кубах. Процессы такие, что делать.. 2-х проц П4, сказевые винты, 1 Г, вообщем достаточно быстрый кластерные есть, но не по сумме, есно, на суррогатных ключах места и времени данных, повторений около 200. Нельзя ли конкретнее об " то оперативные данные можно юзать с агрегатами, а для архивных - расчитывать "на лету" - как делать в принципе ? to Гликоген: Это почему ? расчет остатков на день по складу и номенклатуре всего лишь операция с максимум 30 слагаемыми. В постах встречал и такие реализации. про "ETL DecisionStream" огромное спасибо, если Вы еще напишете где 20-50 штук баксов на него взять, цены совету не будет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 11:06 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
To Torin: Самое зарумное - не хранить (не вычислять и не обновлять) остатки в реляционном ХД, а закачивать в куб только приходы и расходы. В кубе остатки будут вычисляться либо налету, либо можно сделать предварительно агрегаты. Это очень удобно делать в PowerPlay, но в MS AS, если помучаться и иметь мощное железо, все это тоже можно настроить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 11:47 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Я тоже думаю, что так логичнее, но хотелось бы узнать мнение того, кто такое на MS AS сделал. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 12:19 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Я тоже думаю, что так логичнее, но хотелось бы узнать мнение того, кто такое на MS AS сделал Если почитать дискуссии на эту тему, то я рассказывал как это делать в Cognos PowerPlay, а например Владимир Иванов - как в MS AS. Если правильно цепляться за агрегаты, по мнению Владимира все будет нормально. Если конечно не столкнетесь в будущем с проблемой лавинообразного роста куба в MS AS (поэтому например компании у которых большие объемы данных предпочитают не рисковать и делают кубы в PowerPlay, который этому неприятному эффекту не подвержен). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 12:23 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
To Torin i Jurii. Dlya ucheta ostatkov v MS AS ya bi vse ravno derzhal v DWH tablichku s ostatkami na nachalo mesya tablichku s dvizheniyami, a v MS AS postroil bi 2 kubika - kubik dvizheni i kubik ostatkov, a potom bi svel ih v edinii virtualnii kubik. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 12:26 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Юрий, MS AS не подвержен Data Explosion. Это самый свежий из OLAP-серверов и эта проблема там отсутствует By Design. Данные "взрываются" в реляционном хранилище, если хранить остатки на каждый день для каждого товара! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 12:35 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Вот !. истина уже рядом Я как раз ссылался на посты г-на Иванова, и как раз есть табличка остатков и табличка движения, более того, sp делаю простой вид движения - income и outgo to backfire: А как бы к практической стороне подойти ?. не жалко приватно кинуть копии экрана с макетом кубов и формулы мер ? Или с пивом бежать из Одессы ? ;-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 12:37 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
To Гликоген: Юрий, MS AS не подвержен Data Explosion. Это самый свежий из OLAP-серверов и эта проблема там отсутствует By Design. Ну значит MS AS еще сыроват и иногда сложный MDX взрывается. Об этой проблеме мне говорил один из экспертов по MS AS (именно эксперт, а не маркетолог). Эта проблема встречается в кубах, имеющих приличное количество измерений и не самых простых показателей. Если интересно - пишите на мыло, расскажу подробнее, могу дать координаты этого эксперта, но разумеется на форуме публиковать их не буду. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 12:51 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Да уж, по сравнению с PowerPlay, где такое невозможно лишь потому, что нет пользовательских многомерных вычислений ни в кубах, ни на клиенте - это большой недостаток! ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 13:02 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
To Torin Esli bezhat, to so svezhimi rakami, a piva u nas i svoego navalom :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 13:07 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
To Jurii MS AS ne vzrivaetsya, a tormozit, i to na "levih" zaprosah pri "levom" dizaine. Tak krivim zaprosom mozhno lyuboi instrument zagnat. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 13:11 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Ctrl-Break ! Сенсеи ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 13:25 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
2 Гликоген Данные "взрываются" в реляционном хранилище, если хранить остатки на каждый день для каждого товара! Смелое утверждение! Даже - очень смелое! Если так, то почти все OLTP enterprise системы давно бы уже "взорвались", т.к: -- используются РСУБД -- храняться остатки на каждый день -- более того - хранятся все проводки Вывод: Вы не знаете, что такое "взрыв данных" и как хранятся данные в РОЛАП. ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 14:17 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Трудно удержаться to Jimmy: Тихо намекну, что OLTP система остатки на каждый день как правило не хранят, а хранят текущий, что большая разница. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 14:35 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
2 Torin Тихо намекну, что OLTP система остатки на каждый день как правило не хранят, а хранят текущий, что большая разница. "Диасофт 5NT" - около 30% банковского рынка (т.е. не на коленке сделана). Хранятся остатки на каждый день. Concorde XAL - ERP система масштаба предприятия. Хранятся остатки на каждый день. 2 Гликоген О взрыве данных: DSS также сводит к минимуму влияние фундаментальной проблемы технологии OLAP - взрыва данных, вызываемого избыточным предварительным вычислением агрегатов. Как показано выше, взрыв данных в OLAP является результатом многомерной предварительной агрегации. В традиционных системах OLAP данные, не прошедшие такой агрегации, оказываются недоступными для целей анализа и построения отчетов, если только их не вычислять во время выполнения. Предварительное вычисление и сохранение всех возможных комбинаций агрегатов (например, сумма всех продуктов и уровней продуктов по всем периодам времени, по всем организациям, по всем каналам распространения и т.д.) в традиционных продуктах OLAP приводит к мощному взрыву данных. Источник: http://www.olap.ru/desc/microsoft/SQL7_dss.asp Если же имелись в виду маркетинговые заявления Sybase о "взрыве данных в РОЛАП", то это, ИМХО, - не более чем заявленя, с целью продвинуть Sybase IQ. По сути, там происходит подмена понятий "рост объемов данных" и "взрыв данных", т.е. несжатые данные => взрыв данных (по логике данного заявления) Источник: http://www.sybase.ru/Syb/products/dataware/technologybuilding.htm ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 14:48 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Еще по "взрыву данных" "Взрыв" базы данных представляет собой феномен многомерных баз. Несмотря на то, что эта проблема исследовалась специалистами, тем не менее, трудно объяснить, почему и как это происходит. Представляется, что это связано с разреженностью базы данных и предварительной агрегацией данных. Если многомерная база данных содержит небольшое число элементов данных, сравнимое с количеством обеспечиваемых ею уровней агрегации, каждый фрагмент данных будет вносить больший вклад во все получаемые из него данные. Когда база данных "взрывается", размер ее становится существенно больше, чем он должен быть. Сложно определить условия "взрыва" базы данных или предсказать, "взорвется" ли некая конкретная структура. Одним из подходов, который, похоже, может помочь решить проблему "взрыва", является динамическое управление разреженными данными. Эта методика позволяет анализировать свои собственные модели хранения и оптимизировать их с целью предотвращения "взрыва" базы данных. Источник: http://www.olap.ru/basic/olap_arch.asp ЗЫ Спросите - почему я так вцепился в этот самый "взрыв данных" в РОЛАП? Просто. Сейчас мы (ПЦ Datagy, Diasoft) поднимаем ХД в нескольких московских банках. Подчеркну особо - не витрин данных, которые часто называются Хранилищами Данных (для красного словца), а именно полноценных трехуровневых корпоративных ХД . Так вот - в качестве OLAP используется MSTR или BO, которые являются именно ROLAP инструментами. Данных, как вы сами понимаете, в банках - немеряно. И что? Никаких "взрывов данных" не наблюдается, не смотря на точ, что измерений (или разрезов или атрибутов) - несколько десятков. Остатки имеются на каждый день по каждому счету + агрегаты на уровне счетов 2-го порядка + агрегаты по среднехронологическим остаткам за месяц по каждому счету. Да, массивы данных - серьезные, но полностью контролируемые. ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 15:09 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
To Гликоген: Да уж, по сравнению с PowerPlay, где такое невозможно лишь потому, что нет пользовательских многомерных вычислений ни в кубах, ни на клиенте - это большой недостаток! В PowerPlay пользовательские многомерные вычисления выполняются в конструкторах выражений или через встроенные функции вычислений. Это более высокоуровневый подход чем скриптинг в MDX. Этот факт и высокое качество PowerPlay, который совершенствуется 14 лет гарантирует, что проблемы взрыва не существует. Теоретически MDX более универсален, но вот пока не известны задачи, где бы он выигрывал у визуальных средств PowerPlay... To backfire: MS AS ne vzrivaetsya, a tormozit, i to na "levih" zaprosah pri "levom" dizaine. Tak krivim zaprosom mozhno lyuboi instrument zagnat. Я говорил не о торможении MS AS, а именно о резком росте размера куба (в разы а не на проценты при добавлении нового показателя). To Jimmy: Тихо намекну, что OLTP система остатки на каждый день как правило не хранят, а хранят текущий, что большая разница. "Диасофт 5NT" - около 30% банковского рынка (т.е. не на коленке сделана). Хранятся остатки на каждый день. Concorde XAL - ERP система масштаба предприятия. Хранятся остатки на каждый день. Возможно в банковской или финансовой отрасли вполне реально хранить остатки на каждый день, но в оптовой/розничной торговле слишком велико произведение количества товаров на количество мест хранения на количество дней... Что касается вопроса взрыва, то я поднимал его лишь в контексте многомерного OLAP. Раньше я полагал, что этой проблеме подвержены Oracle Express и Hyperion Essbase, но потом узнал, что и у MS AS иногда эта проблема возникает, хотя и не так часто. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 15:26 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
2 Jurii Возможно в банковской или финансовой отрасли вполне реально хранить остатки на каждый день, но в оптовой/розничной торговле слишком велико произведение количества товаров на количество мест хранения на количество дней Налицо - семантический разрыв :0). Одно и то же слово "остатки" имеет разное значение для разных предметных областей. Посему допускаю, что остатки (товара) на каждый день по партиям и местам хранения действительно могут дать нехилый прирост данных , что заставляет еще раз тщательно проанализировать необходимость создания агрегатов. Однако, в грамотно спроектированной ROLAP схеме это будет именно прирост данных , а не взрыв. ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 17:06 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
2 Jimmy Не того парня цитируешь. Похоже, он ничего не понимает в том, о чём пишет. "Взрыв" базы данных представляет собой феномен многомерных баз. Ничего подобного - взрыв данных не зависит от способа хранения MOLAP и ROLAP в одинаковой степени подвержены этому феномену. Объяснение здесь Представляется, что это связано с разреженностью базы данных и предварительной агрегацией данных. В действительности (см. источник выше, а также вот эту статью ), разреженность объясняет рост базы примерно на порядок. Как оказывается, это намного меньше чем рост, который может обеспечить добавление новых измерений и новых уровней агрегирования. В общем, пересказывать не буду, читайте сами. Набирайтесь ума-разума :)) С уважением, Константин Лисянский http://lissianski.narod.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 19:40 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
2 Константин Лисянский ОК, обтекаю. 2 Глюкоген Приношу свои извинения. ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 20:07 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
to Jimmy Данные "взрываются" в реляционном хранилище, если хранить остатки на каждый день для каждого товара! Смелое утверждение! Даже - очень смелое! Обратное утверждение было бы не менее смелым :) Храним остатки 100 магазинов разничной сети на каждый день за 1 год, номенклатура товаров 100000 наименований, получаем 100*100000*365 = 3 650 000 000 фактов в таблице Добавляем еще порядок чтобы прикинуть размер в байтах Итого 36 гигабайт в год Это не взрыв данных? Или такого примера на практике не встречается? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 20:12 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
To Jurii Я говорил не о торможении MS AS, а именно о резком росте размера куба (в разы а не на проценты при добавлении нового показателя). Kakogo pokoazatelya? Meri ili izmenreniya? Privedite togda pozhaluista konkretnii sluchai s ciframi i faktami, kogda vi "na takie grabli nastupili" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 21:08 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
2 Tulenev Храним остатки 100 магазинов разничной сети на каждый день за 1 год, номенклатура товаров 100000 наименований, получаем 100*100000*365 = 3 650 000 000 фактов в таблице Повезло вам с магазинами, а магазинам - с ассортиментом :0) ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.03.2004, 21:13 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
2 Jimmy ОК, обтекаю. Ну, не надо так драматизировать, пожалуйста. На самом деле, твоя предыдущая цитата по делу была - там именно про агрегатный взрыв написано. И про несжатые данные - тоже правильно. Так что, сорри, сам не досмотрел. С уважением, Константин Лисянский http://lissianski.narod.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.03.2004, 01:23 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Не надоело портить посты на тему ? Хорошо бы модератору сделать типо форум "Чай с лимоном" как на forum.nobat.ru Также не понял - кто-то пользуется openquery к кубику из TSQL для работы ? to backfire: Мне показалось, что стоит подождать якись прикладов (примеров по приватной почте).жду.. спасибо.. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.03.2004, 09:00 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
2Tulenev автор100*100000*365 Действительно с ассортиментом перебор все-таки. А с наличием 100 магазинов с 100тыс товаров в каждом на каждый день. - у нас пока нет межгалактических торговых сетей) Когда будут, то и железо будет другое. Свой пример: 6 тыщ партий товаров ежедневно*365. А все остальные признаки принадлежат партии, то есть Партия, Склад, ЦФУ, Производитель, Страна, итд Всего получается за квартал 2млн записей занимающих 2Гб. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.03.2004, 10:01 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
2Quark Ну, конечно, дальше начинаются оговорки, что в отдельно взятом магазине присутствует только часть ассортимента, и в принципе нули можно не хранить, и если не было движений, то тоже можно не хранить, а вытягивать остатки на дату последнего движения, но это все уже элементы процедуры _подсчета_ остатков, а речь шла, кажется, о возможности примитивного хранения всех остатков ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.03.2004, 10:21 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
тут есть "чай с лимоном" - "Просто треп" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.03.2004, 10:31 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Что-то кого то глючит: в модеры заделался ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.03.2004, 10:55 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
2 Tulenev 1. Так вот - имеем 100*100000*365 записей. ОК. Это - хорошо или плохо? Для OLTP системы - плохо (но возможно: пример - билинг, где объемы совсем взрослые), а для аналитической? Если заказчику нужно для анализа наличие всех остатков? Придется закрыть глаза на "жуткое" количество записей и искать решение (скорее всего - аппаратное или гибрид аппаротного и проектировочного). 2. Ты продемонстрировал, как легко можно посчитать размер таблицы при известных начальных условиях. Это является "взрывом данных", или, все таки - контролируемый рост БД? Второе, скорее. 3. Теперь, те же условия, только вопрос зададим "кубистам" - тем, кто юзает MOLAP. Каков размер куба сейчас и что будет если добавим еще одно измерение, например "Номер партии"? Мне кажется, что достаточно затруднительно ответить (для скептиков - буду увеличивать число размерностей до N. В случае РОЛАП с достаточной точностью будет просчитан результат, чего нельзя сказать о МОЛАП). Может будет "взрыв", а может и нет. А может - уже произошел... Т.е. на лицо слабоконтролируемый рост объемов данных (куба), который подразумевает неожиданные (статистические) выбросы . Так не это ли и есть "взрыв"? ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.03.2004, 11:07 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
2 Константин Лисянский Цитата из статьи: It used a six-dimensional (including measures) banking cube, based on a 13 million row fact table. The relational fact table took 5188 Mb (including indexes) but not including any aggregates. Even including a significant number of aggregates, the MOLAP cube only took 336Mb, Наши данные (РОЛАП, таблица, хорошо тебе знакомая - dmtb_acct_bal_fact) Таблица, которая содержит деразряженные (вопрос производительности - можно было-бы и не деразряжать) остатки на счетах банка за полтора года: СУБД: Sybase ASE 12.5 Записей: 13934112 Размер данных с индексами: 2520 Мб Размерностей: более десяти (правда - часть из них иерархична и прикручена не напрямую к таблице фактов) Результат (размер) в 2 раза меньший, чем в примере, что позволяет усомниться и в цифре 336 Мб. Собственно - к чему это я? А, да! Везде есть место сомнению. Автор статьи, по моему, "продвигает" MOLAP решения, поэтому и "развеевает мифы". ЗЫ Я тут видел надысь рекламу Московского УВД: "В 2003 году было найдено 20000 угнанных автомобилей!" Вопрос: А сколько не найдено? ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.03.2004, 11:38 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
2 Jimmy: ваши мощные посылы серьезно скомпрометированы вакансией вашей компании на headhunter.ru Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. (обратите внимание на оклад) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.03.2004, 12:15 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.03.2004, 14:27 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Похоже, я так и не дождусь ответа, как мой "мощный посыл серьезно скомпрометирован" размером оклада специалиста без опыта . А жаль. ЗЫ Я абсолютно вам это говорю! (с) В. Черномырдин ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.03.2004, 15:07 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Это, по-вашему, достойная специалиста по DWH оплата? Вы не принимали участия в ее обсуждении? Как дошли до жизни такой? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.03.2004, 15:08 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
0. Специалист-специалисту рознь. 1. Для специалиста по DWH с опытом - оплата совсем другая. 2. Для программиста ETL без опыта - такая. 3. Я не принимал участия в обсуждении ничьих зарплат, кроме собственной, которая меня, лично, устраивает. ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.03.2004, 15:25 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Баста портить мою тему ! ;-) А денег мало, конечно, особенно для Москвы. Я примерно на таких условиях ищу в Одессе (Украина) - если кто прочтет - обращайтесь ! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.03.2004, 18:31 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Да уж, разговор пошел не туда... Рискну описать, как на данный момент делается у меня. А делается тупо (и думаю, ничего нового не скажу) - в таблице фактов хранятся обороты за день, в кубе прописаны MDX формулы для расчета остатков на конец каждого периода, начиная с уровня [День] по этим оборотам, далее для средних за период остатков в количестве и сумме. Такой подход уже не очень устраивает, приходится делать ряд допущений и упрощений в формулах, так как начинает страдать сорость расчетов. С другой стороны экперименты расчетов того же на основе snapshot' а остатков на даты, когда были их изменения, пока не привели к положительным результатам. А хранить остатки в таблице фактов на каждый день для меня, кажется, нереальным. Посчитаем на основе данных, имеющихся в моем распоряжении: полный справочник товаров - 63722 артикула, складов (т. е. неких сущностей, по которым фирме интересно знать движение товара и его остатки) - 30, дней, за которые имеются данные - 1186 (с 01.01.2001 г.). В предположении, что не на каждом складе есть полная номенклатура товаров, подсчитал DISTINCT ArtcleID, WarehouseID, получилось 139 327 комбинаций. За весь период времени (1186 дней) надо создать таблицу и залить в нее 139 327 * 1186 = 165 241 822 записей, и каждый день добавлять по 139 327 штук. А номенклатура растет, как и кол-во складов. Пока успокоился на том, что для кубов разного назначения настроил разную гранулярность измерений времени и товара. В итоге товародвижение можно смотреть с детализацией до недели (хотя, в принципе никого из пользователей не убъет, если она уменьшится и до месяца), ну а другие отчеты - до дня, но медленнее. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.04.2004, 11:08 |
|
||
|
Нужен совет по выбору модели остатков
|
|||
|---|---|---|---|
|
#18+
Меня в таком же направлении backfire "толкнул" Я думаю, что оно верно, пока делаю, посмотрим.. Хотя такой подход уже озвучивался, вероятно надо было просто сказать, что оно так работает. А дальше как в том фильме - "вижу цель, не вижу препятствий" ;-) C расчетом на уровне СУБД большей частью беспокоят остатки без движения, которые все равно приходится вставлять на каждый день и, конечно, объем. Если время формирования витрины остатков на каждый мембер измерений можно перенести на MS AS, который его "спрячет" за увеличение на 1-3 сек времени отклика, то это уже хорошо.. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.04.2004, 17:11 |
|
||
|
|

start [/forum/topic.php?all=1&fid=49&tid=1872734]: |
0ms |
get settings: |
9ms |
get forum list: |
20ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
54ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
90ms |
get tp. blocked users: |
1ms |
| others: | 239ms |
| total: | 433ms |

| 0 / 0 |
