Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Где истина?
|
|||
|---|---|---|---|
|
#18+
В последнее время собираю остатки информации за начало 90-х годов для загрузки в хранилище. Фирматогда была еще молодая и данных мало. Схема такая: архив старой БД-копия архива в MSSQL(А)-Хранилище данных(Б) Данные обновляются каждую ночь. Из пути А в Б есть два варианта трансформации, в связи с тем что измерения часто меняются. Есть три варианта решения. 1. Делать трансформацию каждый день. Плюсы: меньше кода, меньше работы Минусы: логически думаю некрасиво 2. Делать перетрансформацию только изменившихся измерений Плюсы: быстрее Минусы: больше кода, больше работы 3. Создать уник коды и ежедневно привязывать уник коды к требуемым листьям. Так советует Макрософт делать для больших таблиц фактов. Поэтому данный вариант можно не рассматривать в силу того что таблицы фактов маленькие. Склоняюсь к варианту 1, но понимаю что ежели в будущем будет необходимо еще часоне обновление, то придется переписывать в 2 или 3. Но еще часное в ближайшие 6 месяцев точно не надо будет. А как вы бы поступили? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2004, 08:48 |
|
||
|
Где истина?
|
|||
|---|---|---|---|
|
#18+
сорри, еще часоне = ежечасное два варианта трансформации=три варианта трансформации ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2004, 08:50 |
|
||
|
Где истина?
|
|||
|---|---|---|---|
|
#18+
Так почему данные часто меняются если данные 90-ых годов? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2004, 08:52 |
|
||
|
Где истина?
|
|||
|---|---|---|---|
|
#18+
Меняются измерения. Например есть клиент, товар итп Сегодня он в одной группе, завтра в другой. Сегодня например это один элемент, завтра его надо переименовать в другой, соотвественно все старые данные по алгориту уйдут в другие исторические иерархии. итп. И по части измерений необходимо исторические данные тоже подгонять под текущее положение их в иерархии. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2004, 09:17 |
|
||
|
Где истина?
|
|||
|---|---|---|---|
|
#18+
Туплю наверное, но всё же. Если меняется взамоположение/наименование членов измерений, то зачем же тогда повторная выгрузка данных? Наверное нужно связывать члены измерений со "старыми" дынными по каком - нибудь ID. И пусть себе всё меняется, данные то тут не причём. Если по Id не связаны а связаны по именам, то проще в старой БД создать поле Id в который один раз загнать id`ы членов измерений. В принципе Вы наверное это и предпологали в фразе "3. Создать уник коды и ежедневно привязывать уник коды к требуемым листьям. " Тока опять же зачем ежедневно привязывать уник коды к листьям? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2004, 11:11 |
|
||
|
Где истина?
|
|||
|---|---|---|---|
|
#18+
Ты прав, именно так и указывает делать Майкрософт. Но тогда получается необходим дополнительный уровень иерархии то есть Реальный объект - Уникальные коды его в различных таблицах фактов. Просто оценив объемы моих таблиц фактов я решил в некоторых кубах привязываться напрямую к Объекту, что конечно и породило данные проблемы, но зато экономит место. Просто считай хранилище всего лишь пока 25Гб, и таблицы факты которых необходимо перекрыживать более чем на 2,5Гб не встречаются. И думаю что прирост перекрыживаемых таблиц фактов для этих кубов будет макс 0,5Гб в год. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2004, 12:20 |
|
||
|
Где истина?
|
|||
|---|---|---|---|
|
#18+
2 Quark Ваша проблема, если я правильно понял называется "Медленно меняющиеся измерения" или Slow Changing Dimensions Существует несколько их типов и к каждому типу существует стандартный метод работы. Советую поискать по ключевым словам Slow Changing Dimensions или, если есть, почитать главу по ним в книжке Ральфа Кимбала (Ralph Kimball) The Data Warehouse Toolkit. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2004, 12:36 |
|
||
|
Где истина?
|
|||
|---|---|---|---|
|
#18+
В гигабайтах сложно оценить объём, но хранилище в 25ГБ - вообще то не слабо, на мой взгляд. Не совсем понял про дополнительный уровень. Ну вот есть у тебя какой - то "центральный справочник" в котором храняться все потенциальные члены измерений. Наверника в нём есть какой - то Id. Пропиши его один раз в старой базе - и всё. Это не всегда просто, зато один раз и на долго. Да, к стати, после этого, когда ты хранилище данных зальёш старую базу то он больше и не нужна будет. Измерение строишь по "Центральному справочнику" таблицы которого связываешь по Id с полями таблиц фактов. Классическая и как мне кажется - простая и удобная идеология. А как уже там будут взаимно перемещаться члены в "Центральном справочнике" - таблице фактов абсолютно по барабану. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2004, 12:45 |
|
||
|
Где истина?
|
|||
|---|---|---|---|
|
#18+
2Birkhoff Спасибо, эту статью читал пару месяцев назад. К сожалению у меня быстроменяющиеся измерения. Оператор нажимает на кнопку и пару сотен листьев в одну группу,через неделю он их в другую группу итп. По той статье сделал еще несколько измерений в которых хранится история. ТО есть Ветка1-Листок1_20030101; Ветка2_Листок1_20040101 итп 2GoodLeo Спасибо, буду думать в таком измерении. Но немного не то так как уникальный код у меня в виде Fullpath, ( а не просто id, поэтому при процессинге строится заново, но поиск в старых идет по его "shortpath",заодно сортируются ошибки дублирования.) так проще понимается, но видимо придется получше это рассмотреть. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2004, 13:08 |
|
||
|
|

start [/forum/topic.php?fid=49&fpage=398&tid=1872907]: |
0ms |
get settings: |
8ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
33ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
40ms |
get tp. blocked users: |
1ms |
| others: | 226ms |
| total: | 338ms |

| 0 / 0 |
