Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
Привет! При формировании куба из таблицы фактов берется строк меньше, чем в ней есть! При расчете там крутится counter и не доходит до длины таблицы! Что может на это влиять? Я явно нигде никаких фильтров не задавал! Пытаюсь понять какие именно он строки не взял, по пока это не удалось... Сервер: MS AS, источник MS SQL. Заранее спасибо! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.06.2004, 21:05 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
Нашел! Это несуществующие ключи измерения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.06.2004, 21:12 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
Хорошее правило, всегда иметь FK на полях, по которым осуществляется соединение таблиц в схеме измерения или куба. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.06.2004, 21:16 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
В смысле Failure Key? Он же Default Member? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.06.2004, 21:22 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
В SQL базе должен быть Foregn Key Not Null ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.06.2004, 21:30 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
Ограничение целостности в моем случае не подойдет. В моем случае это номально, что у строк прописан тариф, который давно не существует. Перед формарованием куба я сделал подмену на ссылку на тариф "Unknown". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.06.2004, 21:47 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
прописан тариф, который давно не существует если он не существует в оперативной базе, то в хранилище он должен существовать ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.06.2004, 02:38 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
авторПеред формарованием куба я сделал подмену на ссылку на тариф "Unknown". Все правильно. Но этот же тариф Unknown должен существовать в таблице, по которой строится измерение тарифа. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.06.2004, 09:42 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
Но этот же тариф Unknown должен существовать в таблице Правильно, и эта таблица должна находиться в DWH, а не в OLAP, и если в таблицу фактов, находщуюся тоже в DWH, вставляются записи, в которых есть ссылки на несуществующие записи в таблце измрения, то эти записи должны быть вставлены в таблцу измрения. з.ы. Читайте классику DWH и ETL. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.06.2004, 10:53 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
backfireз.ы. Читайте классику ... А у нас "судьба такой"... В юности заставляли читать классиков марксизма-ленинизма, теперь вот надо читать классику DWH и ETL. ;-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.06.2004, 11:31 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
LordOfSilenceА у нас "судьба такой"... В юности заставляли читать классиков марксизма-ленинизма, теперь вот надо читать классику DWH и ETL. ;-) Вы не одиноки, мы тоже это пережили и даже состояли. :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.06.2004, 12:12 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
Спасибо за совет! Как раз этого важного момента у меня и не было: накопления в DWH исторических тарифов. Теперь, соответственно, сделаю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.06.2004, 18:27 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
В следующей версии это будет подругому. Каждый уровень будет иметь Неизвестный элемент всегда. При чтении данных можно будет заставить сервер не пропускать такие записи. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.06.2004, 12:28 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
Александр БергерПри чтении данных можно будет заставить сервер не пропускать такие записи. Как? Там что Joins стали левыми? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.06.2004, 13:18 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
Совет по работе с выпадениями. 1) Сделайте Optimize Schema 2) Включите счетчик ошибок до 100 3) Дайти имя файла для складирования error key В результате куб будет значительно быстрее процессироваться и вы будете видеть какие элементы выпадают. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.06.2004, 13:19 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
Владимир ИвановСовет по работе с выпадениями. 1) Сделайте Optimize Schema 2) Включите счетчик ошибок до 100 3) Дайти имя файла для складирования error key В результате куб будет значительно быстрее процессироваться и вы будете видеть какие элементы выпадают. Nu na schet znachitelno bistree ya bi zasomnevalsya. Bistree vipolnyaetsya tolko SQL-zapros, t.k. join po optimizirovannim izmereniyam ne delaetsya, no eto ne glavnii rashod vremeni pri processinge. V osnovnom vremya tratitsya na raschet aggregacii, a na eto optimizaciya schemi cuba ne vliyaet. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.06.2004, 18:36 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
На кубах свыше 15 млн. фактов и при 15 измерениях обычно SQL-запрос занимает около 50% времени процессирования куба. Но главное даже часто не в этом. Оптимизированная схема видит выпадения элементов. Примерно также Юкон обходится без join ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.06.2004, 09:16 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
Владимир ИвановНа кубах свыше 15 млн. фактов и при 15 измерениях обычно SQL-запрос занимает около 50% времени процессирования куба. Но главное даже часто не в этом. Оптимизированная схема видит выпадения элементов. Примерно также Юкон обходится без join У меня другие цифры. Приблизительно 20-25% закачка на неоптимизированном кубе и 15-20% на оптимизированном. Если в DWH иметь FK в таблице фактов, то выпадающих элементов не будет по определению. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.06.2004, 10:19 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
Вы еще не учитываете, что алгоритмы поиска выпавших элементо обычно более тяжелые, чем просто вытягивание фактов. Так как поиск выпавших элементов это "шерстить" факты довольно тяжелыми конструкциями на базе exists. Пользователям очень часто эти элементы и не нужны. Например по ряду GSM-услуг (картинки, меллодии) можно иметь классификатор в 100 позиций, который толком ни кто не ведет. Те кто решали такие задачи понимают почему его не ведут. Восстановленный номер услуги типа 43658459 почти ни чего не дает для анализа (хотя недавно стали использовать эвристики для определения того что это было), а без него в других измерениях данные выпадают. Выпадение элементов, причем часто молчаливое, это серьезный дефект MS AS 2K. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.06.2004, 11:40 |
|
||
|
Утечка!
|
|||
|---|---|---|---|
|
#18+
Владимир, как я вижу, мы используем разные философии. Вы пытаетесь производить "очистку" или делать заключение о их чистоте при процессинге кубов, я же еще до запуска процессинга имею 100% чистый DWH. Да, это выставляет больше требований к ETL, но проблема очистки данных и должна решаться на этапе переноса данных из Stage Area в Subject Area, но не позже. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.06.2004, 11:50 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=32562559&tid=1872497]: |
0ms |
get settings: |
10ms |
get forum list: |
19ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
169ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
74ms |
get tp. blocked users: |
2ms |
| others: | 267ms |
| total: | 564ms |

| 0 / 0 |
