ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Никто никогда не сталкивался со следующей проблеммой?
10 сообщений из 10, страница 1 из 1
Никто никогда не сталкивался со следующей проблеммой?
    #32582146
Непонятливый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Непонятливый
Гость
Вечер добрый, all:)
Качаются данные из Excel-файлов, день за днем из одних и тех же. При вставках в таблицы измерений проходит поиск по справочникам НСИ на совпадающие наименования. По мере дозаполнения справочников НСИ, по уже существующим записям таблицы измерений контроль проходит только по ID, при совпадении ID идет update, а для записей, изначально отсутсвующих в справочнике НСИ, но появившихся в нем с тем-же наименованием, что и в Excel-файлах, проходит insert с тем-же наименованием, но другим ID, взятым из НСИ-справочника. При этом, не смотря на сохранение предыдущих сумм, каждый процессинг кубика дает эффект накопления сумм таблицы фактов на строках про-update-ных наименований измрений.

2backfire
заранее извиняюсь, предыдущий топик изучил, измерение нормальное:)
Может есть другие варианты?
...
Рейтинг: 0 / 0
29.06.2004, 20:43
| Ответить | Цитировать | Написать  
Никто никогда не сталкивался со следующей проблеммой?
    #32582159
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Штепа
Участник
Непонятливый2backfire
заранее извиняюсь, предыдущий топик изучил, измерение нормальное:)
Может есть другие варианты?

Это о чем?
...
Рейтинг: 0 / 0
29.06.2004, 21:14
| Ответить | Цитировать | Написать  
Никто никогда не сталкивался со следующей проблеммой?
    #32582165
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Штепа
Участник
НСИ - это что такое?

НепонятливыйКачаются данные из Excel-файлов, день за днем из одних и тех же. При вставках в таблицы измерений проходит поиск по справочникам НСИ на совпадающие наименования. По мере дозаполнения справочников НСИ, по уже существующим записям таблицы измерений контроль проходит только по ID, при совпадении ID идет update, а для записей, изначально отсутсвующих в справочнике НСИ, но появившихся в нем с тем-же наименованием, что и в Excel-файлах, проходит insert с тем-же наименованием, но другим ID, взятым из НСИ-справочника. При этом, не смотря на сохранение предыдущих сумм, каждый процессинг кубика дает эффект накопления сумм таблицы фактов на строках про-update-ных наименований измрений.

Вы попробуйте локализировать проблему.
Если я правильно понял, то вы сначала качаете данные в DWH. А кубы питаются от DWH.

С помощью элементарных SQL-запросов можно определить, где вкрались расхождения, на этапе ETL, тогда копайте там, или куб показывает не то что в DWH, тогда смотрите дизайн и процессинг кубов (может вы с инкрементальным процессингом кубов намудрили).
Пока что из вашего описания складывается достаточно смутное представление о том, что же в действительности у вас происходит.
...
Рейтинг: 0 / 0
29.06.2004, 21:23
| Ответить | Цитировать | Написать  
Никто никогда не сталкивался со следующей проблеммой?
    #32582191
Непонятливый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Непонятливый
Гость
2backfire
вот именно с помощью "элементарных SQL-запросов можно определить" удалось определить, что в источнике все Ок, в отличие от MS AS кубика:(
В этом-то и проблема, проверить ETL-ку не трудно, а вот на то, что делает MS AS, ума-то и не хватает, англицкого не знаем, а по русски, чтой-то никто кроме как здесь и не пишет.
Без шуток, предыдущий трабл сидел в том, что в ID воткнули поле char и дали с начала поля порядка 10 "-", начало глючить, решили отойти от этой схемы, перейти на "0", излечились. Сейчас, наименование измерения, собственно, на "-" и опираеться, может в этом проблемма или что-то не так с ключеванием.
Инкрементальным процессингом кубов не баловались, не так давно занимаемся олапами, чтоб на столько мудрить:(.
...
Рейтинг: 0 / 0
29.06.2004, 22:31
| Ответить | Цитировать | Написать  
Никто никогда не сталкивался со следующей проблеммой?
    #32582193
Непонятливый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Непонятливый
Гость
P. S.
НСИ - нормативно справочная информация, т. е. таблицы некоторой БД, содержащие нормализованные справочники, использующиеся, в том числе, и для построения измерений в кубах. Нормализайция идет и по ID, и по наименованиям, кодам, аббравеатурам и т. п.
...
Рейтинг: 0 / 0
29.06.2004, 22:39
| Ответить | Цитировать | Написать  
Никто никогда не сталкивался со следующей проблеммой?
    #32582212
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Штепа
Участник
НепонятливыйБез шуток, предыдущий трабл сидел в том, что в ID воткнули поле char и дали с начала поля порядка 10 "-", начало глючить, решили отойти от этой схемы, перейти на "0", излечились. Сейчас, наименование измерения, собственно, на "-" и опираеться, может в этом проблемма или что-то не так с ключеванием. .

Да тут и по-русски без пол-ведра не разберешься.

Вы каким клиентом-то смотрите?

SQL Запрос заполнения куба приведите здесь.

У Вас FK между таблицей фактов и таблицами измерений есть?
...
Рейтинг: 0 / 0
29.06.2004, 23:18
| Ответить | Цитировать | Написать  
Никто никогда не сталкивался со следующей проблеммой?
    #32582372
Непонятливый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Непонятливый
Гость
2backfire

Смотрим через редактор куба, то-же видно и Excel-лем, то же и через BusinessObjects.

Запрос на заполнение измерения:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
Dimension 'Подрядчик' Execute : 
SELECT DISTINCT
 "dbo"."relation_ID"."nme_rel", 
"dbo"."lm_katorg"."nme" 
FROM "dbo"."lm_katorg",
 "dbo"."relation_ID"
 WHERE 
("dbo"."relation_ID"."ID_relation"="dbo"."lm_katorg"."ID_relation")

Заполнение куба:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
Partition 'LIMIT' Execute : SELECT "dbo"."lm_charact_ID"."sum_nme", 
"dbo"."lm_source_ID"."source_nme",
 "dbo"."lm_vidrabot"."nme",
 "dbo"."lm_dogovor"."content",
 "dbo"."lm_fpco"."nme",
 "dbo"."relation_ID"."nme_rel",
 "dbo"."lm_katorg"."nme",
 "lm_buhschet_os"."schet", 
 "lm_buhschet_os"."subsch",
 "lm_spkau_os"."code",
 "lm_buhschet_ks"."schet",
 "lm_buhschet_ks"."subsch",
 "lm_spkau_kor"."code", 
 "dbo"."lm_identity_ID"."DataLoad",
 "dbo"."lm_fact"."res_sum"
 FROM 
"dbo"."lm_fact",
 "dbo"."lm_charact_ID",
 "dbo"."lm_source_ID",
 "dbo"."lm_vidrabot",
 "dbo"."lm_dogovor",
 "dbo"."lm_fpco",
 "dbo"."lm_katorg",
 "dbo"."relation_ID",
 "dbo"."lm_buhschet" AS "lm_buhschet_os", 
"dbo"."lm_spkau" AS "lm_spkau_os", 
"dbo"."lm_buhschet" AS "lm_buhschet_ks", 
"dbo"."lm_spkau" AS "lm_spkau_kor", 
"dbo"."lm_identity_ID" 
WHERE 
("dbo"."lm_fact"."ID_charact"="dbo"."lm_charact_ID"."ID_charact") AND
 ("dbo"."lm_fact"."ID_source"="dbo"."lm_source_ID"."ID_source") AND
 ("dbo"."lm_fact"."nrec_vidrabot"="dbo"."lm_vidrabot"."nrec") AND
 ("dbo"."lm_fact"."nrec_dogovor"="dbo"."lm_dogovor"."nrec") AND 
("dbo"."lm_fact"."nrec_fpco"="dbo"."lm_fpco"."nrec") AND 
("dbo"."lm_katorg"."ID_relation"="dbo"."relation_ID"."ID_relation") AND 
("dbo"."lm_fact"."nrec_katorg"="dbo"."lm_katorg"."nrec") AND 
("dbo"."lm_fact"."nrec_buhschet"="lm_buhschet_os"."nrec") AND 
("dbo"."lm_fact"."nrec_kau"="lm_spkau_os"."nrec") AND 
("lm_buhschet_ks"."nrec"="dbo"."lm_fact"."nrec_buhschet_kor") AND 
("dbo"."lm_fact"."nrec_kau_kor"="lm_spkau_kor"."nrec") AND 
("dbo"."lm_fact"."datetime_load"="dbo"."lm_identity_ID"."ID_identity")

в результате процессинга на одних и тех-же данных, видна вот такая картинка с суммами: (показаны итоговые суммы по датам загрузки),
при раскладке по измерениям, удалось установить что вся чехарда идет по измерению "Подрядчик"
...
Рейтинг: 0 / 0
30.06.2004, 09:04
| Ответить | Цитировать | Написать  
Никто никогда не сталкивался со следующей проблеммой?
    #32586152
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Штепа
Участник
Что мне подозрительно, так это то что ключ измерения строится по одному полю а связь таблицы фактов с таблицей измерения осуществляется по другому.

Исходя из личного опыта, могу сказать, что это потенциальный источник проблем.


Слейте результат запроса заполнения куба в таблицу базы данных и проверьте ее с помощью таких же "элементарных SQL-запросов".
Есть ли расхождения? С чем?
...
Рейтинг: 0 / 0
01.07.2004, 21:03
| Ответить | Цитировать | Написать  
Никто никогда не сталкивался со следующей проблеммой?
    #32586154
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Штепа
Участник
У Вас FK между таблицей фактов и таблицами измерений есть?

Как на счет этого?
...
Рейтинг: 0 / 0
01.07.2004, 21:04
| Ответить | Цитировать | Написать  
Никто никогда не сталкивался со следующей проблеммой?
    #32586320
Непонятливый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Непонятливый
Гость
2backfire
Большое спасибо за помощь! Ошибка правда оказалась в ELT-системе,
одна из операций модификации наименований проходила при первой загрузки показателя нормально, а при повторной
Udate-тила одно из используемых полей, а именно по таблице lm_katorg для ряда записей:
при сохранении "ID_relation" и "nrec" оставались уникальными а поле "nme" многократно дублировалось.

Код: plaintext
1.
Что мне подозрительно, так это то что ключ измерения строится по одному полю 
а связь таблицы фактов с таблицей измерения осуществляется по другому
Измерение иерархичное, таблица relation_ID верхний уровенгь иерархии,
lm_katorg - нижний. Оно расшареное, руками ничего не редактировали, и
связь с таблицей фактов должна строиться по ссылке
lm_fact.nrec_katorg -> lm_katorg.nrec------lm_katorg.ID_relation->relation_ID.ID_relation

Что именно надо поправить, что-б не было проблемм в дальнейшем? Вытащить поле lm_katorg.nrec в измерение и установить visible в false ?
...
Рейтинг: 0 / 0
02.07.2004, 08:27
| Ответить | Цитировать | Написать  
10 сообщений из 10, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Никто никогда не сталкивался со следующей проблеммой?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]