powered by simpleCommunicator - 2.0.50     © 2025 Programmizd 02
Форумы / [игнор отключен] [закрыт для гостей] / маппинг данных 1с на OLAP (зашел на огонек)
7 сообщений из 7, страница 1 из 1
маппинг данных 1с на OLAP (зашел на огонек)
    #34849978
angro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
надеюсь правильно назвал тему
собственно вот прочитал в ветке http://www.sql.ru/forum/actualthread.aspx?tid=478881

зашел на огонек mazzy зашел на огонек"мапились"
... и специальный человек "резолвил" это с некоторой периодичностью...
А... Блин, неспортивно как-то... Но тоже выход
Гы-гы, мы когда на "Платформе-2005" услышали как "украинские пивовары" пользуются "маппингом" тоже сначала подумали - "неспортивно"...
Зато потом, когда все было реализовано, опыт ("сын ошибок трудных") показал, что это - единственный офигительнейший способ развязать руки разработчикам OLAP в деле удовлетворения всевозможных "прихотей" топ-менеджмента (то им так хочется разделить "кусок пирога", то эдак... то одну иерархию по продукту, то другую... то "укрупняют" региональное деление филиалов, то "разукрупняют"... и т.д., доходило даже до того, что у разных топ-ов было разное "видение" структуры иерархии клиентов и ни один не хотел уступать другому).
Реплицировать всю эту "аналитику" на OLTP приложения, чтобы факты "на местах" изначально привязывались к ней - полный и бесперспективный геморрой... (проходили уже).
А тут - собрал все факты по ключевым размерностям (период, продукт, клиент, филиал, дальше даже фантазия не простиралась), "замапил" их на 25-30 иерархий, которые каждый "топ" сам себе выдумал - и наслаждайся "крутостью" OLAP-технологий...
Ну да, есть некоторая потеря времени на поддержку "маппингов", но (опять же - из опыта) - по сравнению с геморроем согласования ключей из разных систем и репликации аналитик по источникам OLTP данных это просто "цветочки"...

извиняюсь за дремучесть, а что значит
зашел на огонек
"замапил" их на 25-30 иерархий, которые каждый "топ" сам себе выдумал


типа какая-то аналитика проставляется в элементах? или что-то другое имеется ввиду?
...
Рейтинг: 0 / 0
маппинг данных 1с на OLAP (зашел на огонек)
    #34850426
angroизвиняюсь за дремучесть, а что значит зашел на огонек"замапил" их на 25-30 иерархий, которые каждый "топ" сам себе выдумал

типа какая-то аналитика проставляется в элементах? или что-то другое имеется ввиду?
Трудности перевода с узко-специализированного языка (как называет моя жена - "птичьего") на человеческий - обычный спутник т.н. "проф-форумов"...
Мне, например, тоже не совсем понятно - о каких именно "элементах" вы спрашиваете (куда какая-то аналитика, якобы, проставляется)?
В OLAP-жаргоне мне пока еще не встречалось понятие "элемента", чес-слов...
Если же переводить конкретную фразу про "замапил" их на 25-30 иерархий...", то смысл высказывания примерно в следующем:
в таблице фактов OLAP-куба лежат только ID-шники (guid'ы) ссылочных объектов, по которым формируются "разрезы" аналитики (клиент, продукт, филиал), именно объектов как таковых (для каждого типа объекта существует совершенно конкретный их перечень в виде сплошного списка, не "отягощенного" никакой структурой/иерархией) уже существующих по месту возникновения/фиксации факта;

каждому типу объекта ("разрезу", "измерению", "размерности", dimension) создается тупая до невозможности таблица иерархий (GUID, ParentGUID, FriendlyName), в которой самый верхний уровень ("корень", root) скрыт от редактирования пользователями, а начиная от первого уровня - каждый любознательный пользователь может построить себе свою собственную иерархию по любому принципу, родившемуся в его любознательной голове;

до тех пор, пока тот же самый пользователь (или кто-то вместо него) не пропишет в специальной таблице соответствия ("маппинги", mappings) между "листьями" его иерархии и конкретными объектами из списков размерностей (dimensions) - он может просто любоваться этой иерархией ради эстетического удовлетворения (в OLAP-кубе она будет пустой, или ее вообще не будет пока кто-то не пересчитает dimensions);

как только это соответствие установлено - OLAP-куб уже может быть пересчитан с целью вычисления агрегатов уже по новым "пользовательским" веткам единой "глобальной" иерархии, которые отражают фантазию пользователя в отношении "административно-территориального деления" клиентов, например...
Это то, что касается "маппинга" иерархий, представляемых в OLAP-кубе... (о чем, собственно, шла речь в ультра-лаконичной цитате).
При "маппинге" входящих фактов работает немного другой механизм, а именно т.н. "очистка данных":

все входящие факты (от любого источника) с их собственными ключами валятся в т.н. "карантинную" базу, откуда в факты OLAP-куба "нормально" попадают только те, у которых уже явно прописаны соответствия (mappings) с объектами из dimensions, остальные "неудачники" (которым еще не назначили соответствия) попадают в факты OLAP-куба в виде ссылки на специальный уровень "супер-иерархии" со значением "не определено";

ну и, периодически, когда пользователей начинает сильно напрягать количество данных в разделе "не определено" - производится "доопределение" нужных соответствий...

З.Ы. естественно, что "ручное управление" подобного рода схемами с помощью прямых SQL-запросов - занятие слишком "муторное" для свободного полета мысли нормального программиста, поэтому наиболее рутинные операции (вроде поиска соответствий по наименованиям) были почетно возложены на DTS (SSIS), а для настоящего "разруливания" был написан специализированный клиент, в котором "девочка из отдела сбыта" могла таскать драг-н-дропом "внешние неопределенные" объекты на "внутренние определенные"...
...
Рейтинг: 0 / 0
маппинг данных 1с на OLAP (зашел на огонек)
    #34850466
angro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
зашел на огонеквсе входящие факты (от любого источника) с их собственными ключами валятся в т.н. "карантинную" базу, откуда в факты OLAP-куба "нормально" попадают только те, у которых уже явно прописаны соответствия (mappings) с объектами из dimensions, остальные "неудачники" (которым еще не назначили соответствия) попадают в факты OLAP-куба в виде ссылки на специальный уровень "супер-иерархии" со значением "не определено";

о спасибо, именно это меня и интересовало.
...
Рейтинг: 0 / 0
маппинг данных 1с на OLAP (зашел на огонек)
    #34850792
Фотография Гликоген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
То, что здесь описано (внешний относительно систем-источников редактор и хранилище иерархий и маппинга кодов СИ на эти иерархии) - лежит в основе тиражных систем MDM .
...
Рейтинг: 0 / 0
маппинг данных 1с на OLAP (зашел на огонек)
    #34851006
ГликогенТо, что здесь описано (внешний относительно систем-источников редактор и хранилище иерархий и маппинга кодов СИ на эти иерархии) - лежит в основе тиражных систем MDM .
Дык, жизнь-то всегда приведет всех к одному и тому же месту, хоть и разными тропинками...
Я недавно с большим удивлением у модератора на сайте узнал, что, оказывается, технология (или структура данных) хранения предрасчитанных остатков/оборотов по к.-л. "журналу операций" давно запатентована (sic!) Navision и, в общем случае, не может быть использована в других продуктах без ее на то "доброй воли"...
Вот так-то, а я-то когда придумывал структуру данных для тех же целей в нашей LegacySystem даже и не подозревал о том, что когда-то могу оказаться из-за этого "под статьей"...

З.Ы. для тех, кто не врубился - после многих проб и ошибок, структура данных таки заработала "как надо", но при этом (как выяснилось гораздо позднее) оказалась "точь-в-точь" как у Navision-а... ("А мужики-то и не знают!").
...
Рейтинг: 0 / 0
маппинг данных 1с на OLAP (зашел на огонек)
    #34852425
mazzy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
зашел на огонекдавно запатентована (sic!) Navision
Перечитайте еще раз - в Навижине запатентована не хранение остатков/оборотов. Хранение остатков/оборотов запатентовано в другой системе.
Здесь эта тема оффтоп, если интересно открывайте новые ветки в соответствующем разделе.

Здесь тема: маппинг данных 1с на OLAP
...
Рейтинг: 0 / 0
маппинг данных 1с на OLAP (зашел на огонек)
    #34856587
Lunx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
зашел на огонек ГликогенТо, что здесь описано (внешний относительно систем-источников редактор и хранилище иерархий и маппинга кодов СИ на эти иерархии) - лежит в основе тиражных систем MDM .
Дык, жизнь-то всегда приведет всех к одному и тому же месту, хоть и разными тропинками...
Я недавно с большим удивлением у модератора на сайте узнал, что, оказывается, технология (или структура данных) хранения предрасчитанных остатков/оборотов по к.-л. "журналу операций" давно запатентована (sic!) Navision и, в общем случае, не может быть использована в других продуктах без ее на то "доброй воли"...
Вот так-то, а я-то когда придумывал структуру данных для тех же целей в нашей LegacySystem даже и не подозревал о том, что когда-то могу оказаться из-за этого "под статьей"...

З.Ы. для тех, кто не врубился - после многих проб и ошибок, структура данных таки заработала "как надо", но при этом (как выяснилось гораздо позднее) оказалась "точь-в-точь" как у Navision-а... ("А мужики-то и не знают!").

Правильно ли я понимаю, что наряду с журналом операций Вы храните имеете еще одну таблицу с оборотами/остатками на (текущий момент)/(с историей) - и это типа запатентовано ?
...
Рейтинг: 0 / 0
7 сообщений из 7, страница 1 из 1
Форумы / [игнор отключен] [закрыт для гостей] / маппинг данных 1с на OLAP (зашел на огонек)
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]