|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Есть ПО, в числе прочего функционала есть: - фактический склад (документы + таблицы с движениями и остатками с фиксированным набором измерений), - учет задолженностей (документы + отдельные таблицы с движениями и остатками с фиксированным набором измерений), - учет загрузки произв. подразделений (опять же отдельный регистр со своим набором измерений), - для анализа по некоторым предметным областям (продажи продукции, производственные процессы, сервис/обслуживание) сделан недо-OLAP: SSAS (на одном с БД сервере) + факты и измерения на представлениях (view), процессится все по ночам, в продажах 1.6млн фактов за 5 лет + 5 измерений дат + ~10 измерений "по справочникам"- пока "успевает"). Полноценного бухгалтерского учета нет (выгрузки в 1С). Получается, что там, где для статистики/аналитики достаточно "суточной" (и менее) точности - прижился недо-OLAP :), там где нужны итоги онлайн - недо-регистры :-))) В рамках "непрерывного совершенствования" :) сделал прототип учетной подсистемы (справочник регистров + произвольное число настраиваемых измерений + произвольное число доп. мер + проводки + расчет итогов на триггерах). Синтетический тест делает ~1млн движений в час (0.5млн "полных" проводок) с 5 клиентов в непрерывном цикле делающих проводки/движения по разным регистрам + каждый 10 ввод данных задним числом. Сравнивать не с чем, но думаю - для нашей системы вполне приемлемо. И теперь у меня возникает два связанно-независимых :) направления, по которым хочется получить совет: 1. Все, что касается "движений и остатков/оборотов" я точно переведу на "новый" подход. Но вот имеет ли смысл в одном наборе таблиц совмещать и складской учет и прочие регистры (задолженности, мощности и т.п.)? Как вариант, можно просто клонировать решение. Плюс: для складов/номенклатуры можно сделать чуть более предметно ориентированный интерфейс. Минус: в общем-то 90% дублирование функционала и отчасти кода. 2. На регистрах с остатками/оборотами можно реализовать по сути те же отчеты, что дает и OLAP. Плюс OLAP'а - условно "привычный" клиент (Excel/XtraPivotGrid) c возможностью легко крутить данные. Для регистров придется изобретать "универсальный построитель отчетов". Минус: опять же дублирующийся функционал + кривоватая реализация OLAP + нехватка компетенций сделать OLAP "как положено". Вопрос: что с этим делать? По идее можно двинуться в сторону отказа от регистров и реализации онлайн итогов через OLAP. Куда копать?: на каждый куб/регистр генерить таблицу движений/фактов с заданным в справочнике кубов/измерений нужным количеством столбцов (по кол-ву измерений). Заранее спасибо. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2014, 00:18 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Aleksey Kh.нехватка компетенций сделать OLAP "как положено" а как положено? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2014, 00:45 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Aleksey Kh., Для начала взять открытые OLAP системы, например Pentaho/Mordrian. Потом думать, делать это все самому или взять готовое ;-) ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2014, 09:55 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Aleksey Kh., Ну для начала научитесь закусывать, т.к. ваш поток несовсем понятен (мягко говоря). Собственно кубы делаются не по количеству таблиц а по поставленным задачам (анализ продаж, ... задолженности, ... запасов, ...). Поэтому если у вас 100 таблиц то однозначно вам не следует лепить 100 кубов. Кроме того из практики могу сказать что для больших объемов данных кубы это лучшее решение для анализа. Соответственно отказаться от кубов в пользу самопала - это как серпом по яй***. Хотя если вы любитель садо-мазо и обладаете неисчерпаемым запасом вазелина - дерзайте. По остальному потоку сознания затрудняюсь что-то сказать. Ну кроме того что ясно что ничего неясно. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2014, 12:33 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
iscrafmAleksey Kh.нехватка компетенций сделать OLAP "как положено" а как положено? Чтобы можно было обновлять и анализировать данные без существенного влияния на OLTP. Т.е. отдельный dwh + etl (перенос только изменений). ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2014, 13:51 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Aleksey Kh.iscrafmпропущено... а как положено? Чтобы можно было обновлять и анализировать данные без существенного влияния на OLTP. Т.е. отдельный dwh + etl (перенос только изменений). понял о чем вы. А то смешались в кучу кони, люди. Так и говорите что речь идет о DWH ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2014, 14:56 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Многобукоф, понял Делаю выжимку. Вопрос 1: Стоит ли совмещать регистры складского учета с прочими регистрами (задолженности, обороты и т.п.)? Вопрос 2: Если в ПО есть возможность реализации аналитических отчетов по разным процессам через регистры, механизм которых есть в системе (но в настоящее время для этих целей не используется) - то стоит ли развивать тему OLAP через SSAS (который сделан "по простому" и перестает удовлетворять требованиям по быстродействию). ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2014, 16:07 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Aleksey Kh.Многобукоф, понял Делаю выжимку. Вопрос 1: Стоит ли совмещать регистры складского учета с прочими регистрами (задолженности, обороты и т.п.)? Вопрос 2: Если в ПО есть возможность реализации аналитических отчетов по разным процессам через регистры, механизм которых есть в системе (но в настоящее время для этих целей не используется) - то стоит ли развивать тему OLAP через SSAS (который сделан "по простому" и перестает удовлетворять требованиям по быстродействию). 1. Однозначно нестоит. Мухи отдельно, котлеты отдельно. 2. Если объемы данных большие то OLAP через SSAS является единственным выходом. Например та же 1С прекрасно формирует OLAP на небольших данных, но когда пытаемся анализировать средний объем данных то 1С "умирает". Поэтому если есть необходимость в анализе то лучше сразу использовать OLAP через SSAS, а не пытаться протолкнуть слона в игольное ушко. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2014, 16:22 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Aleksey Kh.Вопрос 2: накопление информации по регистрам и есть по сути создание предметно-ориентированного информационного хранилища. Если умеете этим пользоваться, то конечно используйте. Подготовленная агрегированная информация гораздо лучше простой OLTP свалки, которую потом пытаются всеми средствами от безысходности алапизировать ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2014, 17:08 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
iscrafmAleksey Kh.Вопрос 2: накопление информации по регистрам и есть по сути создание предметно-ориентированного информационного хранилища. Если умеете этим пользоваться, то конечно используйте. Подготовленная агрегированная информация гораздо лучше простой OLTP свалки, которую потом пытаются всеми средствами от безысходности алапизировать чтобы было понятнее - используйтеесть возможность реализации аналитических отчетов по разным процессам через регистры, механизм которых есть в системе (но в настоящее время для этих целей не используется) ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2014, 17:09 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Злой Бобр1. Однозначно нестоит. Мухи отдельно, котлеты отдельно. Так в том то и дело, что нет котлет - одни и те же мухи. По факту, нет разницы в реализации расчёта итогов задолженности контрагента в валюте и остатка номенклатуры на складе. Злой Бобр 2. Если объемы данных большие то OLAP через SSAS является единственным выходом. Например та же 1С прекрасно формирует OLAP на небольших данных, но когда пытаемся анализировать средний объем данных то 1С "умирает". Поэтому если есть необходимость в анализе то лучше сразу использовать OLAP через SSAS, а не пытаться протолкнуть слона в игольное ушко.Совет понятен, но вот с аргументацией как то не очень :) iscrafmнакопление информации по регистрам и есть по сути создание предметно-ориентированного информационного хранилища. Понятно. Но у направления "Отказ от SSAS, переход на регистры" есть и недостатки: - отсутствие готового "клиента" (придется разрабатывать "универсальный построитель отчетов"), в то время как у "ssas olap" уже все есть. - я пробовал считать и получать итоги - это получилось, будет ли быстрой произвольная аналитика - пока не пробовал, народ вот пишет "в 1С медленно". iscrafmЕсли умеете этим пользоваться, то конечно используйте. Подготовленная агрегированная информация гораздо лучше простой OLTP свалки, которую потом пытаются всеми средствами от безысходности алапизироватьЭто только если там свалка и безысходность. Я о нашем ПО такого не писал :) ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2014, 18:15 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Aleksey Kh.Если умеете этим пользоваться, то конечно используйте. Подготовленная агрегированная информация гораздо лучше простой OLTP свалки, которую потом пытаются всеми средствами от безысходности алапизироватьЭто только если там свалка и безысходность. Я о нашем ПО такого не писал :) я ваше ПО не имел ввиду конкретно. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2014, 18:23 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
up! Вопрос 1: Стоит ли совмещать в одних таблицах хранение информации и по складским регистрам и по бухгалтерским и по прочим? Разницы в технической реализации нет. Смущают только объемы данных и смешение предметных областей. У кого какой опыт? Поделитесь мыслями, пож. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2014, 10:28 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Aleksey Kh., Я тебе уже сказал что нестоит. Зачем повторяться? Или что-то непонятно? Ну тогда конкретно спрашивайте что именно. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2014, 11:51 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Aleksey Kh.up! Вопрос 1: Стоит ли совмещать в одних таблицах хранение информации и по складским регистрам и по бухгалтерским и по прочим? Разницы в технической реализации нет. Смущают только объемы данных и смешение предметных областей. У кого какой опыт? Поделитесь мыслями, пож. вы лучше на форум по 1С пройдите. Не всем понятны ваши специфические термины. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2014, 16:34 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Злой БобрAleksey Kh., Я тебе уже сказал что нестоит. Зачем повторяться? Или что-то непонятно? Ну тогда конкретно спрашивайте что именно. Не стоит, потому что не стоит? :) Хотелось бы все же понять почему, в технических терминах, а не кулинарных :) iscrafmвы лучше на форум по 1С пройдите. Не всем понятны ваши специфические термины. Предлагаете посмотреть, как сделано в 1С и сделать так же? Не понимаю, чем кроме рассказать, как уже сделано в 1С они мне могут помочь - у них выбора варианта реализации нет. iscrafmНе всем понятны ваши специфические термины.Да, по неопытности, я могу что-нибудь не тем словом обозвать. Какие термины? Я расшифрую. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2014, 16:48 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Aleksey Kh.Не стоит, потому что не стоит? :) Хотелось бы все же понять почему, в технических терминах, а не кулинарных :) iscrafmвы лучше на форум по 1С пройдите. Не всем понятны ваши специфические термины. Предлагаете посмотреть, как сделано в 1С и сделать так же? а у вас разве не 1С? Вы просто терминами 1С-вскими оперируете по какой-то причине? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2014, 16:53 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Aleksey Kh.iscrafmНе всем понятны ваши специфические термины.Да, по неопытности, я могу что-нибудь не тем словом обозвать. Какие термины? Я расшифрую. мне понятно все. Но я не один читаю это ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2014, 16:54 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Aleksey Kh.Злой БобрAleksey Kh., Я тебе уже сказал что нестоит. Зачем повторяться? Или что-то непонятно? Ну тогда конкретно спрашивайте что именно. Не стоит, потому что не стоит? :) Хотелось бы все же понять почему, в технических терминах, а не кулинарных :) В "кулинарных" терминах - потому что товар это товар, нематериальные активы тоже совсем другое, ну и т.п. В "технических" - если у вас будет одна таблица то чтение/запись из одной таблицы, мягко говоря не очень хорошо. А если у вас таких обращений много то вы сами наступите себе на ***. Надеюсь объяснил доходчиво и понятно. Будут вопросы - задавайте. И насчет 1С. Ненужно смотреть как сделано у них. Они как немогли так и неумеют делать учетное ПО. Вопрос только в том что конкуренты 1С проигрывают в цене вопроса. Ну а поскольку наш народ привык ко всему шаровому то и пользуются. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2014, 18:35 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Злой БобрВ "кулинарных" терминах - потому что товар это товар, нематериальные активы тоже совсем другое, ну и т.п. В "технических" - если у вас будет одна таблица то чтение/запись из одной таблицы, мягко говоря не очень хорошо Регистры (в ИС) - способ организации работы с агрегированием значений мер в разрезе измерений, как я это понимаю. В общем случае, кмк, абсолютно пофигу кто является объектом измерения, будь то остаток номенклатуры, стоимость нематериальных активов или доступные у произв. подразделения ресурсы. Дальше получается, что количество того, что мы хотим измерять - произвольно. В настоящее время в нашем ПО нет фин. учета, количество регистров невелико и до сих пор под каждый регистр создавалась своя пара таблиц с количеством полей равным количеству мер и измерений: движения + итоги. Предлагаете в таком направлении и дальше двигаться? Злой БобрИ насчет 1С. Ненужно смотреть как сделано у них. Они как немогли так и неумеют делать учетное ПО.У кого, на Ваш взгляд, учетная подсистема сделана хорошо? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2014, 21:01 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
Aleksey Kh.Регистры (в ИС) - способ ... Незнаю как у вас, но в плане создания БД есть таблицы в которых данные. Никакими регистрами там и близко непахнет. Таблица она и в африке таблица. И нужно согласиться с iscrafm - термин перелез из 1С. Откуда он прилез в 1С я незнаю. Поэтому думаю многим ваше Регистр совсем непонятно. Aleksey Kh.... под каждый регистр создавалась своя пара таблиц с количеством полей равным количеству мер и измерений: движения + итоги. Предлагаете в таком направлении и дальше двигаться? Незная задачи сложно однозначно сказать. Но полюбому это лучше чем все впихнуть в одну (две) огромные таблицы и потом поиметь еще тот гемор. Aleksey Kh.У кого, на Ваш взгляд, учетная подсистема сделана хорошо? SAP ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2014, 21:42 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
авторSAP для больших компаний. А что делать мелким? какая альтернатива 1С? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.01.2014, 22:31 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
caballeroавторSAP для больших компаний. А что делать мелким? какая альтернатива 1С? ADempiere/iDempiere например :-) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.01.2014, 09:56 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
mad_nazgulADempiere/iDempiere например :-) Есть описание реализации складского или упр. учета? ... |
|||
:
Нравится:
Не нравится:
|
|||
17.01.2014, 11:14 |
|
Нужен совет, куда копать: регистры, склад-учет и OLAP
|
|||
---|---|---|---|
#18+
mad_nazgulcaballeroпропущено... для больших компаний. А что делать мелким? какая альтернатива 1С? ADempiere/iDempiere например :-) тогда уж типа на МойСклад подключится и сидеть в облаке. А если серьезно, то для мелких столько ПО, что связываться с демпиером только если если смысл жизни в том, чтобы погрязнуть в разработке ... |
|||
:
Нравится:
Не нравится:
|
|||
17.01.2014, 14:07 |
|
|
start [/forum/topic.php?fid=33&msg=38525696&tid=1547624]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
64ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
60ms |
get tp. blocked users: |
1ms |
others: | 15ms |
total: | 187ms |
0 / 0 |