Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Нужен совет, куда копать: регистры, склад-учет и OLAP / 25 сообщений из 34, страница 1 из 2
14.01.2014, 00:18
    #38525090
Aleksey Kh.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Есть ПО, в числе прочего функционала есть:
- фактический склад (документы + таблицы с движениями и остатками с фиксированным набором измерений),
- учет задолженностей (документы + отдельные таблицы с движениями и остатками с фиксированным набором измерений),
- учет загрузки произв. подразделений (опять же отдельный регистр со своим набором измерений),
- для анализа по некоторым предметным областям (продажи продукции, производственные процессы, сервис/обслуживание) сделан недо-OLAP: SSAS (на одном с БД сервере) + факты и измерения на представлениях (view), процессится все по ночам, в продажах 1.6млн фактов за 5 лет + 5 измерений дат + ~10 измерений "по справочникам"- пока "успевает").
Полноценного бухгалтерского учета нет (выгрузки в 1С).

Получается, что там, где для статистики/аналитики достаточно "суточной" (и менее) точности - прижился недо-OLAP :), там где нужны итоги онлайн - недо-регистры :-)))

В рамках "непрерывного совершенствования" :) сделал прототип учетной подсистемы (справочник регистров + произвольное число настраиваемых измерений + произвольное число доп. мер + проводки + расчет итогов на триггерах). Синтетический тест делает ~1млн движений в час (0.5млн "полных" проводок) с 5 клиентов в непрерывном цикле делающих проводки/движения по разным регистрам + каждый 10 ввод данных задним числом. Сравнивать не с чем, но думаю - для нашей системы вполне приемлемо.

И теперь у меня возникает два связанно-независимых :) направления, по которым хочется получить совет:

1. Все, что касается "движений и остатков/оборотов" я точно переведу на "новый" подход. Но вот имеет ли смысл в одном наборе таблиц совмещать и складской учет и прочие регистры (задолженности, мощности и т.п.)?
Как вариант, можно просто клонировать решение.
Плюс: для складов/номенклатуры можно сделать чуть более предметно ориентированный интерфейс.
Минус: в общем-то 90% дублирование функционала и отчасти кода.

2. На регистрах с остатками/оборотами можно реализовать по сути те же отчеты, что дает и OLAP.
Плюс OLAP'а - условно "привычный" клиент (Excel/XtraPivotGrid) c возможностью легко крутить данные. Для регистров придется изобретать "универсальный построитель отчетов".
Минус: опять же дублирующийся функционал + кривоватая реализация OLAP + нехватка компетенций сделать OLAP "как положено".
Вопрос: что с этим делать?
По идее можно двинуться в сторону отказа от регистров и реализации онлайн итогов через OLAP.
Куда копать?: на каждый куб/регистр генерить таблицу движений/фактов с заданным в справочнике кубов/измерений нужным количеством столбцов (по кол-ву измерений).

Заранее спасибо.
...
Рейтинг: 0 / 0
14.01.2014, 00:45
    #38525105
iscrafm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Aleksey Kh.нехватка компетенций сделать OLAP "как положено"
а как положено?
...
Рейтинг: 0 / 0
14.01.2014, 09:55
    #38525235
mad_nazgul
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Aleksey Kh.,

Для начала взять открытые OLAP системы, например Pentaho/Mordrian.
Потом думать, делать это все самому или взять готовое ;-)
...
Рейтинг: 0 / 0
14.01.2014, 12:33
    #38525447
Злой Бобр
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Aleksey Kh.,

Ну для начала научитесь закусывать, т.к. ваш поток несовсем понятен (мягко говоря).
Собственно кубы делаются не по количеству таблиц а по поставленным задачам (анализ продаж, ... задолженности, ... запасов, ...). Поэтому если у вас 100 таблиц то однозначно вам не следует лепить 100 кубов. Кроме того из практики могу сказать что для больших объемов данных кубы это лучшее решение для анализа. Соответственно отказаться от кубов в пользу самопала - это как серпом по яй***. Хотя если вы любитель садо-мазо и обладаете неисчерпаемым запасом вазелина - дерзайте.
По остальному потоку сознания затрудняюсь что-то сказать. Ну кроме того что ясно что ничего неясно.
...
Рейтинг: 0 / 0
14.01.2014, 13:51
    #38525551
Aleksey Kh.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
iscrafmAleksey Kh.нехватка компетенций сделать OLAP "как положено"
а как положено?
Чтобы можно было обновлять и анализировать данные без существенного влияния на OLTP.
Т.е. отдельный dwh + etl (перенос только изменений).
...
Рейтинг: 0 / 0
14.01.2014, 14:56
    #38525696
iscrafm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Aleksey Kh.iscrafmпропущено...

а как положено?
Чтобы можно было обновлять и анализировать данные без существенного влияния на OLTP.
Т.е. отдельный dwh + etl (перенос только изменений).
понял о чем вы. А то смешались в кучу кони, люди. Так и говорите что речь идет о DWH
...
Рейтинг: 0 / 0
14.01.2014, 16:07
    #38525845
Aleksey Kh.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Многобукоф, понял
Делаю выжимку.

Вопрос 1: Стоит ли совмещать регистры складского учета с прочими регистрами (задолженности, обороты и т.п.)?

Вопрос 2: Если в ПО есть возможность реализации аналитических отчетов по разным процессам через регистры, механизм которых есть в системе (но в настоящее время для этих целей не используется) - то стоит ли развивать тему OLAP через SSAS (который сделан "по простому" и перестает удовлетворять требованиям по быстродействию).
...
Рейтинг: 0 / 0
14.01.2014, 16:22
    #38525874
Злой Бобр
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Aleksey Kh.Многобукоф, понял
Делаю выжимку.

Вопрос 1: Стоит ли совмещать регистры складского учета с прочими регистрами (задолженности, обороты и т.п.)?

Вопрос 2: Если в ПО есть возможность реализации аналитических отчетов по разным процессам через регистры, механизм которых есть в системе (но в настоящее время для этих целей не используется) - то стоит ли развивать тему OLAP через SSAS (который сделан "по простому" и перестает удовлетворять требованиям по быстродействию).
1. Однозначно нестоит. Мухи отдельно, котлеты отдельно.
2. Если объемы данных большие то OLAP через SSAS является единственным выходом. Например та же 1С прекрасно формирует OLAP на небольших данных, но когда пытаемся анализировать средний объем данных то 1С "умирает". Поэтому если есть необходимость в анализе то лучше сразу использовать OLAP через SSAS, а не пытаться протолкнуть слона в игольное ушко.
...
Рейтинг: 0 / 0
14.01.2014, 17:08
    #38525946
iscrafm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Aleksey Kh.Вопрос 2:
накопление информации по регистрам и есть по сути создание предметно-ориентированного информационного хранилища. Если умеете этим пользоваться, то конечно используйте. Подготовленная агрегированная информация гораздо лучше простой OLTP свалки, которую потом пытаются всеми средствами от безысходности алапизировать
...
Рейтинг: 0 / 0
14.01.2014, 17:09
    #38525948
iscrafm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
iscrafmAleksey Kh.Вопрос 2:
накопление информации по регистрам и есть по сути создание предметно-ориентированного информационного хранилища. Если умеете этим пользоваться, то конечно используйте. Подготовленная агрегированная информация гораздо лучше простой OLTP свалки, которую потом пытаются всеми средствами от безысходности алапизировать
чтобы было понятнее -
используйтеесть возможность реализации аналитических отчетов по разным процессам через регистры, механизм которых есть в системе (но в настоящее время для этих целей не используется)
...
Рейтинг: 0 / 0
14.01.2014, 18:15
    #38526052
Aleksey Kh.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Злой Бобр1. Однозначно нестоит. Мухи отдельно, котлеты отдельно.
Так в том то и дело, что нет котлет - одни и те же мухи.
По факту, нет разницы в реализации расчёта итогов задолженности контрагента в валюте и остатка номенклатуры на складе.

Злой Бобр
2. Если объемы данных большие то OLAP через SSAS является единственным выходом. Например та же 1С прекрасно формирует OLAP на небольших данных, но когда пытаемся анализировать средний объем данных то 1С "умирает". Поэтому если есть необходимость в анализе то лучше сразу использовать OLAP через SSAS, а не пытаться протолкнуть слона в игольное ушко.Совет понятен, но вот с аргументацией как то не очень :)

iscrafmнакопление информации по регистрам и есть по сути создание предметно-ориентированного информационного хранилища.
Понятно. Но у направления "Отказ от SSAS, переход на регистры" есть и недостатки:
- отсутствие готового "клиента" (придется разрабатывать "универсальный построитель отчетов"), в то время как у "ssas olap" уже все есть.
- я пробовал считать и получать итоги - это получилось, будет ли быстрой произвольная аналитика - пока не пробовал, народ вот пишет "в 1С медленно".

iscrafmЕсли умеете этим пользоваться, то конечно используйте. Подготовленная агрегированная информация гораздо лучше простой OLTP свалки, которую потом пытаются всеми средствами от безысходности алапизироватьЭто только если там свалка и безысходность. Я о нашем ПО такого не писал :)
...
Рейтинг: 0 / 0
14.01.2014, 18:23
    #38526071
iscrafm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Aleksey Kh.Если умеете этим пользоваться, то конечно используйте. Подготовленная агрегированная информация гораздо лучше простой OLTP свалки, которую потом пытаются всеми средствами от безысходности алапизироватьЭто только если там свалка и безысходность. Я о нашем ПО такого не писал :)
я ваше ПО не имел ввиду конкретно.
...
Рейтинг: 0 / 0
16.01.2014, 10:28
    #38527829
Aleksey Kh.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
up!
Вопрос 1:
Стоит ли совмещать в одних таблицах хранение информации и по складским регистрам и по бухгалтерским и по прочим?
Разницы в технической реализации нет. Смущают только объемы данных и смешение предметных областей.
У кого какой опыт?
Поделитесь мыслями, пож.
...
Рейтинг: 0 / 0
16.01.2014, 11:51
    #38527941
Злой Бобр
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Aleksey Kh.,

Я тебе уже сказал что нестоит. Зачем повторяться? Или что-то непонятно? Ну тогда конкретно спрашивайте что именно.
...
Рейтинг: 0 / 0
16.01.2014, 16:34
    #38528517
iscrafm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Aleksey Kh.up!
Вопрос 1:
Стоит ли совмещать в одних таблицах хранение информации и по складским регистрам и по бухгалтерским и по прочим?
Разницы в технической реализации нет. Смущают только объемы данных и смешение предметных областей.
У кого какой опыт?
Поделитесь мыслями, пож.
вы лучше на форум по 1С пройдите. Не всем понятны ваши специфические термины.
...
Рейтинг: 0 / 0
16.01.2014, 16:48
    #38528541
Aleksey Kh.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Злой БобрAleksey Kh.,
Я тебе уже сказал что нестоит. Зачем повторяться? Или что-то непонятно? Ну тогда конкретно спрашивайте что именно. Не стоит, потому что не стоит? :) Хотелось бы все же понять почему, в технических терминах, а не кулинарных :)
iscrafmвы лучше на форум по 1С пройдите. Не всем понятны ваши специфические термины.
Предлагаете посмотреть, как сделано в 1С и сделать так же?
Не понимаю, чем кроме рассказать, как уже сделано в 1С они мне могут помочь - у них выбора варианта реализации нет.
iscrafmНе всем понятны ваши специфические термины.Да, по неопытности, я могу что-нибудь не тем словом обозвать. Какие термины? Я расшифрую.
...
Рейтинг: 0 / 0
16.01.2014, 16:53
    #38528553
iscrafm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Aleksey Kh.Не стоит, потому что не стоит? :) Хотелось бы все же понять почему, в технических терминах, а не кулинарных :)
iscrafmвы лучше на форум по 1С пройдите. Не всем понятны ваши специфические термины.
Предлагаете посмотреть, как сделано в 1С и сделать так же?
а у вас разве не 1С? Вы просто терминами 1С-вскими оперируете по какой-то причине?
...
Рейтинг: 0 / 0
16.01.2014, 16:54
    #38528557
iscrafm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Aleksey Kh.iscrafmНе всем понятны ваши специфические термины.Да, по неопытности, я могу что-нибудь не тем словом обозвать. Какие термины? Я расшифрую.
мне понятно все. Но я не один читаю это
...
Рейтинг: 0 / 0
16.01.2014, 18:35
    #38528723
Злой Бобр
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Aleksey Kh.Злой БобрAleksey Kh.,
Я тебе уже сказал что нестоит. Зачем повторяться? Или что-то непонятно? Ну тогда конкретно спрашивайте что именно. Не стоит, потому что не стоит? :) Хотелось бы все же понять почему, в технических терминах, а не кулинарных :)
В "кулинарных" терминах - потому что товар это товар, нематериальные активы тоже совсем другое, ну и т.п.
В "технических" - если у вас будет одна таблица то чтение/запись из одной таблицы, мягко говоря не очень хорошо. А если у вас таких обращений много то вы сами наступите себе на ***.
Надеюсь объяснил доходчиво и понятно. Будут вопросы - задавайте.
И насчет 1С. Ненужно смотреть как сделано у них. Они как немогли так и неумеют делать учетное ПО. Вопрос только в том что конкуренты 1С проигрывают в цене вопроса. Ну а поскольку наш народ привык ко всему шаровому то и пользуются.
...
Рейтинг: 0 / 0
16.01.2014, 21:01
    #38528884
Aleksey Kh.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Злой БобрВ "кулинарных" терминах - потому что товар это товар, нематериальные активы тоже совсем другое, ну и т.п.
В "технических" - если у вас будет одна таблица то чтение/запись из одной таблицы, мягко говоря не очень хорошо
Регистры (в ИС) - способ организации работы с агрегированием значений мер в разрезе измерений, как я это понимаю.
В общем случае, кмк, абсолютно пофигу кто является объектом измерения, будь то остаток номенклатуры, стоимость нематериальных активов или доступные у произв. подразделения ресурсы.
Дальше получается, что количество того, что мы хотим измерять - произвольно.
В настоящее время в нашем ПО нет фин. учета, количество регистров невелико и до сих пор под каждый регистр создавалась своя пара таблиц с количеством полей равным количеству мер и измерений: движения + итоги. Предлагаете в таком направлении и дальше двигаться?
Злой БобрИ насчет 1С. Ненужно смотреть как сделано у них. Они как немогли так и неумеют делать учетное ПО.У кого, на Ваш взгляд, учетная подсистема сделана хорошо?
...
Рейтинг: 0 / 0
16.01.2014, 21:42
    #38528916
Злой Бобр
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
Aleksey Kh.Регистры (в ИС) - способ ...
Незнаю как у вас, но в плане создания БД есть таблицы в которых данные. Никакими регистрами там и близко непахнет. Таблица она и в африке таблица. И нужно согласиться с iscrafm - термин перелез из 1С. Откуда он прилез в 1С я незнаю. Поэтому думаю многим ваше Регистр совсем непонятно.
Aleksey Kh.... под каждый регистр создавалась своя пара таблиц с количеством полей равным количеству мер и измерений: движения + итоги. Предлагаете в таком направлении и дальше двигаться?
Незная задачи сложно однозначно сказать. Но полюбому это лучше чем все впихнуть в одну (две) огромные таблицы и потом поиметь еще тот гемор.
Aleksey Kh.У кого, на Ваш взгляд, учетная подсистема сделана хорошо?
SAP
...
Рейтинг: 0 / 0
16.01.2014, 22:31
    #38528960
caballero
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
авторSAP
для больших компаний. А что делать мелким? какая альтернатива 1С?
...
Рейтинг: 0 / 0
17.01.2014, 09:56
    #38529167
mad_nazgul
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
caballeroавторSAP
для больших компаний. А что делать мелким? какая альтернатива 1С?

ADempiere/iDempiere например :-)
...
Рейтинг: 0 / 0
17.01.2014, 11:14
    #38529263
Aleksey Kh.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
mad_nazgulADempiere/iDempiere например :-)
Есть описание реализации складского или упр. учета?
...
Рейтинг: 0 / 0
17.01.2014, 14:07
    #38529596
iscrafm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Нужен совет, куда копать: регистры, склад-учет и OLAP
mad_nazgulcaballeroпропущено...

для больших компаний. А что делать мелким? какая альтернатива 1С?

ADempiere/iDempiere например :-)
тогда уж типа на МойСклад подключится и сидеть в облаке. А если серьезно, то для мелких столько ПО, что связываться с демпиером только если если смысл жизни в том, чтобы погрязнуть в разработке
...
Рейтинг: 0 / 0
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Нужен совет, куда копать: регистры, склад-учет и OLAP / 25 сообщений из 34, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]