Подскажите пожалуйста, в какую сторону копать и что почитать?
Много лет работает система расчета управленческого учета. Начиналось все с простого: "а сделай-ка нам, чтобы считалось вот так: ..."
Вкратце работает все так:
- есть таблицы фактов (отгрузки продукции), разбитых по годам. В каждой примерно по 10млн записей.
- приходит табличка с расходами на клиентов. Например, на клиента Иванова в октябре 2012г было потрачено 100тыс.руб (реклама, подарки, связь и т.п.). А на Петрова в апреле того же года всего 1тыс.руб. Или на продукцию группы "А" Московского региона было истрачено 1млн.руб.
В этой таблице примерно 100тыс.записей.
- глядя на факты, нужно распределить расходы пропорционально отгрузкам.

Сейчас фактически все факты за всю историю сливаются в одну мега-таблицу, в которой потом распределяются расходы пропорционально отгрузкам.
Например, в таблице расходов есть строка (грубо): "март, 2012. Продукция группы "А" Московского региона. 1млн.руб."
Т.е. мы отбираем в фактах отгрузки за март 2012г продукцию группы "А". И распределяем этот миллион на всех отобранных клиентов. Чем больше у него была отгрузка этой продукции в марте, тем бОльшая сумма на него "вешается".

Считается все это от 4 часов до суток и даже больше. Очень сильно кажется, что процесс организован не очень правильно.
Где бы почитать, как это все правильно реализуется?
Гуголь выдает только общие тексты по типу школьных рефератов: "управленческий учет нужен для.... Он помогает решить....... С помощью него можно......."

Модератор: Тема перенесена из форума "Microsoft SQL Server".

iscrafmЧтобы на такие вопросы были ответы приведите хоть немного информации о структуре приложения и БД: какие основные таблицы, как организован описываемый процесс распределения... и т.п.
да, реализовано все на MSSQL 2000
структура таблиц примерно такая:
- т.фактов
ДатаКлиентКодПродукцияКодКол-воВесСумма
- справочник клиентов
КодНазваниеМенеджерТипКлиента
- справочник продукции
КодНазваниеВидПродукцииТипПродукции
- список разносок
ГодМесяцВидПродукцииТипПродукцииМенеджерТипКлиентаКодКлиентаСуммаРасходов

В списке разносок ГодМесяц - обязательное поле. Это за какой период начислены расходы (поле СуммаРасходов. Оно тоже обязательное).
ВидПродукции, ТипПродукции, Менеджер и др. - необязательные поля. Т.е. какие-то могут быть заполнены, какие-то нет.
Например, если заполнен ТипКлиента и ВидПродукции (остальные пустые), то отбираем все отгрузки (все факты) в период ГодМесяц по всем клиентам, имеющим заданный ТипКлиента, и по всей продукции нужного ВидаПродукции. Эти факты копируются в отдельную таблицу примерно такого вида (похожа на т.фактов, плюс поле расходов):
ДатаКлиентКодПродукцияКодКол-воВесСуммаСуммаРасходов
Допустим, мы отобрали отгрузки за 2012.03.01-2012.03.31 на клиента Иванова, Петрова и Сидорова. И задали расходов на них на 50тыс.руб.
Иванов отгрузился на 100тыс.руб
Петров на 200тыс.руб
а Сидоров на 300тыс.руб
Тогда нашу сумму расходов мы распределяем пропорционально их отгрузкам. На Иванова повесим 1/6 часть (8333руб). На Петрова 2/6 (16667руб). И на Сидорова 3/6 (25тыс.руб).

для зануд: я знаю, что 2/6 = 1/3, а 3/6 = 1/2

И вот таким образом считаем все 100 тыс. разносок.

Почему-то мне кажется, что это не совсем верный подход и можно сделать как-то проще.

iscrafmХранимая процедура?
да

iscrafmтам в ней случайно перебором в курсоре не выполнятся распределение?
нет, не курсором. Там куча сложных запросов, которые вщм-то можно доработать и ускорить. Но проблема не в этом.
Суть пересчета разносок - это перезаливание 90% фактов из рабочих т.фактов в одну большую таблицу. Потом там происходят распределения сумм.
Вот мне кажется, что перезаливание данные из одних таблиц в одну другую - это как-то не очень правильно. Но что именно там неправильно и как сделать правильно, в голову не приходит.

iscrafmпопробуйте разделить эту большую таблицу на секции.
не-не, я не о том.
Вот, например, не правильней ли было бы в рабочие т.фактов добавить поле СуммаРасходов. И вместо


выполнять



нормально ли копировать 90% фактов из кучи таблиц в другую таблицу, где потом их пересчитывать? Как вообще обычно такие задачи решаются?
Я понимаю, что все индивидуально. Но, может, есть какие-то обобщения, что "чаще делают вот так"?

iscrafmТакие долгие расчеты по данным за месяц конечно указывают то, что в этом пробой. Говоря о секционировании данных я имел ввиду именно это... Может там индексируется при вставке и т.п. Что из себя представляют факты, их происхождение? Загружаются откуда-то тоже?

p.s. вообще вопрос чисто из раздела MS SQL. Нужно просто сразу сказать какая СУБД.
СУБД указал - MSSQL 2000 :)
долгие расчеты не за месяц, а за несколько лет. Индексы строятся после вставки всех фактов.

s_ustinovнуб987,
все зависит от того, что именно вы дальше с данными делаете.
Если не нужна детализация до документа, то надо сначала "сжать" (агрегировать) таблицу продаж, потом "сжать" таблицу расходов, а потом совместить их. Скорее всего результирующая таблица будет не 10 миллионов, а несколько десятков тысяч.
детализация нужна именно до документа и даже больше - до единицы продукции в накладной.
s_ustinovИ искать надо по ключевым словам "OLAP" и "ETL" - это не учет, а анализ.
либо я вас не понял, либо еще что-то. Но ведь моя задача - это и не учет, и не анализ. Это расчеты.

Но раз такие задачи примерно так и решаются, тогда ладно.
Просто казалось не очень правильным лопатить тонны данных. Это примерно как перетащить вручную вагон кирпичей к "вон тому дереву", чтобы потом среди них найти десяток бракованных. А затем всю кучу тащить к другому дереву и там уже строить дом.

s_ustinovесли же надо сохранять информацию и о документе расходов, то тогда надо добавить поле "Document Expenses ID" - и в табличке будет в несколько раз больше строк - то есть сотни миллионов записей
так.... Т.е. не копировать кучу фактов из 10-ка т.фактов в одну большую, а сделать "справочник привязки": в каждой т.фактов есть поле id на каждую запись, в таблице разносок так же есть поле id. И вместо


будет


т.е. каждую разноску "разбрасываем" по фактам. Получается, на одном факте может "висеть" несколько разносок.
Например, разноска "Расход 50тыр. Менеджер Петров" должна быть раскидана на отгрузки всех клиентов, у которых менеджер Петров.
При этом разноска "Расход 100тыр. Продукция Гвозди" так же может распределиться на какие-то отгрузки менеджера Петрова, т.к. части его клиентов могли отгружаться гвозди.
Таким образом на одних и тех же фактах будут висеть расходы по менеджеру Петрову и по продукции "Гвозди".

И вот когда построили справочник привязки, можно довольно простым update'ом раскидать сумму расходов пропорционально отгрузкам по каждому факту: чем бОльшая сумма отгрузки на факте, тем бОльшая часть привязанных к нему расходов вешается на него.

так?