powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Построение куба остатков для 1С
25 сообщений из 58, страница 1 из 3
Построение куба остатков для 1С
    #32173723
Вжик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Как оптимальней построить таблицу или представление для последующего процессирования куба остатков. Можно пойти по регистру и пихать в таблицу обороты на каждую дату, а потом пройтись по таблице и на основе оборотов посчитать остатки на даты, можно пойти по таблице дат и таблице дименшенов и на каждую дату делать select к таблицам регистров.
Короче спобов несколько пока я вижу, может опытные скажут как оптимальней по скорости ???
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32173896
Вжик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Что, все деятели по 1С не хотят выдавать секреты ???
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32173928
GoodLeo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Я как то занимался строительством куба остатков, но не доделал, поэтому качественного совета дать не могу но всё же...
Я решил в таблицу фактов выгружать подсчитанные остатки на дату изменения.
Т.е. было 1-го 10 тонн., а 20-го стало 5 тонн и я так в таблицу и пишу две записи.
Потом, в кубе "размазываю" посчитанные остатки на те дни, в которые они не изменялись.Понятно, что измерение дата должно быть сгенерировано по таблице (например специально созданной), в которой есть все даты за нужный период.
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174051
Фотография boogier
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Для процессинга создаю боооольшую таблицу, в которую кладу посчитанные остатки на каждый день
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174059
Вжик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А каким способом таблица остатков на каждый строиться ???
По подробней ???
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174091
GoodLeo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
А сколько записей получается в таблице?
Ведь, насколько я понимаю, необходимо просчитать тогда остатки не только на каждый день, но и для всех сочетаний всех челнов измерений. А это получается ой - ё-ё какой куб...
Т.е есть в кубе например измерения Дата, Фирмы, Склады.
Так надо просчитать по всем датам+всем фирмам + всем складам + всем товарам......
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174107
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Вжик:

Что, все деятели по 1С не хотят выдавать секреты ???

Видимо те, кто создают кубы с остатками - это профессиональные разведчики - они публикуют описание своего опыта на самых видных местах - на форумах по OLAP, и это является гарантией, что их советы никто не заметит :)

Чем Вас не устраивает классический подход - когда остатки вычисляются на основе приходов и расходов с помощью функции нарастающего итога?
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174119
Вжик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
GoodLeo Да, таблица не слабая получиться, за год я прикинул 200 000 000 строк.
Jurii Остатки не хочу так считать, т.к. не хочу в куб пихать все движения, т.е. переоценки, ревизии и прочее мне там не надо. Но если так пойти, то идея неплохая - можно сэкономить на объемах...
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174148
Вжик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хотя, если считать нарастающим итогом, то для парент чайлд дименшена для групп верхнего уровня тормоза пойдут неимоверные, это для мер количества и себестоимости. Что, стоит все равно попробовать ???
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174155
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Вжик:

Вот было бы круто создать куб из 200 миллионов записей. Может для прикола попробуете это сделать? Получится российский аналог теста T^3 :)

Хотя в реальной жизни это вряд ли будет нормально работать. Дело даже не в количестве записей - для продвинутых OLAP-серверов это приемлемый объем. Самая большая проблема - хранить и обновлять эту большую таблицу в РСУБД. Представьте, сколько записей нужно будет проапдейтить при каждом изменении задним числом - ведь изменятся же остатки на все последующие дни...

Поэтому лично мне нравится вычислять остатки на основе приходов/расходов.
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174174
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хотя, если считать нарастающим итогом, то для парент чайлд дименшена для групп верхнего уровня тормоза пойдут неимоверные, это для мер количества и себестоимости.

Я полагаю, что если куб правильно проектировать, никаких тормозов не будет - задача с остатками по товарам по своей сути довольно проста. Хотя не отрицаю, что MS AS, которым Вы пользуетесь - это не самый дружественный инструментарий, и требует большого опыта.

Лично я привык пользоваться другим OLAP-сервером (Cognos PowerPlay), в котором заложены стандартные варианты решения классических задач, и поэтому там тяжело создать неоптимальную структуру куба, которая будет тормозить.
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174206
Roxer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Лично я привык пользоваться другим OLAP-сервером (Cognos PowerPlay), в котором заложены стандартные варианты решения классических задач, и поэтому там тяжело создать неоптимальную структуру куба, которая будет тормозить.

Не расскажите по секрету во сколько это Вам обошлось(Cognos PowerPlay+все для него необходимое)?
А то я только начинаю с OLAP и тоже понял, что это далеко не самый дружественный инструментарий :)
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174289
Вжик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jurii
Ну вот вы мне скажите про механизм:
у группы есть 10000 листьев-потомков.
хотим посмотреть остатки на 200-й день, что так же быстро будет работать ???
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174297
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Roxer:

Не расскажите по секрету во сколько это Вам обошлось(Cognos PowerPlay+все для него необходимое)?

Cognos PowerPlay - это пожалуй самый дешевый OLAP-сервер (дешевле чем MS AS), несмотря на то, что по функциональности и удобству внедрения/пользования с ним мало кто может сравниться. Минимальная конфигурация - PowerPlay User - стоит менее 1000$ и включает как серверную часть, так и 1 клиентское место для работы с готовым кубом (проведение анализа, создание отчетов). С помощью PPU можно создавать очень приличные по размеру кубы на скромном железе. Декларируется, что в куб можно закачать до 1 миллиарда записей и до 2 миллионов категорий (members).

Теперь о том, что необходимо для использования PPU:
Источниками данных для создания кубов являются запросы к реляционным БД формата MS Access или Cognos Impromptu, и/или плоские файлы разных форматов (в т.ч. CSV, ASC, XLS - списки или кросстаблицы, DBF, Paradox и нек. др.). Таким образом, если структура БД Вашей учетной системы не сложная, то самый дешевый вариант - использовать связку PPU + MS Access. Если же структура БД сложная - рекомендуется использовать модуль Impromptu, стоимость которого около 1000$. С помощью Impromptu создаются SQL-запросы (виртуальные вьюшки) к источникам данных визуальными средствами, и на основании полей этих запросов в PPU создаются измерения/уровни иерархии и показатели многомерных кубов.

Если захотите посмотреть внешний вид клиентского интерфейса PPU или заказать ознакомительную версию - заходите на мой сайт http://cognos.narod.ru
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174302
Вжик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я хочу заказать ознакомительную версию.
Как ???
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174330
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я хочу заказать ознакомительную версию.
Как ???


Очень просто - отправьте запрос на адрес cognos@narod.ru .
Рекомендую вкратце рассказать о Ваших источниках данных (тип СУБД, объемы данных), а также указать, в каком городе Вы находитесь.
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174347
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Вжик:

Ну вот вы мне скажите про механизм:
у группы есть 10000 листьев-потомков.
хотим посмотреть остатки на 200-й день, что так же быстро будет работать ???


Механизм заключается в использовании хранящихся в кубе агрегатов. Заранее просчитано, что в 2001-2002-2003 году/в 1-2-квартале/в январе-феврале... разница между приходами и расходами по группе-подгруппе... составляет N руб./шт.
Таким образом, количество арифметических операций по подсчету остатков сводится к минимуму: для группы надо сложить значения за январь, февраль, ... июнь, 1 июля, 2 июля, ... 16 июля. В этом и заключается операция определения нарастающего итога.
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174353
Вжик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А агрегаты для calculated member храняться ???
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174388
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А агрегаты для calculated member храняться ???

Думаю на такие вопросы ответить могут только представители компании Cognos (это их коммерческая тайна). Я лишь могу сделать предположение на основе своего опыта: поскольку в моей практике я ни разу не встречал случая, когда вычисляемые категории (calculated members) в PowerPlay вычислялись медленно, видимо агрегаты для них хранятся. Единственный известный мне пример торможения в PowerPlay - это расчет типа Distinct Count в больших кубах на не очень сильных машинах с малым объемом оперативной памяти.
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174408
Вжик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вот у меня подозрения что в MS AS они не храняться
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174430
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вот у меня подозрения что в MS AS они не храняться

Если Ваше подозрение подкрепляется фактами, когда имеют место замедления при 100% загрузке процессора - то видимо такие агрегаты действительно не хранятся.

Не забывайте, что MS AS - это довольно молодой OLAP-сервер, и в нем еще многое не реализовано.
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174736
Дядя Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Разумеется в MS AS агрегаты для выч. мемберов не хранятся. И сами выч. мемберы тоже не хрянятся - хранится только формула.

Но.

Для вычисления остатков используются обороты (то, что это оптимально - наверное уже никем не оспаривается). Обороты - это "нормальные" показатели, например Приход и Расход. И для НИХ агрегаты храняться. Так где тормоза, если я складываю агрегированный приход за 2002 г., агрегированный приход за 1-й квартал, агрегированный приход за апрель и неагрегированный приход за, например, 17 дней мая. Отнимаю аналогичным образом посчитанный расход. Не думаю, что расчет оборотов за несколько (гарантированно меньше 31) дней сильно притормозит машину, тем более, что по другим измерениям (не по дате) - опять же используются агрегированные показатели.
Другое дело, что MDX такой написать - подумать надо, но это час делов, имхо. Ну, полдня в худшем случае.

Есть и другой вариант, и его не надо придумывать. 1С хранит информацию в регистрах как? Остатки на начало месяца + обороты. Можно не мудрить и взять эту схему, хотя, конечно, она имеет свои недостатки.

Выбор, в общем есть. Задача не настолько сложна, чтобы менять из-за нее инструмент, при всем уважении к Юрию и Когносу :)
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174785
Вжик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Инструмент я не меняю, посмотреть на другой хочу.
А про агрегаты я тоже такой мысли был, что по датам они есть, вот токо все же парент-чайлд дименшен нехорошо получиться суммирование всех листьев текущего левела, а так все хорошо.
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174852
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Дядя Федор:

Другое дело, что MDX такой написать - подумать надо, но это час делов, имхо. Ну, полдня в худшем случае.

Я думаю, этот MDX можно написать разными способами, опытный спец напишет его лучше, а тот у кого мало опыта - хуже.
Но кроме MDX есть еще другие факторы. Например, у меня такое подозрение, что в тех случаях, когда в кубе MS AS имеется мощное ветвистое измерение (например товары), содержащее несколько уровней иерархии, куб может тормозить по одной простой причине - это измерение не используется при построении партиций куба. У Cognos партиции проработаны лучше, и ими проще управлять - поэтому и торможения при правильном проектировании куба не бывает.

Задача не настолько сложна, чтобы менять из-за нее инструмент, при всем уважении к Юрию и Когносу :)

Безусловно, ради одной локальной и несложной задачи принимать такое стратегическое решение, как смена инструментария, не имеет смысла. Однако, когда Вы почувствуете, что простой OLAP для Вас недостаточен, и захотите перейти на следующую ступень - к технологии Business Intelligence - тогда Вы и перейдете с MS AS на Cognos :)
...
Рейтинг: 0 / 0
Построение куба остатков для 1С
    #32174982
Roxer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Интрересно, а с периодами дат Ваша система работать может НОРМАЛЬНО(в отличии от MS AS)?
...
Рейтинг: 0 / 0
25 сообщений из 58, страница 1 из 3
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Построение куба остатков для 1С
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]