Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / 1C +SQL + AS + Excel - нужна помощь специалистов / 25 сообщений из 31, страница 1 из 2
18.03.2004, 18:31
    #32448011
ignorant
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
Строю в AS куб для анализа остатков товара на складах на основе информации из регистра остатков товаров (или партий товаров).

Для тех, кто далек от 1С: в регистре хранится информация о движении товаров примерно в таком формате:
дата товар (+/-)количество (+/-)сумма

В качестве OLAP-клиента использую MS Excel 2003.
Не удается получить остатки товаров на дату (нарастающий итог по товару).
В MS PivotTable я не нашел такой возможности.

Вопросы:
1. В СводныхТаблицах от MS действиельно нет такой функции или я плохо искал?
2. Возможно и как правильно создать расчитываемое поле нарастающего итога при формировании куба в AS?
3. Я двигиюсь в правильном направлении? Или где-то вкралась методологическая ошибка и есть другие способы получения интересующей меня информации?
Спасибо за внимание.
...
Рейтинг: 0 / 0
18.03.2004, 18:43
    #32448030
LordOfSilence
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
А Вам необходимо "разворачивать" остатки на каждый день или достаточно
отразить остатки на конец месяца, как они и лежат в RG-таблице регистра?
Если последнее, то я сделал так:
Создаю временнОе измерение с уровнями ГодКварталМесяц.
Условно обзываю его ГКМОстатки.
Уровень Месяц не трогаю. В свойствах CustomRollupFormula уровней Год и Квартал прописываю формулу:
[ГКМОстатки].CurrentMember.LastChild
...
Рейтинг: 0 / 0
18.03.2004, 18:49
    #32448053
ignorant
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
Ессно, мне нужна таблица RA, т.к. интересует информация в разрезе дней и недель. Месяцы / декады (RG) большого интереса не представляют.
...
Рейтинг: 0 / 0
18.03.2004, 20:02
    #32448143
Quark
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
Поищите по форуму, тут достаточно много формул МДХ по остаткам товаров приводилось.
ЛИчно я храню все в БД то есть такая тсруктура
Дата,Измерение1,Измерение2,ИзмерениеН,Остаток,ПрочиеФакты.
Из 1С данную инормацию можно получить путем
1. ОСтатки на начало периода из RG
2. ОСтатки на любой день = Остатки на начало+RA
...
Рейтинг: 0 / 0
19.03.2004, 07:35
    #32448361
qu100
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
есть скрытое measure ostatok, источник - ra1130.sp1133

вычисляемый мембер Остаток=iif([Measures].[Ostatok]>0,Sum(PeriodsToDate([Дата].[(All)],[Дата].CurrentMember), [Measures].[Ostatok]),NULL)

Видны остатки на любой день
...
Рейтинг: 0 / 0
19.03.2004, 07:40
    #32448368
qu100
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
забыл cказать, что знак используется
ostatok=(ra1130.DEBKRED * 2 - 1) * ra1130.SP1133
...
Рейтинг: 0 / 0
19.03.2004, 10:42
    #32448685
ignorant
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
2 Quark Идея понятная, но не очень отпимальная (IMHO):
1. Перед каждой загрузкой куба неодходимо "готовить" промежуточную БД ( дополнять изменеиями или заоплнять заново), а для достаточно большой исходной БД это занимает некоторое время.
2. Промежуточная БД "подъедает" ресурсы сервера.
В форуме уже ищу.

2 q100 большое спасибо. На выходных буду пробовать.
...
Рейтинг: 0 / 0
19.03.2004, 10:55
    #32448728
Вжик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
У меня вся эта байда работает через View на исходную базу, остатки расчитываются в кубе при помощи МДХ в суммарном и количественном выражении оптимальным по скорости методом, причем учтена проблема рваной иерархии в измерении Дата на уровне Неделя. Могу помочь, пиши по почте.
...
Рейтинг: 0 / 0
19.03.2004, 11:01
    #32448759
Quark
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
автор1. Перед каждой загрузкой куба неодходимо "готовить" промежуточную БД ( дополнять изменеиями или заоплнять заново), а для достаточно большой исходной БД это занимает некоторое время
Вы читали литературу по Data Warehouse и принципам OLAP?
Там как раз рекомендуется некий промежуточный слой, DataMart,
в который
авторнеодходимо "готовить
осуществлять ETL .
авторили заоплнять заново
Этого не надо делать для тех данных которые не менялись, достаточно лишь правильно создать уникальность ключей в схеме снежинка. И менять лишь данные в таблицах измерений.
...
Рейтинг: 0 / 0
19.03.2004, 11:07
    #32448779
Вжик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
Да, с DWH подход более правильный, поддерживаю и буду перестраивать у себя. Но на View тоже работает - это как пилотный проект - понравилось, тогда уж делать все по-человечьи.
...
Рейтинг: 0 / 0
19.03.2004, 11:25
    #32448823
Валек
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
ignorant, Quark прав вам лучше создать хранилище данных и работать по схеме 1с->DWH->AS->клиент, так будет оптимальней и надежней
в хранилище вы можете выгружать только обновляемые данные, либо полностью перевыгрузку данных за период
...
Рейтинг: 0 / 0
19.03.2004, 12:00
    #32448934
Jurii
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
To ignorant:

Еще один способ решения Вашей задачи (если база данных у Вас большая, и велико произведение количества номенклатуры на количество мест хранения на количество дней в оси времени куба, и таким образом слишком тяжело создавать Data Mart):

Замените 1C +SQL + AS + Excel на 1C +SQL + AS + Cognos PowerPlay User.

OLAP-клиент PowerPlay User позволит имея "(+/-)количество (+/-)сумма" вычислять остатки на любую дату с помощью встроенной функции нарастающего итога.
...
Рейтинг: 0 / 0
19.03.2004, 13:03
    #32449114
ignorant
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
VIEW или Data Warehouse определяет контекст задачи (IMHO).
Минусы DWH для меня лично:
1. Не уверен, что в 1Совой базе возножно будет отследить изменяемость данных, с тем, чтобы грузить в DWH ТОЛЬКО изменения. Во всяком случае, мехнизмы репликации MSSQL 1С активно не поддерживает. Если перегружать ВСЕ данные - см. п. 2.
2. Загрузка куба через промежуточное хранилище существенно увеличит общее время загрузки куба (м.б., раза в два - это уменьшение оперативности) + затрабы на создание/поддержку хранилища.
3. Потери/неточности при работе напрямую с первичной БД несущественно искажают картину.
...
Рейтинг: 0 / 0
19.03.2004, 13:45
    #32449218
LordOfSilence
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
2 ignorant
Но с другой стороны есть и плюсы :-)
К примеру у тебя в 1С базе некоторые пользователи активно работают
с документами (редактируют, проводят и т.д.), а некоторые активно
формируют "тяжелые" отчеты за большие промежутки времени. В общем-то
не секрет, что 1С не слишком лихо работает с сиквельной базой. А тут еще
OLAP начинает в нее ломиться. Короче, вариант с DWH тоже имеет свои
преимущества, но это все описано в теории, углубляться не буду :)
К тому же при варианте с DWH ты можешь вообще разнести его с OLTP-базой
по разным сервакам, несколько сбалансировав таким образом нагрузку и т.д.
...
Рейтинг: 0 / 0
19.03.2004, 13:47
    #32449230
Quark
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
автор1. Не уверен, что в 1Совой базе возножно будет отследить изменяемость данных, с тем, чтобы грузить в DWH ТОЛЬКО изменения. Во всяком случае, мехнизмы репликации MSSQL 1С активно не поддерживает. Если перегружать ВСЕ данные - см. п. 2.

Как обмануть 1с при репликации - есть статьи в разделе Статьи на данном сервере. Если вам надо грузить только изменения, то можете задавать признаки документов на языке 1С - например аттрибут шапки-ИзмененДляОЛАП и выгружать только когда этот реквизит =1.
На большинстве БД сокрость выгрузки данных из 1С настолько большая что можно спокойно выгружать ВСЕ! что надо для ОЛАП.

автор2. Загрузка куба через промежуточное хранилище существенно увеличит общее время загрузки куба (м.б., раза в два - это уменьшение оперативности) + затрабы на создание/поддержку хранилища.
Это правда, но
1.схема взаимодействия становится прозрачной,
2.появляются дополнительные возможности, например Reporting Services
3.развиваются мозги и опыт работы с SQLServer

автор3. Потери/неточности при работе напрямую с первичной БД несущественно искажают картину.
А это уж как алгоритм зададите, можно и кривой).
В конечном итоге ошибка на пару баксов в инфе 2 летней давности всем параллельна, а текущие данные (последний год) можно без проблем поддерживать с точностью до цента.
...
Рейтинг: 0 / 0
19.03.2004, 14:26
    #32449335
Владимир Иванов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
Привет!
Решения 1С+OLAP для нас довольно типовая задача. Мы предлагаем ряд продуктов, а также методические материалы для разработчиков с примерами решений основных задач. Вот кусок оглавления методички из того что может быть вам полезно. Есть дистанционный hotline от сертифицированных инженеров Microsoft.

11. Типовые аналитические задачи и MDX-запросы
11.1. Маржа в кубе продаж
11.2. Загрузка операторов на ввод документов
11.3. Оптимизированная формула для подсчета накопительных сумм
11.4. Прирост продаж по сравнению с прошлым кварталом
11.5. Измерение прибыли в сравнении с аналогичным прошлым периодом
11.6. Измерение прибыли в сравнении с прошлым годом
11.7. Подсчет дебиторки на уровне балансов контрагетов
11.8. Отдельная мера "Дебиторка» в кубе Покупателей
11.9. Подсчет дебиторки/кредиторки в разрезе договоров контрагентов
12. Особенности работы с измерением «Дата»
13. Построение хранилищ и витрин данных на примере 1С:Предприятия
13.1. Список первичных документов
13.2. Доступ к справочнику Номенклатура
13.3. Доступ к проводкам
13.4. Движение Денежных Средств
13.5. Прибыли и Убытки
13.6. Балансы покупателей
13.7. Движение Товаров и Продажи по оперативным регистрам
14. Инкрементальная подкачка данных на примере 1С:Предприятия
14.1. Исходная таблица регистра
14.2. Таблица Дельты данных для подкачки
14.3. Таблица Зарегистрированных Фактов
14.4. Триггер регистрации изменений данных
15. Использование Data Mining и средств прогнозирования
15.1. Прогнозирование методом коррелирующих трендов, сравнение с Data Mining
15.2. Ранг дат и корреляция
15.3. Прогнозирование методом простой корреляции
15.4. Проверка достоверности прогноза
15.5. Прогнозирование методом весовых коэффициентов
15.6. Учет сезонных коэффициентов при прогнозировании
15.7. Предсказание продаж по товарным запасам
15.8. Особенности поиска закономерностей в MS Data Mining
15.9. Задача о покупательской корзине
15.9.1. Решение на базе Microsoft Decision Tree
15.9.2. Решение на базе Microsoft Clustering
15.10. Создание Data Mining клиента в Internet Explorer
15.11. Подключение свойств контрагентов как атрибутов для моделей DM и свойств (Members Properties)
16. Аналитическая отчетность в реальном времени (Real-Time OLAP™)
16.1. Сегмент применимости Real-Time OLAP в бизнесе
16.2. Real-Time без агрегатов
16.3. Real-Time с агрегатами
17. Криптозащита OLAP-решения
17.1. Защита SQL-кода
17.2. Защита от прослушки Инсталлятора
17.3. Защита дизайна OLAP-кубов

Сразу скажу, это штука стоит несколько сотен. Если интересно пишите на ivanov-soft@inbox.ru
...
Рейтинг: 0 / 0
19.03.2004, 14:30
    #32449350
Вжик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
Самое приемлемое решение для отлавливания измененных объектов в 1С - это компонента УРБД. На выходе будете иметь ID измененных объектов, что существенно сократит объемы ETL операций.
...
Рейтинг: 0 / 0
19.03.2004, 14:36
    #32449378
qu100
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
у нас сейчас внедрен вариант промежуточного хранилища
- периферийная база 1с (в SQL). обновления из рабочей базы 1с
поступают каждые 15 мин средствами УРБД (фича 1с). таким образом
построение кубов OLAP из таблиц SQL-базы не замедляет работу операторов 1с.
...
Рейтинг: 0 / 0
19.03.2004, 15:23
    #32449500
Владимир Иванов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
2Вжик и qu100. Господа, давайте обменяемся опытом.
Использование УРБД действительно неплохое решение. Однако как вы могли заметить выше мы делаем ставку на отслеживание через триггера. Даже основная ставка не в этом. У нас инкрементальное хранилище обычно формируется в филиале и затем прямым подключением, через XML или bulk data передает данные в центральный офис где уже консолидируется большое инкрементальное хранилище и наращивается партиция.
Такой подход связан с тем, что обычно у нас клиенты компании относительно крупные и они используют целый зоопарк систем. Архитектура выше не привязана к 1С. Например, также делается наращение для специфических баз SMS- и Web-сервисов.

Вопрос вот в чем. Насколько по вашему мнению ставка на УРБД дает хороший результат при создании консолидированных систем центральный офис - филиалы.
...
Рейтинг: 0 / 0
19.03.2004, 17:56
    #32449902
ignorant
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
2 LodfOfSilence
авторне секрет, что 1С не слишком лихо работает с сиквельной базой
В том-то и дело. 1С НЕДОГРУДЖАЕТ SQL сервер. Когда терминальный сервер буквально задыхается, скульный сервер работает вполсилы. И потому кратковременная подгрузка его OLAPовскими запросами никому сильно не мешеат.

2 Quark
авторНа большинстве БД скорость выгрузки данных из 1С настолько большая что можно спокойно выгружать ВСЕ! что надо для ОЛАП.
Вот я об этом и хочу сказать. СтОит ли морочить голову с анализом изменений в ИБ 1С для выполнения апдейта куба ОЛАП? Выгрузка ВСЕЙ базы гораздо практичней. И главное - абсолютно надежно.
...
Рейтинг: 0 / 0
19.03.2004, 18:42
    #32449968
Вжик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
Это не подходит для меня. На данный момент база 17 Гб, количество документов (чеков) около 8000000. Конечно речь идет о постоении хранилища, периодиеского переноса данных в него, резка базы ОЛТР. Но даже тогда, на мой взгляд, грузить изменения будет выгодней в целях экономии времени и разгрузки сети, т.к. сервер с хранилищем и ОЛАП это один, а с базой ОЛТП - другой.
...
Рейтинг: 0 / 0
01.06.2004, 14:11
    #32542827
Maxim Tereschenko
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
Может немного не в тему, но все же. А в чем минусы такого подхода: не создавать промежуточного хранилища, а процессить кубы из текущей 1С, но только ночью? Плюсы, как по мне: по времени это экономней (не нужно делать выгрузку в промеж. базу и следить за изменениями), работающим с 1С это никак не мешает (все менеджеры в это время крепко спят).

Буду благодарен за любые мысли по этому поводу.
...
Рейтинг: 0 / 0
01.06.2004, 14:28
    #32542883
Rubik
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
TO Maxim Tereschenko :

по времени это экономней (не нужно делать выгрузку в промеж. базу и следить за изменениями)

как показывает практика, это ошибочное предположение
на выгрузкув промежуточное хранилище время не тратится, зато много времени тратится на выполнение запросов
...
Рейтинг: 0 / 0
03.06.2004, 11:18
    #32546124
parteigenosse
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
2ignorant

По собственному опыту могу сказать, что загрузка баз из 1С в хранилище занимает не очень много времени. У нас в ХД сливются три базы, при этом происходит слияние справочников, документов в хранилище получается наверно под миллион, и вся заливка идет около сорока минут полностью, с синхронизацией справочников. инкрементальное пополнение пока не получилось, надо видимо действительно вводить какой то реквизит, контролирующий изменения, потому что сравнивать данные средствами SQL оказалось дольше, чем просто делать полную выгрузку

2Владимир Иванов
у нас не получилось навесить триггера на таблицы 1С, при попытке создать даже пустой триггер на update, клиенты 1С не могут присоединиться к серверу и отваливаются по таймауту. Вы сталкивались с такой проблемой? Можете ли подсказать какое либо решение, или в каком направлении искать?
...
Рейтинг: 0 / 0
04.06.2004, 11:33
    #32548173
Bear_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C +SQL + AS + Excel - нужна помощь специалистов
parteigenosse 2Владимир Иванов
у нас не получилось навесить триггера на таблицы 1С, при попытке создать даже пустой триггер на update, клиенты 1С не могут присоединиться к серверу и отваливаются по таймауту. Вы сталкивались с такой проблемой? Можете ли подсказать какое либо решение, или в каком направлении искать?
я не являюсь Владимиром Ивановым, но могу посоветовать - проверьте Ваши триггеры на наличие конструкции "nolock" (тоесть эта конструкция должна использоваться) при выборках данных.
1С очень неоднозначно блокирует таблицы при записи, и конкурировать без "nolock" можно только в пределах "inserted\updated\deleted" временных таблиц в контексте триггера
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / 1C +SQL + AS + Excel - нужна помощь специалистов / 25 сообщений из 31, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]