powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / 1С-ники, нужен совет....
30 сообщений из 30, показаны все 2 страниц
1С-ники, нужен совет....
    #32215430
Alfa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Хотим сделать демо версию кубиков (на MS-olap) для данных 1С (ms sql-версия), что бы так сказать показать возможности OLAP.
Соответсвенно стал вопрос о выгрузке данных. Я говорю, что нужно разобраться в таблицах sql, кто за что отвечает, какие связи и с помощью DTS перегрузки делать. Специалисты 1С запищали, что в той структуре разобраться невозможно! (во всяком случае уйдет много времени). И предложили делать выгрузку отчетов в Excel и потом из Excel закачивать в хранилище. Мне же это кажется неразумно.
Скажите так ли сложно разобраться в самой базе 1C, и должен ли по идее это уметь специалист 1С?
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32215442
dionis_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Если деньги нужны, то специалист 1С должен уметь разбираться и в базе. А вы давно с 1С?
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32215469
Alfa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
с 1 С давно. Недавно перешли на sql версию. Правда я к 1С никакого отношения не имею.
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32215484
dionis_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Короче, разобраться можно. Струтура в файле 1cv7.dds. Но времени потратить придется.
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32215545
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
To Alfa:

Скажите так ли сложно разобраться в самой базе 1C, и должен ли по идее это уметь специалист 1С?

Хотя таблички и поля 1С выглядят неприветливо, разобраться в них не так сложно. По крайней мере у меня это проблем не вызвало. Проблемы у Вас возникнут, когда Вы попытаетесь создавать содержательные кубы на основе 1С - MS AS не умеет делать запросы к сложной структуре БД, и Вам придется вручную писать вьюшки в БД MS SQL. Так что советую поюзать ознакомительную версию Cognos - и через 2-3 часа после инсталляции у Вас уже будут первые кубы и красивые отчеты на основе 1С.
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32215573
lubimov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не надо в них разбираться.
Посмотрите ниже тему "Раздача слонов" - это хорошо документированное решение для OLAP по данным 1С, сделанное штатными средствами. Придется писать на 1С-ике, но это все 1С-ники умеют.
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32215745
Alfa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Спасибо за советы, думаю, будем разбираться со структурой...
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32216104
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Можно не разбираться, а взять готовое.
www.ivn.newmail.ru
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32216365
Ruban Igor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Очень рекомендую ddsview - просмотрщик словаря метаданных 1С.
найти его можно http://www.burga.kuban.ru/ddsview.html
Но лучше заказать парудневный тренинг у Владамира Иванова.
Поверь оно стоит того. Сам прошел. Не жалею.
Если ты с Украины, могу такой тренинг сам провести.
docent@skif.com.ua
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32216914
Gor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gor
Гость
Хотелось бы пройти треннинг, но есть несколько вопросов.
Сколько стоит, сколько длится по времени, можно ли ознакомится с программой занятия?
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32217100
Alfa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
to Ruban Igor:
ddsview нам понравился. Спасибо, очень своевременное предложение.
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32217204
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Насчет треннинга лучше в мыло ivanov-soft@inbox.ru
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32218485
Максим Мамаев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я могу посоветовать использовать нашу разработку Adelite:ETL,которая анализирует метаданные 1С и строит хранилище данных, в котором и таблицы и поля имеют те же названия что и объекты 1с. Наша программа также выгружает перечисления, выгружает подчиненные справочники в виде дополнительного уровня в родительском справочнике, делает преобразования данных и многое другое.
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32218517
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
К слову, Mad Maxx. Если можно поясни вот какие моменты.
Обычно для построения OLAP-отчетности для 1С достаточно сделать 2-5 относительно сложных view на регистры и проводки, и примерно 10-20 фактически одинаковых view на справочники.
Написать view на справочники из 2х строк не сможет только полный идиот.
Сделать view вынимающие фактом можно в готовом виде только для стандартных конфигураций, но для этого "генератор" не нужен. У клиентов в нише "1С + SQL" обычно несколько разных баз и в разной структуре, плюс свои заморочки. Поэтому приходится делать довольно сложный SQL-запрос для вытягивания данных. Сгенерировать его автоматом для реальных систем фактически невозможно. Еще более сложно сопровождать такой генерированный запрос. Если это view, то даже в самых сложных случаях можно проблему победить через SQL-запрос.
Например, мой клиент производящий "Помарин" и прочую косметику (АленМак) столкнулся с проблемой разной структуры номенклатуры в своих конфигурациях. 1 час отладки и удалось склеить номенклатуры с разными деревьями.
Делать хранилища для такой простой системы как 1С, на мой взгляд в большинстве случае неправдано. Только тормоза добавляет.
На мой взгляд, генератор SQL-запросов может быть полезен корп. разработчикам, которые не состоянии сделать простейший select ... from и не желают повышать свою квалификацию в SQL.
Но много ли таких? Мне кажется нет, корп. разработчики не идиоты, в это я точно верю.
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32218564
Rubik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
2 Владимир Иванов

Не согласен, что делать хранилища для такой простой системы как 1С, в большинстве случае неоправданно.
Как правило, большинство компаний сворачивают периодически базу в силу невозможности ее использования с большими объемом данных. Когда требуется полный процессинг куба приходит на помощь хранилище данных.
Также хранилище данных удобно использовать, если в компании используется много разных по своей природе конфигураций. Объединять их через представления можно, но громоздко и неэффективно.
Время чистого процессинга из хранилища тоже гораздо меньше, чем через представления, так как индексы на таблицах работают эфеективней, чем indexed view.
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32218578
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я говорил именно про большиство случаев.
Примерно в 30% я делаю для 1С DWH. Это нужно в том случае, если данные можно собрать в несколько проходов.
Процессинг через DWH сильно уступает по скорости view.
Во-первых, MS SQL обязан закомитить данную большую транзакцию. Это не быстро. Можно конечно, применить bulk insert, он работает на 20% быстрее. Но в задачах, которые мы обсуждаем частно нужно делать update DWH.
Во-вторых, если повесить много индексов на DWH время его создания еще больше упадет, т.к. индексы MS SQL надо перестраивать.

Для примера тесты из жизни. view с union для откачки данных из 2х конфигураций. Выполнение запроса на процессинге - 20 сек.
Тоже самое через DWH, запрос идет 12 сек, но подготовка DWH занимает 50 сек.

В принципе я считаю, раз начал возится с DWH стоит сразу сделать инкрементальную подкачку. Вот это действительно убыстрение и десятки, если не в сотни раз.
Но Mad Maxx этого не предлагает...
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32218605
Rubik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
"...Для примера тесты из жизни. view с union для откачки данных из 2х конфигураций. Выполнение запроса на процессинге - 20 сек.
Тоже самое через DWH, запрос идет 12 сек, но подготовка DWH занимает 50 сек."

что то с цифрами не клеится . как может DWH строится дольше , чем запрос на процессинге. на процессинге запрос обычно похожий, но всегда сложнее, чем при построении DWH, так как в запросе участвуют еще таблицы измерений.
я могу привести примеры, когда при переводе на DWH общая скорость процессинга(построение + процессинг кубов) увеличивалась в 5-10 раз, и это еще без использования индексов.

по 1С еще есть одна особенность: если надо отпроцессить через представление в течении рабочего дня, то пользователи курят. Происходит это практически всегда , так как используется таблица 1СЖурнал, которая на всех одна. Как то ускорить время процессинга через построение дополнительных индексов на таблицах 1С не получится. Почему? Потому что Боря Нуралиев против.
с DWH проще. Забрал быстро необходимые тебе данные, а потом может хоть сутками выполнять сложные и не очень вычисления для таблицы фактов.
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32218622
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DWH всегда строится медленней, чем аналогичный линейный запрос, т.к. результаты надо записывать на диск и не просто записывать, а через лог.
Потом, до 100 тыс. записей MS SQL фактически не нуждается в индексах. Очень быстро работает система виртуальных hash-индексов. Посмотрите Query Plan.
С блокировками замечание верное, но режимы изоляции транзакций на то в MS SQL и есть. Хотя бы банальный nolock. Если не использовать накопительные регистры 1С, можно читать в d. read и фантомы не появятся.

Единственная глобальная проблема со view, это то, что оптимайзер MS SQL теряет контекст обращения к primary key связанных таблиц в случае использования union. Это обходимо, но нужен опыт.

Вообще говоря. При типичном звездо-подобном запросе MS SQL нужны только primary key, они в 1С есть. Использование FK дает выгоду только на фильтрации, т.е. в случае использования Drill Though. Вот это действительно аргумент в пользу DWH.

Давайте я резюмирую и закончу это обсуждение.
Базы 1С крохотные для MS SQL это надо понять и не заниматься оптимизацией на пустом месте. 1С это даже не Axapta.
Штатная оптимизация SQL-запросов под view обычно решает все проблемы. Иногда DWH полезен, но в стандартных конфигурациях 1С он не нужен. Если введен DWH, нужно запускать инкр. подкачку и Drill Through.
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32219356
lubimov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Из виденных и развинченных мной учетных систем (1C, Navision, Axapta, несколько CRM) у 1С - самая сложная структура БД.
Чтобы для решения банальной в общем-то задачи не требовалось решение ребусов и IQ>140, лучший способ - промежуточное хранилище и выгрузка, написанная на языке 1С.

http://www.1bi.ru/attolap.html
- внизу есть download вполне рабочего продукта с документацией, почитав код и доку которого, любой 1С-программист сможет получить результат.
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32219358
lubimov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
кстати, для локальной версии 8.0 такой подход будет,скорее всего единственным
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32219392
Ruban Igor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А зачем Израилю коммунизм?
В смысле я не встречал клиентов, у которых однопользовательская версия 1С и потребность в OLAP. OLAP как правило требуется тем, у кого большие объемы данных для анализа, т.е. сетевая версия.
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32219406
Дядя Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
2 Ruban Igor

Сетевая <> SQL. Это типа раз.

Кролики - это не только ценный мех... А OLAP применим не только при больших объемах информации (Ибо анализ с помощью OLAP удобен ). Это типа два.

Вот.
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32219480
lubimov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А еще, а еще.... в 8.0 есть аналог MS OWC PivotTable, который резко снизит потребность среднего клиента в OLAP
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32220008
Ruban Igor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дядя Федор: Спасибо, уточнил.
К стати, что такое ОЛАП, я впервые узнал от тебя. Ты должен помнить 2001 год, июль, г.Харьков, тусовка 1С - ников в гостях у фирмы Теллур.
Я был в составе киевской команды (я + Тот + Гари).
Огромное тебе спасибо!
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32220438
Дядя Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Помню, товарищч Доцент, помню... я тебя сразу узнал
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32222419
Максим Мамаев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
К слову, Mad Maxx. Если можно поясни вот какие моменты.
Обычно для построения OLAP-отчетности для 1С достаточно сделать 2-5 относительно сложных view на регистры и проводки, и примерно 10-20 фактически одинаковых view на справочники.
Написать view на справочники из 2х строк не сможет только полный идиот.


Я согласен, что в принципе с технической точки зрения это элементарная операция. Но достаточно трудоемкая - ведь чтобы сделать вью на каждый из 10-20 справочников надо для каждого найти его описание в dds файле и ручками перенести его в энтерпрайз менеджер. Наше же средство дает возможность просто поставить галочки против необходимых Вам справочников.

Далее. Интересно как Вы выгружаете перечисления. Ведь они хранятся в md файле. Наша утилита создает для них таблицы. А Вы, как я понимаю, перебиваете их ручками.



Сделать view вынимающие фактом можно в готовом виде только для стандартных конфигураций, но для этого "генератор" не нужен. У клиентов в нише "1С + SQL" обычно несколько разных баз и в разной структуре, плюс свои заморочки. Поэтому приходится делать довольно сложный SQL-запрос для вытягивания данных. Сгенерировать его автоматом для реальных систем фактически невозможно. Еще более сложно сопровождать такой генерированный запрос. Если это view, то даже в самых сложных случаях можно проблему победить через SQL-запрос.
Я согласен, что для сложных и нетиповых случаев необходимо писать запрос вручную, но для типичных случаев в этом нет необходимости. Ведь принципы хранения данных для всех регистров одинаковы. Более того, если разработчик хочет написать вью руками, это ему никто не мешает сделать - можно воспользоваться только частью функционала Adelite:ETL и выгрузить только справочники и перечисления. Причем можно выгрузить подчиненные справочники в виде уровней в справочнике, которым они подчинены. И сделать на этой таблице удобное измерение.


Например, мой клиент производящий "Помарин" и прочую косметику (АленМак) столкнулся с проблемой разной структуры номенклатуры в своих конфигурациях. 1 час отладки и удалось склеить номенклатуры с разными деревьями.
Эта проблема решается с помощью введения уникальных кодов и таблиц соответствия.


Делать хранилища для такой простой системы как 1С, на мой взгляд в большинстве случае неправдано. Только тормоза добавляет.



На мой взгляд, генератор SQL-запросов может быть полезен корп. разработчикам, которые не состоянии сделать простейший select ... from и не желают повышать свою квалификацию в SQL.
Но много ли таких? Мне кажется нет, корп. разработчики не идиоты, в это я точно верю.

Совершенно не согласен. Есть вещи которые однозначно имеет смысл делать с помощью визуальных средств, тем более что это не исключает возможности использования низкоуровневых. Для примера - интерфейсы в программе пищут на Visual Basic, а драйвер на ассемблере или C. И делается это не от того, что разработчики не в состоянии написать интерфейс на С. Просто для каждого случая выбирается наиболее адекватное средство.
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32222468
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вот за что я уважаю коллег из Adelite, что они не раздвигают пальцы.
Если резюмировать, то мы предлагаем для рынка разные технологии, что дает клиенту выбор и это есть хорошо.

Специфика в том, что мы предлагаем разработчику пройти курс обучения базовым навыкам OLAP\TSQL и далее развивать систему самостоятельно, используя инструментарий разработки только от Microsoft. Если завтра Adelite как в свое время Активные Торговые Технологии закроется, разработчик не будет знать что делать. Microsoft скорее атрибут вечности.

Мы стараемся делать акцент не на визуальной разработке, а на высокотехнологичных решениях от Microsoft таких как инкрементальная подкачка, сложный MDX, Real-Time, Data Mining и т.д. Этим технологиям мы стараемся обучить разработчика, так что для него это повышение квалификации и рыночной цены. Компания же, может без эффекта «иглы» использовать и развивать BI-систему.

Еще вопрос цены и сроков. Продукт+обучение+настройка в нашем случае равно $500. Как правило, все это удается сделать за 1 день.
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32222487
Ruban Igor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сложностей с созданием дополнительной таблицы, хранящей ВСЕ ПЕРЕЧИСЛЕНИЯ нет. Достаточно досконально знать встроенный язык 1С, в частности работу с Метаданными и пару недокументированных функции перевода между системами исчисления с основанием 10 и 36.
Аналогично достаются такие "труднодоступные моменты" как
ВидДокумента(), ТекущийДокумент(), и т.д. Причем без ковыряния в MD файле либо в DD - словаре. Этим путем шел раньше, признаю его ошибочность.
А еще по большому счету у спецов есть свой репозитарий.
Например у меня (не подумайте, что отношу себя к спецам) есть набор 1С - обработок, которые САМИ генерируют текст SQL - скриптов Views (для всех справочников, перечислений, ...). Только ставлю галочки какие поля справочников переносить.
Один запуск - и у меня готовый txt - файл с уже написанными скриптами.
Обработки почти универсальные, во всяком случае их универсальности мне достаточно для разворачивания первого куба менее чем за 30 минут.
Так что в принципе каждый пишет свой "Adelite:ETL" под себя, и называется это репозитарий.
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32262490
etl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
etl
Гость
К сведению, снизились цены на Adelite:ETL для 1С:Предприятие 7.7 :-) информация на сайте www.adelite.ru .
...
Рейтинг: 0 / 0
1С-ники, нужен совет....
    #32262764
demping
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Предлагаю обмен. Есть что дать взамен
turov@i.com.ua
...
Рейтинг: 0 / 0
30 сообщений из 30, показаны все 2 страниц
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / 1С-ники, нужен совет....
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]