powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Как реализовать ETL из 1С для ОЛАП?
25 сообщений из 56, страница 2 из 3
Как реализовать ETL из 1С для ОЛАП?
    #37869328
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TRX_, Хм, как вариант - скачайте Qlikview + 1с коннектор, дался вам этот OLAP... Коннектор можно найти, например, здесь: http://qliksolutions.ru/qlikview/add-ons/qw_1c_connect/
1 пользовательская лицензия на Qlikview - бесплатная, дока на русском, есть видеотренинги и т.п, так что разберетесь сами.

Вопросы - в личку или отдельную ветку по клику.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37869400
TRX_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
George Nordic,

Да я уже давно дизассемблировал его ;)

Используют тот-же ПолучитьСтруктуруХраненияБазыДанных() ;)



Даже закигенил (ради интереса) :D
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37869602
TRX_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
TRX_Теперь надо выяснить deadline-ы. Будет работать один программист (который по дорогу изучает все эти OLAP технологии, SSIS/SSAS, и т.д. :)). Как думайте, какое время понадобится для каждого этапа?
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37869695
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Это зависит от гениальности разрабочика и сложности задачи.

Для очень-очень приблизительной ориентировки: недавно делал проект хранилища/кубов для ритейла, весь процесс занял где-то половину года, оплаченных часов примерно 180. Но нужно учесть, что я давно занимаюсь хранилищами/кубами и преметная область была мне очень хорошо известна. Как выдет у вас - сложно сказать. Расчитывайте минимум на год (до момента существенного спада количества задач)
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37869743
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Критик,

ага, говорить Собственнику/Заказчику про год (как все по-честному) - это надо чтобы думающий Спонсор был. А то ж и про 6 мес. слышать даже не хотят. Можно и за месяц-два (видимо :)) родить, главное - ноги потом вовремя унести

Расписал состав работ по DWH+BI (старался по максимуму), мол, выберите комплектацию. Вот не знаю, услышат ли.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37869772
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alex_496,

Нет-нет, ни в коем случае сразу про год))
Я стараюсь делать акцент на то, что за неделю-две будет готов пилотный проект из 1-2х простых кубов, без документации и в очень сыром виде (вобщем-то так и есть). И для этих кубов выбираются те таблицы фактов из источника, которые можно использовать практически без доп-расчетов и преобразований. А затем всё это дело по желанию заказчика обрастает дополнительными мерами-кубами.

То есть я стараюсь быстро показать, что технология работает и уже с начала проекта приносит пользу в условиях заказчика.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37869798
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Критик,

тоже вариант.

Хотя я (мы) показываю на 18" ноутбуке готовый куб, точнее отчетность и речь ведем в бизнес-value, ну а потом: мол, для того, чтобы это было нужно: куб,витрины,двх (в обратном порядке)
Но бывает, даже это не помогат. Получив, времянку, и никакие дальнейшие доводы не слышатся, а утверждается, что теперь бизнесА могут всё - у них же куб есть!

Было, когда итерационно, как Вы нанизывали на базис дальнейшее развитие, но то было скорее внутренняя скрытая разработка.
Имхо, инициация BI-проектов - как в русскую рулетку сыграть, где количество патронов не известно также.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37869863
alexdr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ну, вроде все до меня уже написали. Причем по большей части - по делу.
Могу лишь поделиться нашим опытом довольно многих интеграций с 1С.

Согласен с Критиком, что инициатором лучше если будут ETL-процедуры и лучше "вытягивать", чем "выталкивать". Согласен с Alex_496, что непременно на этапе ETL должна быть и очистка и трансформация, потому что это правильно;)

Мы не приемлем решений (настолько насколько это бывает возможно), когда данные для хранилища выгружаются 1С-ом. Все наши многочисленные попытки получить приемлемый результат этим способом кончались, в результате, переходом на прямые запросы к БД 1С. Проектов было относительно немало и говорить в этом случае о кривизне рук разработчиков выгрузок из 1С, по-видимому, не приходится. Просто они это делают по-своему, не так как обычно требуется для хранения данных в хранилище. Как результат - данные получаемые из хранилища, заполненного по всем правилам с помощью обращения напрямую к БД 1С в обход движка и данные, полученные с помощью "выгрузок" внутренними средствами 1С практически всегда расходились и практически всегда было можно показать, и заказчик с этим соглашался, что с помощью правильно написанных прямых запросов к БД получаются более "правильные" данные. Именно поэтому мы отказались от заполнения хранилища с помощью промежуточных файлов (txt, xml). К тому же это очень долго (недопустимо долго) при достаточно больших объемах данных, хранящихся в 1С, особенно, если невозможно или нецелесообразно инкрементальное заполнение хранилища.

Сам способ реализации доступа к данным базы 1С (через view или каким иным способом через SSIS пакеты) не так принципиален, тут возможны варианты. А вот строить OLAP на вью к таблицам 1С далеко не всегда хорошая идея. Годится только от безысходности при весьма ограниченных бюджетах. Этот путь ведет к серьезным ограничениям функциональности.

Существуют определенные риски, когда 1С-ка при бездумных обновлениях, или странных методах разработке может менять названия таблиц и полей, но по нашему опыту ощущения опасности реализации таких рисков несколько преувеличены, хотя они и не сведены к 0. Это замечание особенно имеет смысл при более менее "устоявшейся" системе.

Что касается " В 1с есть, по сути, свой инструментарий для кубов", то это миф. Никакого "родного" олапа в 1С нет, а то что есть, это близко не олап.

Что касается stage-таблиц. На наш взгляд, это вопрос исключительно деталей реализации проекта. Когда-то они могут быть вполне оправданным и удобным решением, когда-то - лишний этап. Зависит от многих обстоятельств. А вот то, что данные всегда в хранилище лучше "чистить" и "трансформировать", а иногда и предрасчитывать - сие есть факт.

Когда ETL происходит быстро, т.е. минуты, макс. пару десятков минут, всегда можно "договориться" с расписанием регламентных работ, чтобы с ними не толкаться задницами при доступе к таблицам БД. За это время можно выгрузить десятка полтора, в том числе и немаленьких справочников (измерений), мемберов так на несколько сот тысяч, и несколько таблиц фактов с несколькими десятками миллионов транзакций.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37869864
Djeki
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TRX_TRX_Теперь надо выяснить deadline-ы. Будет работать один программист (который по дорогу изучает все эти OLAP технологии, SSIS/SSAS, и т.д. :)). Как думайте, какое время понадобится для каждого этапа?
Рассчитывайте на 2 :) года. Год на создание и год на переделку того, что создали.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37870082
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexdr,

везет Вам, однако, на ETL десятки минут :)
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37870095
alexdr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Alex_496на ETL десятки минут :)
А тут могут быть варианты. Взять данные за десятки минут - это одно. Сложить их в хранилище в нужном формате - это другое :) Решаем по разному, в зависимости... Но в 1С действительно чаще всего не бывает уж очень много данных. Она, похоже, при этом помирает. Да и, как правило, 1С далеко не всегда единственная система, из которой данные поступают. Я же говорил не о всем ETL, а о процессе забора из нее данных.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871197
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TRX_George Nordic, Да я уже давно дизассемблировал его ;)Ай-яй-яй-яй-яй! :)
Критикнедавно делал проект хранилища/кубов для ритейла, весь процесс занял где-то половину года, оплаченных часов примерно 180.Хм, что-то мало, конечно. Да же если это было просто методологическое руководство + особо важные архитектурные решения, но могли бы и на побольше раскошелится, оценить труд, так сказать.
alexdrНу, вроде все до меня уже написали. Причем по большей части - по делу.Ну, и Вам спасибо большое - хорошо дополнили :) От себя могу сказать, что когда я работал на партнере и предлагал широкий спектр решений, то обычно мы предлагали еще MDM (продукт или методологию управления информацией), чтобы унифицировать справочники и избежать ошибок при построении сводной отчетности / анализе. А то, как обычно, все грязь всплывает при старте проекта, и если в договоре не указано, кто отвечает за качество данных - Вас могут ждать неприятные сюрпризы. :) Так что ETL (->DWH) + MDM - неплохая связка, рекомендую обратить внимание.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871607
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
George Nordic,

методология MDM <> действительно результативный эффект от внедрения MDM особенно по прожитие продолжительного времени
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871620
paul310
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexdrЧто касается " В 1с есть, по сути, свой инструментарий для кубов", то это миф. Никакого "родного" олапа в 1С нет, а то что есть, это близко не олап.


То, что Вы не умеете работать с инструментами для анализа данных и подготовки отчетности на данной платформе вовсе не означает, что этих инструментов нет.

alexdrМы не приемлем решений (настолько насколько это бывает возможно), когда данные для хранилища выгружаются 1С-ом. Все наши многочисленные попытки получить приемлемый результат этим способом кончались, в результате, переходом на прямые запросы к БД 1С. Проектов было относительно немало и говорить в этом случае о кривизне рук разработчиков выгрузок из 1С, по-видимому, не приходится. Просто они это делают по-своему, не так как обычно требуется для хранения данных в хранилище.


"По-своему"? Это как? Просто бред какой-то... Выкатываешь людям реквест с подробным описанием формата xml файла, механизма его формирования и требуемой периодичности выгрузки - какие проблемы могут возникнуть?

А доступ напрямую к БД - это чисто административный гемор в крупной конторе.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871704
Djeki
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
paul310alexdrЧто касается " В 1с есть, по сути, свой инструментарий для кубов", то это миф. Никакого "родного" олапа в 1С нет, а то что есть, это близко не олап.

То, что Вы не умеете работать с инструментами для анализа данных и подготовки отчетности на данной платформе вовсе не означает, что этих инструментов нет.

Вы уж изините, что вмешиваюсь. Но где-ж это в 1с "свой инструментарий для кубов" ? Если вы имеете ввиду Консолидация 8 ПРОФ, то походу, как то немного не то, сводная таблица есть, а вот инструментария для кубов нет.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871912
paul310
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DjekiВы уж изините, что вмешиваюсь. Но где-ж это в 1с "свой инструментарий для кубов" ? Если вы имеете ввиду Консолидация 8 ПРОФ, то походу, как то немного не то, сводная таблица есть, а вот инструментария для кубов нет.

Есть консоль отчетов в "родных" конфигурациях от 1с, есть куча инструментов сторонних производителей. Та же консоль отчетов, может, не очень user friendly, но проще аналитиков обучить ей пользоваться, чем городить отдельный проект с dwh и olap.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871926
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
paul310,

При таком подходе все встанет, когда несколько человек будут проводить свои документы, а еще несколько смотреть аналитику за пару-тройку лет.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871945
alexdr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
paul310То, что Вы не умеете работать с инструментами для анализа данных и подготовки отчетности на данной платформе вовсе не означает, что этих инструментов нет.
Вот давайте только без переходов на личности. Про "инструментарий для кубов" Вам все уже написали. Иначе, сейчас пойдет ремарка про то, что Вы не понимаете что такое OLAP (точнее MOLAP), и разницу между OLTP и OLAP системами. Нет там в 1С ничего кроме сводной таблицы. Архитектура хранения данных в 1С не та, не OLAPовская.
paul310"По-своему"? Это как? Просто бред какой-то... Выкатываешь людям реквест с подробным описанием формата xml файла, механизма его формирования и требуемой периодичности выгрузки - какие проблемы могут возникнуть?

Вы разницу в скорости извлечения данных из 1С когда-нибудь замеряли при при использовании разных способов? И о чем Вам говорят полученные результаты замеров?

По-своему? Ну как самый недавний вариант. Документ - есть, проводка - есть. Деньги на аналитиках - есть. Только вот 1С работает со смещение дат в 2000. И часть этих проводок с деньгами висит на датах типа 2022-02-21. Тогда как подавляющее большинство проводок на датах типа 4012-01-31. Результат - часть проводок (и соответственно денег, количеств) в выгрузки не попадает. Там много еще чего интересного можно получить или не получить в выгрузках. Возможно, такие кривые проводки и можно "выудить" в выгрузки, но для этого надо догадаться что они там есть. И как правило они туда не попадают. Специалисты по 1С, пока им пальцем на такие косяки не покажешь, могут об этом даже не догадываться. Выгрузки из 1С, как правило, получаются какие-то "как-будто через щелочку полученные". Я понимаю, что можно говорить о кривизне рук разработчиков. Но работаем с тем что есть. А есть то, о чем я пишу.

Еще раз, представление о том, что
автордоступ напрямую к БД - это чисто административный гемор в крупной конторе.
чаще всего имеет сильно преувеличенный характер. Риски есть, но на наш взгляд, они перекрываются преимуществами прямого доступа.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871949
paul310
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Критикpaul310,

При таком подходе все встанет, когда несколько человек будут проводить свои документы, а еще несколько смотреть аналитику за пару-тройку лет.

Кто ж мешает аналитику развернуть свою копию базы и на ней играться? У меня на одном из проектов так и было устроено у клиента: раз в сутки снималась копия базы и выкладывалась в файлопомой. Возьми, разверни и грузи как хочешь. Раз в месяц актуализировал - и все клево.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871972
alexdr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
paul310проще аналитиков обучить ей пользоваться, чем городить отдельный проект с dwh и olap.
Недавно на проекте по интеграции с 1С даже несложные плоские отчеты не отрабатывали, выдавая ошибку о нехватке памяти на очень нехилом выделенном под 1С сервере).

OLAP отчеты на тех же данных возвращали результат практически мгновенно, причем несколько (5-7) аналитиков на лету строила свои запросы одновременно. Ну, да что объяснять вполне очевидные и всем известные вещи. Sapienti sat...
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871991
Фотография maxol67
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
paul310Критикpaul310,

При таком подходе все встанет, когда несколько человек будут проводить свои документы, а еще несколько смотреть аналитику за пару-тройку лет.

Кто ж мешает аналитику развернуть свою копию базы и на ней играться? У меня на одном из проектов так и было устроено у клиента: раз в сутки снималась копия базы и выкладывалась в файлопомой. Возьми, разверни и грузи как хочешь. Раз в месяц актуализировал - и все клево.Некоторые клиенты хотят, чтобы данные были 15-ти минутной свежести. И еще чтобы данные разных предметных областей были согласованы, почищены, дополнены данными из других систем, и чтобы это все откликалось максимум за 10 секунд. И данных этих может быть несколько терабайт. И вообще всякие там иерархии, атрибутные иерархии, зависимости атрибутов, несколько измерений времени, time intelligence и прочая лирика.

ЗЫ. И вообще, чего это народ деньги на хранилища данных и BI-системы выкидывает. Представил картину маслом, как 500 пользователей BI-системы разворачивают "свои копии базы и на них играются". Даже если не 500, а жалкие 50 - один одно наиграл, другой другое. Аналитика однако.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37872347
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maxol67,

немного в сторону: Максим, вот жаль, что уехали за кордон. Честно, не хватает Вас здесь (финансы, SSAS, Oracle). В Германии больше порядка в Data Integration проектах?
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37873012
Фотография maxol67
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alex_496,

спасибо за добрые слова :)
По поводу BI-проектов в Германии сложно дать однозначный ответ: где-то лучше, где-то хуже - все как и в России. Проценты бардачных IT-систем могут, конечно, отличаться, но даже примерную оценку дать не могу - не думал об этом как-то и для точности оценки развития IT-систем и BI в частности надо проводить серьезный анализ - это задача больше для Гарнтера :) Что могу по личному опыту сказать - уровень русских биайщиков и инженеров (по крайней мере присутствующих здесь) уж по крайней мере не ниже уровня немецких коллег. При этом русские гораздо более общительные в профессиональном плане - айти форумов такого уровня, как sql.ru, в Германии нет.
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
Как реализовать ETL из 1С для ОЛАП?
    #40058956
pr89as
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
У меня примерно такая же тема
Сделал обработку на стороне 1с Гружу данные в sql базу, дальше на основе выгрузок процессится куб.
Здесь нужны два подключения из 1с:
1. 1с к sql server (к реляционной базе) По этому подключению полно в инете примеров
2 1с к кубу (ssas) Для выполнения fullprocess или что-то подобного.

По второму подклюению ничего не погу найти. Есть, плз, у кого нибудь пример подключения, пересчета?
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #40058957
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pr89as
2 1с к кубу (ssas) Для выполнения fullprocess или что-то подобного.

По второму подклюению ничего не погу найти. Есть, плз, у кого нибудь пример подключения, пересчета?


Если у вас есть сиквел, к которому вы подключаетесь, то что мешает сделать джоб, который будет процессить. А раз вы так и так подключаетесь, то из 1С выполнить процедуру по запуску джоба не должно быть сложно.

Но это извращение. Первичная система не должна управлять ХД, потому что первичная система может быть заменена другой, или их добавиться еще десяток штук...
...
Рейтинг: 0 / 0
25 сообщений из 56, страница 2 из 3
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Как реализовать ETL из 1С для ОЛАП?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]