|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
TRX_, Хм, как вариант - скачайте Qlikview + 1с коннектор, дался вам этот OLAP... Коннектор можно найти, например, здесь: http://qliksolutions.ru/qlikview/add-ons/qw_1c_connect/ 1 пользовательская лицензия на Qlikview - бесплатная, дока на русском, есть видеотренинги и т.п, так что разберетесь сами. Вопросы - в личку или отдельную ветку по клику. С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 15:21 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
George Nordic, Да я уже давно дизассемблировал его ;) Используют тот-же ПолучитьСтруктуруХраненияБазыДанных() ;) Даже закигенил (ради интереса) :D ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 16:02 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
TRX_Теперь надо выяснить deadline-ы. Будет работать один программист (который по дорогу изучает все эти OLAP технологии, SSIS/SSAS, и т.д. :)). Как думайте, какое время понадобится для каждого этапа? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 17:56 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Это зависит от гениальности разрабочика и сложности задачи. Для очень-очень приблизительной ориентировки: недавно делал проект хранилища/кубов для ритейла, весь процесс занял где-то половину года, оплаченных часов примерно 180. Но нужно учесть, что я давно занимаюсь хранилищами/кубами и преметная область была мне очень хорошо известна. Как выдет у вас - сложно сказать. Расчитывайте минимум на год (до момента существенного спада количества задач) ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 19:32 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Критик, ага, говорить Собственнику/Заказчику про год (как все по-честному) - это надо чтобы думающий Спонсор был. А то ж и про 6 мес. слышать даже не хотят. Можно и за месяц-два (видимо :)) родить, главное - ноги потом вовремя унести Расписал состав работ по DWH+BI (старался по максимуму), мол, выберите комплектацию. Вот не знаю, услышат ли. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 20:24 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Alex_496, Нет-нет, ни в коем случае сразу про год)) Я стараюсь делать акцент на то, что за неделю-две будет готов пилотный проект из 1-2х простых кубов, без документации и в очень сыром виде (вобщем-то так и есть). И для этих кубов выбираются те таблицы фактов из источника, которые можно использовать практически без доп-расчетов и преобразований. А затем всё это дело по желанию заказчика обрастает дополнительными мерами-кубами. То есть я стараюсь быстро показать, что технология работает и уже с начала проекта приносит пользу в условиях заказчика. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 21:15 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Критик, тоже вариант. Хотя я (мы) показываю на 18" ноутбуке готовый куб, точнее отчетность и речь ведем в бизнес-value, ну а потом: мол, для того, чтобы это было нужно: куб,витрины,двх (в обратном порядке) Но бывает, даже это не помогат. Получив, времянку, и никакие дальнейшие доводы не слышатся, а утверждается, что теперь бизнесА могут всё - у них же куб есть! Было, когда итерационно, как Вы нанизывали на базис дальнейшее развитие, но то было скорее внутренняя скрытая разработка. Имхо, инициация BI-проектов - как в русскую рулетку сыграть, где количество патронов не известно также. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 21:58 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Ну, вроде все до меня уже написали. Причем по большей части - по делу. Могу лишь поделиться нашим опытом довольно многих интеграций с 1С. Согласен с Критиком, что инициатором лучше если будут ETL-процедуры и лучше "вытягивать", чем "выталкивать". Согласен с Alex_496, что непременно на этапе ETL должна быть и очистка и трансформация, потому что это правильно;) Мы не приемлем решений (настолько насколько это бывает возможно), когда данные для хранилища выгружаются 1С-ом. Все наши многочисленные попытки получить приемлемый результат этим способом кончались, в результате, переходом на прямые запросы к БД 1С. Проектов было относительно немало и говорить в этом случае о кривизне рук разработчиков выгрузок из 1С, по-видимому, не приходится. Просто они это делают по-своему, не так как обычно требуется для хранения данных в хранилище. Как результат - данные получаемые из хранилища, заполненного по всем правилам с помощью обращения напрямую к БД 1С в обход движка и данные, полученные с помощью "выгрузок" внутренними средствами 1С практически всегда расходились и практически всегда было можно показать, и заказчик с этим соглашался, что с помощью правильно написанных прямых запросов к БД получаются более "правильные" данные. Именно поэтому мы отказались от заполнения хранилища с помощью промежуточных файлов (txt, xml). К тому же это очень долго (недопустимо долго) при достаточно больших объемах данных, хранящихся в 1С, особенно, если невозможно или нецелесообразно инкрементальное заполнение хранилища. Сам способ реализации доступа к данным базы 1С (через view или каким иным способом через SSIS пакеты) не так принципиален, тут возможны варианты. А вот строить OLAP на вью к таблицам 1С далеко не всегда хорошая идея. Годится только от безысходности при весьма ограниченных бюджетах. Этот путь ведет к серьезным ограничениям функциональности. Существуют определенные риски, когда 1С-ка при бездумных обновлениях, или странных методах разработке может менять названия таблиц и полей, но по нашему опыту ощущения опасности реализации таких рисков несколько преувеличены, хотя они и не сведены к 0. Это замечание особенно имеет смысл при более менее "устоявшейся" системе. Что касается " В 1с есть, по сути, свой инструментарий для кубов", то это миф. Никакого "родного" олапа в 1С нет, а то что есть, это близко не олап. Что касается stage-таблиц. На наш взгляд, это вопрос исключительно деталей реализации проекта. Когда-то они могут быть вполне оправданным и удобным решением, когда-то - лишний этап. Зависит от многих обстоятельств. А вот то, что данные всегда в хранилище лучше "чистить" и "трансформировать", а иногда и предрасчитывать - сие есть факт. Когда ETL происходит быстро, т.е. минуты, макс. пару десятков минут, всегда можно "договориться" с расписанием регламентных работ, чтобы с ними не толкаться задницами при доступе к таблицам БД. За это время можно выгрузить десятка полтора, в том числе и немаленьких справочников (измерений), мемберов так на несколько сот тысяч, и несколько таблиц фактов с несколькими десятками миллионов транзакций. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.07.2012, 00:04 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
TRX_TRX_Теперь надо выяснить deadline-ы. Будет работать один программист (который по дорогу изучает все эти OLAP технологии, SSIS/SSAS, и т.д. :)). Как думайте, какое время понадобится для каждого этапа? Рассчитывайте на 2 :) года. Год на создание и год на переделку того, что создали. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.07.2012, 00:08 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
alexdr, везет Вам, однако, на ETL десятки минут :) ... |
|||
:
Нравится:
Не нравится:
|
|||
07.07.2012, 13:44 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Alex_496на ETL десятки минут :) А тут могут быть варианты. Взять данные за десятки минут - это одно. Сложить их в хранилище в нужном формате - это другое :) Решаем по разному, в зависимости... Но в 1С действительно чаще всего не бывает уж очень много данных. Она, похоже, при этом помирает. Да и, как правило, 1С далеко не всегда единственная система, из которой данные поступают. Я же говорил не о всем ETL, а о процессе забора из нее данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.07.2012, 14:05 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
TRX_George Nordic, Да я уже давно дизассемблировал его ;)Ай-яй-яй-яй-яй! :) Критикнедавно делал проект хранилища/кубов для ритейла, весь процесс занял где-то половину года, оплаченных часов примерно 180.Хм, что-то мало, конечно. Да же если это было просто методологическое руководство + особо важные архитектурные решения, но могли бы и на побольше раскошелится, оценить труд, так сказать. alexdrНу, вроде все до меня уже написали. Причем по большей части - по делу.Ну, и Вам спасибо большое - хорошо дополнили :) От себя могу сказать, что когда я работал на партнере и предлагал широкий спектр решений, то обычно мы предлагали еще MDM (продукт или методологию управления информацией), чтобы унифицировать справочники и избежать ошибок при построении сводной отчетности / анализе. А то, как обычно, все грязь всплывает при старте проекта, и если в договоре не указано, кто отвечает за качество данных - Вас могут ждать неприятные сюрпризы. :) Так что ETL (->DWH) + MDM - неплохая связка, рекомендую обратить внимание. С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 10:19 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
George Nordic, методология MDM <> действительно результативный эффект от внедрения MDM особенно по прожитие продолжительного времени ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 14:00 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
alexdrЧто касается " В 1с есть, по сути, свой инструментарий для кубов", то это миф. Никакого "родного" олапа в 1С нет, а то что есть, это близко не олап. То, что Вы не умеете работать с инструментами для анализа данных и подготовки отчетности на данной платформе вовсе не означает, что этих инструментов нет. alexdrМы не приемлем решений (настолько насколько это бывает возможно), когда данные для хранилища выгружаются 1С-ом. Все наши многочисленные попытки получить приемлемый результат этим способом кончались, в результате, переходом на прямые запросы к БД 1С. Проектов было относительно немало и говорить в этом случае о кривизне рук разработчиков выгрузок из 1С, по-видимому, не приходится. Просто они это делают по-своему, не так как обычно требуется для хранения данных в хранилище. "По-своему"? Это как? Просто бред какой-то... Выкатываешь людям реквест с подробным описанием формата xml файла, механизма его формирования и требуемой периодичности выгрузки - какие проблемы могут возникнуть? А доступ напрямую к БД - это чисто административный гемор в крупной конторе. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 14:06 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
paul310alexdrЧто касается " В 1с есть, по сути, свой инструментарий для кубов", то это миф. Никакого "родного" олапа в 1С нет, а то что есть, это близко не олап. То, что Вы не умеете работать с инструментами для анализа данных и подготовки отчетности на данной платформе вовсе не означает, что этих инструментов нет. Вы уж изините, что вмешиваюсь. Но где-ж это в 1с "свой инструментарий для кубов" ? Если вы имеете ввиду Консолидация 8 ПРОФ, то походу, как то немного не то, сводная таблица есть, а вот инструментария для кубов нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 14:51 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
DjekiВы уж изините, что вмешиваюсь. Но где-ж это в 1с "свой инструментарий для кубов" ? Если вы имеете ввиду Консолидация 8 ПРОФ, то походу, как то немного не то, сводная таблица есть, а вот инструментария для кубов нет. Есть консоль отчетов в "родных" конфигурациях от 1с, есть куча инструментов сторонних производителей. Та же консоль отчетов, может, не очень user friendly, но проще аналитиков обучить ей пользоваться, чем городить отдельный проект с dwh и olap. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 16:33 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
paul310, При таком подходе все встанет, когда несколько человек будут проводить свои документы, а еще несколько смотреть аналитику за пару-тройку лет. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 16:42 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
paul310То, что Вы не умеете работать с инструментами для анализа данных и подготовки отчетности на данной платформе вовсе не означает, что этих инструментов нет. Вот давайте только без переходов на личности. Про "инструментарий для кубов" Вам все уже написали. Иначе, сейчас пойдет ремарка про то, что Вы не понимаете что такое OLAP (точнее MOLAP), и разницу между OLTP и OLAP системами. Нет там в 1С ничего кроме сводной таблицы. Архитектура хранения данных в 1С не та, не OLAPовская. paul310"По-своему"? Это как? Просто бред какой-то... Выкатываешь людям реквест с подробным описанием формата xml файла, механизма его формирования и требуемой периодичности выгрузки - какие проблемы могут возникнуть? Вы разницу в скорости извлечения данных из 1С когда-нибудь замеряли при при использовании разных способов? И о чем Вам говорят полученные результаты замеров? По-своему? Ну как самый недавний вариант. Документ - есть, проводка - есть. Деньги на аналитиках - есть. Только вот 1С работает со смещение дат в 2000. И часть этих проводок с деньгами висит на датах типа 2022-02-21. Тогда как подавляющее большинство проводок на датах типа 4012-01-31. Результат - часть проводок (и соответственно денег, количеств) в выгрузки не попадает. Там много еще чего интересного можно получить или не получить в выгрузках. Возможно, такие кривые проводки и можно "выудить" в выгрузки, но для этого надо догадаться что они там есть. И как правило они туда не попадают. Специалисты по 1С, пока им пальцем на такие косяки не покажешь, могут об этом даже не догадываться. Выгрузки из 1С, как правило, получаются какие-то "как-будто через щелочку полученные". Я понимаю, что можно говорить о кривизне рук разработчиков. Но работаем с тем что есть. А есть то, о чем я пишу. Еще раз, представление о том, что автордоступ напрямую к БД - это чисто административный гемор в крупной конторе. чаще всего имеет сильно преувеличенный характер. Риски есть, но на наш взгляд, они перекрываются преимуществами прямого доступа. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 16:50 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Критикpaul310, При таком подходе все встанет, когда несколько человек будут проводить свои документы, а еще несколько смотреть аналитику за пару-тройку лет. Кто ж мешает аналитику развернуть свою копию базы и на ней играться? У меня на одном из проектов так и было устроено у клиента: раз в сутки снималась копия базы и выкладывалась в файлопомой. Возьми, разверни и грузи как хочешь. Раз в месяц актуализировал - и все клево. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 16:51 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
paul310проще аналитиков обучить ей пользоваться, чем городить отдельный проект с dwh и olap. Недавно на проекте по интеграции с 1С даже несложные плоские отчеты не отрабатывали, выдавая ошибку о нехватке памяти на очень нехилом выделенном под 1С сервере). OLAP отчеты на тех же данных возвращали результат практически мгновенно, причем несколько (5-7) аналитиков на лету строила свои запросы одновременно. Ну, да что объяснять вполне очевидные и всем известные вещи. Sapienti sat... ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 17:02 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
paul310Критикpaul310, При таком подходе все встанет, когда несколько человек будут проводить свои документы, а еще несколько смотреть аналитику за пару-тройку лет. Кто ж мешает аналитику развернуть свою копию базы и на ней играться? У меня на одном из проектов так и было устроено у клиента: раз в сутки снималась копия базы и выкладывалась в файлопомой. Возьми, разверни и грузи как хочешь. Раз в месяц актуализировал - и все клево.Некоторые клиенты хотят, чтобы данные были 15-ти минутной свежести. И еще чтобы данные разных предметных областей были согласованы, почищены, дополнены данными из других систем, и чтобы это все откликалось максимум за 10 секунд. И данных этих может быть несколько терабайт. И вообще всякие там иерархии, атрибутные иерархии, зависимости атрибутов, несколько измерений времени, time intelligence и прочая лирика. ЗЫ. И вообще, чего это народ деньги на хранилища данных и BI-системы выкидывает. Представил картину маслом, как 500 пользователей BI-системы разворачивают "свои копии базы и на них играются". Даже если не 500, а жалкие 50 - один одно наиграл, другой другое. Аналитика однако. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 17:13 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
maxol67, немного в сторону: Максим, вот жаль, что уехали за кордон. Честно, не хватает Вас здесь (финансы, SSAS, Oracle). В Германии больше порядка в Data Integration проектах? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 23:34 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Alex_496, спасибо за добрые слова :) По поводу BI-проектов в Германии сложно дать однозначный ответ: где-то лучше, где-то хуже - все как и в России. Проценты бардачных IT-систем могут, конечно, отличаться, но даже примерную оценку дать не могу - не думал об этом как-то и для точности оценки развития IT-систем и BI в частности надо проводить серьезный анализ - это задача больше для Гарнтера :) Что могу по личному опыту сказать - уровень русских биайщиков и инженеров (по крайней мере присутствующих здесь) уж по крайней мере не ниже уровня немецких коллег. При этом русские гораздо более общительные в профессиональном плане - айти форумов такого уровня, как sql.ru, в Германии нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2012, 12:48 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
У меня примерно такая же тема Сделал обработку на стороне 1с Гружу данные в sql базу, дальше на основе выгрузок процессится куб. Здесь нужны два подключения из 1с: 1. 1с к sql server (к реляционной базе) По этому подключению полно в инете примеров 2 1с к кубу (ssas) Для выполнения fullprocess или что-то подобного. По второму подклюению ничего не погу найти. Есть, плз, у кого нибудь пример подключения, пересчета? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.04.2021, 20:27 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
pr89as 2 1с к кубу (ssas) Для выполнения fullprocess или что-то подобного. По второму подклюению ничего не погу найти. Есть, плз, у кого нибудь пример подключения, пересчета? Если у вас есть сиквел, к которому вы подключаетесь, то что мешает сделать джоб, который будет процессить. А раз вы так и так подключаетесь, то из 1С выполнить процедуру по запуску джоба не должно быть сложно. Но это извращение. Первичная система не должна управлять ХД, потому что первичная система может быть заменена другой, или их добавиться еще десяток штук... ... |
|||
:
Нравится:
Не нравится:
|
|||
01.04.2021, 20:31 |
|
|
start [/forum/topic.php?fid=49&startmsg=37869328&tid=1857163]: |
0ms |
get settings: |
7ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
44ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
53ms |
get tp. blocked users: |
2ms |
others: | 300ms |
total: | 439ms |
0 / 0 |