|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Здравствуйте, Есть задача построить OLAP инфраструктуру для 1С (база на SQL Server), со средствами MS SQL Server. Думаю сделать data marts (или DWH, не важно), на которой будет имплементирован семантический модель BI, со средствами SSAS. Главной проблемой кажется ETL процесс, который не знаю как лучше сделать из 1С. Может ли SSIS счемто помочь здесь? По моему, есть следующие варианты, пожалуйста подскажите каким путем идти: 1. Писать в data mart (или DWH) прямо из 1С, т.е. реализовать всю ETL логику в 1С. Если performance не будет проблемой, то это наверно лучший вариант?.. 2. Читать прямо из БД SQL Server (используя ПолучитьСтруктуруХраненияБазыДанных (GetDBStorageStructureInfo) для соответствии обьэктивной модели 1С с структурой БД) средствами SSIS?.. Какова сложность имплементации, эффективность, надёжность этого подхода? 3. Может есть другие варианты, я не догадываюсь еще? Пожалуйста помогите, спасибо заранее :) P.S.: Я не очень хорошо умею писать на русском (я не русский), не обращайте внимание на синтаксические ошибки :) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 13:52 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
1) в 1с сделать обработку, которая на основе метаданных создаст представления с понятными именами, например, RНоменклатура, AПродажи и т.д. 2) ETL с помощью SSIS и/или хранимых процедур, источник - представления из пункта 1 ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 14:00 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
1. В 1с есть, по сути, свой инструментарий для кубов. С помощью консоли отчетов аналитик может очень многое. Оно не сильно интуитивно, но умеючи - очень хорошо. 2. Если Вы хотите тащить данные из 1с - определитесь для начала, какие именно. Все - бессмысленно в большинстве случаев. 3. Я бы выгружал данные в xml/текстовый файл и клал данные в хранилище с помощью SSIS. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 14:36 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Из 1С 8.1/8.2 выталкивать данные нужных документови справочников в stage-таблицы MSSQL, далее SSIS-ом раскладываем по целевым таблицам хранилища: классический ETL с чисткой, преобразованиями, SCD, логгированием, расчетом проиводных величин и формированием витрин. MOLAP поверх витрин ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 15:05 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Alex_496Из 1С 8.1/8.2 выталкивать данные нужных документови справочников в stage-таблицы MSSQL По моему опыту - лучше вытягивать, а не выталкивать , то есть инициатор должен быть SSIS, а не обработка 1с. Так можно исключить из процесса 1с-ников, как слабое звено. Всё имхо. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 15:23 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Ну и конечно не забываем, что 1с при регламентных работах может намертво лочить таблицы. Так что не 1, ни 2 вариант не подходят. По методу выгрузке данных я солидарен с Alex_496. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 15:24 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
DjekiНу и конечно не забываем, что 1с при регламентных работах может намертво лочить таблицы. Так что не 1, ни 2 вариант не подходят. Ну, первый вариант вполне реален, я даже знаю работающее (причем достаточно большое) хранилище, реализованное по первому варианту. Но скорость разработки при этом катастрофически низкая. К тому же фактически нужны 2 команды, одна по 1с, вторая по кубам(+ появляются совершенно лишние проблемы коммуникации). Я бы так делать стал только в том случае, если под рукой куча специалистов по 1с, и очень мало по MS SQL/SSAS (и нет возможности нанять). ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 15:34 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Критик, ну этим вопросом я активно консультировался с опытными 1С-никами. Самый опытный и подсказал: создается план обмена, который выталкивает в stage только дельту (InsUpdDel - записи) при этом абракадабровые названия поелй заменяются на бизнесовые англоязычные (через вспомог.таблицу)+ проверка и уведомление об изменении метаданных 1С-таблиц. Монэсники есть, их много - и эта их сфера отвественности. Кроме того, не стоит забывать что наряду с 1С могут рядом появиться и другие системы/платформы, вобщем все по Кимбаллу ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 15:45 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Alex_496, Я согласен, что технических проблем не будет. Просто 1с-ники- это обычно другое подразделение/отдел, поэтому (как правило) будет быстрее сделать какие-либо изменения в процессе самим, если импорт в stage-зону в сфере ответственности BI-щиков. А если что-то не сработало - сразу ясно, кто виноват )) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 15:52 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
ВебСервисы. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 16:10 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Огромное спасибо всем :) У меня появились вопросы: Критик1) в 1с сделать обработку, которая на основе метаданных создаст представления с понятными именами, например, RНоменклатура, AПродажи и т.д. - Критик. А можно по-подробнее об этом :) paul3103. Я бы выгружал данные в xml/текстовый файл и клал данные в хранилище с помощью SSIS. - paul310. В чем преимущество этого подхода со сравнению моего первого варианта (записать данные из 1С прямо в DWH)? Зачем лишний этап (xml/текстовый файлы + SSIS) когда можно прямо в DWH писать? Alex_496Из 1С 8.1/8.2 выталкивать данные нужных документови справочников в stage-таблицы MSSQL, далее SSIS-ом раскладываем по целевым таблицам хранилища - Alex_496. То же самый вопрос: зачем надо использовать stage-таблицы, а не переслать данные прямо в DWH? Зачем лишний этап? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 16:19 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
http://www.sql.ru/forum/actualthread.aspx?tid=520870&pg=-1&hl=1%f1%20%ee%e1%f0%e0%e1%ee%f2%ea%e0 и на формуме полно тем по 1с, поищите ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 16:32 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
TRX_ - paul310. В чем преимущество этого подхода со сравнению моего первого варианта (записать данные из 1С прямо в DWH)? Зачем лишний этап (xml/текстовый файлы + SSIS) когда можно прямо в DWH писать? Затем, что: 1. Файлы - это, по-сути, тот же стэйджинг. С вопросом "нафиг стэйджинг" лучше почитать классиков. 2. Это очень понятная постановка вопроса для людей, которые 1с ковыряют: из базы должно выгружаться вот это, в таком формате, с такой периодичностью. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 16:57 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
если эта ваша 1С-ка сильно "нагружена" то 1С-ки пошлют вас далеко и надолго когда вы придёте к ним с планами обмена и\или прямыми запросами в базу из скриптов\ssis... дублировать саму 1С-ку мало кто будет, а значит остаётся только дублирование на уровне базы (асинхронные мирроринг или always on) или копирование бэкапов. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 17:09 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
TRX_, в том что, данные не идеальны. Их нужно чистить, преобразовывать, увязывать с другими данными (другие системы, таблицы- подпорки) а то еще и НСИ с согласованием. Помнится, еще в начале 2000-х на семинарах Алексей Шуленин говорил: бардак на входе --> бардак в кубе (возведение бардака в степень n) TAVEM, ага, перекачайте за раз веб-сервисами сотню-другую миллионов строк ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 17:14 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
копирование бэкапов точно не пойдет, ибо, например, нет технологического окна и размеры большие ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 17:22 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Alex_496TRX_, в том что, данные не идеальны. Их нужно чистить, преобразовывать, увязывать с другими данными (другие системы, таблицы- подпорки) а то еще и НСИ с согласованием. Помнится, еще в начале 2000-х на семинарах Алексей Шуленин говорил: бардак на входе --> бардак в кубе (возведение бардака в степень n) TAVEM, ага, перекачайте за раз веб-сервисами сотню-другую миллионов строк что то я сомневаюсь что в 1с есть сотня другая милионов строк :) ну а так да, через веб сервисы тяжко будет, но я просто предложил еще один вариант :) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 17:24 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
TAVEM, у нас есть ) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 17:38 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Дедушкаесли эта ваша 1С-ка сильно "нагружена" то 1С-ки пошлют вас далеко и надолго когда вы придёте к ним с планами обмена и\или прямыми запросами в базу из скриптов\ssis... дублировать саму 1С-ку мало кто будет, а значит остаётся только дублирование на уровне базы (асинхронные мирроринг или always on) или копирование бэкапов. У меня вьюхи, питающие кубы, находятся на связанном к серверу 1С сервере. При обновлении кубов, сервер 1С не нагружается. Да, идет трафик, но нагрузки никакой нет. 1С не предназначено под большие объемы данных, поэтому дополнительный ETL нужен только в особых случаях, например, при вычислениях на листовом уровне. В остальных же случаях наиболее оптимальный вариант- вытаскивать вьюхами данные напрямую. Возможно, что со временем 1С начинает тормозить от больших объемов, тогда часть устаревших данных перемещают в хранилище, и к вьюшкам нужно всего лишь добавить через UNION ALL нужные таблицы из хранилища. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.06.2012, 21:02 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Спасибо всем за ответы, очень помогли :) Решили сделать все примерно как Критик предсказал - сделать view-шки и из них тащить с помощью SSIS в хранилище. Думаю разделить всю работу на два этапа: В первый этап будет построен data marts, и имплементирован ETL с помощью SSIS. В второй этап будет сделан кубы и вся BI семантическая модель с помощью SSAS. Теперь надо выяснить deadline-ы. Будет работать один программист (который по дорогу изучает все эти OLAP технологии, SSIS/SSAS, и т.д. :)). Как думайте, какое время понадобится для каждого этапа? P.S.: Есть еще какие нибудь советы? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 11:02 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
TRX_Будет работать один программист (который по дорогу изучает все эти OLAP технологии, SSIS/SSAS, и т.д. :)). P.S.: Есть еще какие нибудь советы?рассмотрите возможность нанять удалённо готичного спеца по MS BI (архитектора) для работы в паре с вашим прогом. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 11:35 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
TRX_В первый этап будет построен data marts, и имплементирован ETL с помощью SSIS. В второй этап будет сделан кубы и вся BI семантическая модель с помощью SSAS. Я бы отталкивался от кубов, то есть: нужны такие-то кубы -> для них нужны такие-то данные -> их и импортируем в том виде, какой нужен для кубов. Результат будет быстрее. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 11:45 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
И согласен с Дедушкой. Доверить делать хранилище и кубы человеку, который будет параллельно изучать инструменты - несколько рискованно. Может и будет работать, но времени уйдет уйма. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 11:48 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
КритикTRX_В первый этап будет построен data marts, и имплементирован ETL с помощью SSIS. В второй этап будет сделан кубы и вся BI семантическая модель с помощью SSAS. Я бы отталкивался от кубов, то есть: нужны такие-то кубы -> для них нужны такие-то данные -> их и импортируем в том виде, какой нужен для кубов. Да, я это имел ввиду - в первый этап кубы будут определены на логическом уровне, а второй этап подразумевает их создание с помощью SSAS. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 12:17 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
нанять кого нибудь - к сожалению не вариант. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 12:18 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
TRX_, Хм, как вариант - скачайте Qlikview + 1с коннектор, дался вам этот OLAP... Коннектор можно найти, например, здесь: http://qliksolutions.ru/qlikview/add-ons/qw_1c_connect/ 1 пользовательская лицензия на Qlikview - бесплатная, дока на русском, есть видеотренинги и т.п, так что разберетесь сами. Вопросы - в личку или отдельную ветку по клику. С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 15:21 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
George Nordic, Да я уже давно дизассемблировал его ;) Используют тот-же ПолучитьСтруктуруХраненияБазыДанных() ;) Даже закигенил (ради интереса) :D ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 16:02 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
TRX_Теперь надо выяснить deadline-ы. Будет работать один программист (который по дорогу изучает все эти OLAP технологии, SSIS/SSAS, и т.д. :)). Как думайте, какое время понадобится для каждого этапа? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 17:56 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Это зависит от гениальности разрабочика и сложности задачи. Для очень-очень приблизительной ориентировки: недавно делал проект хранилища/кубов для ритейла, весь процесс занял где-то половину года, оплаченных часов примерно 180. Но нужно учесть, что я давно занимаюсь хранилищами/кубами и преметная область была мне очень хорошо известна. Как выдет у вас - сложно сказать. Расчитывайте минимум на год (до момента существенного спада количества задач) ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 19:32 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Критик, ага, говорить Собственнику/Заказчику про год (как все по-честному) - это надо чтобы думающий Спонсор был. А то ж и про 6 мес. слышать даже не хотят. Можно и за месяц-два (видимо :)) родить, главное - ноги потом вовремя унести Расписал состав работ по DWH+BI (старался по максимуму), мол, выберите комплектацию. Вот не знаю, услышат ли. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 20:24 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Alex_496, Нет-нет, ни в коем случае сразу про год)) Я стараюсь делать акцент на то, что за неделю-две будет готов пилотный проект из 1-2х простых кубов, без документации и в очень сыром виде (вобщем-то так и есть). И для этих кубов выбираются те таблицы фактов из источника, которые можно использовать практически без доп-расчетов и преобразований. А затем всё это дело по желанию заказчика обрастает дополнительными мерами-кубами. То есть я стараюсь быстро показать, что технология работает и уже с начала проекта приносит пользу в условиях заказчика. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 21:15 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Критик, тоже вариант. Хотя я (мы) показываю на 18" ноутбуке готовый куб, точнее отчетность и речь ведем в бизнес-value, ну а потом: мол, для того, чтобы это было нужно: куб,витрины,двх (в обратном порядке) Но бывает, даже это не помогат. Получив, времянку, и никакие дальнейшие доводы не слышатся, а утверждается, что теперь бизнесА могут всё - у них же куб есть! Было, когда итерационно, как Вы нанизывали на базис дальнейшее развитие, но то было скорее внутренняя скрытая разработка. Имхо, инициация BI-проектов - как в русскую рулетку сыграть, где количество патронов не известно также. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.07.2012, 21:58 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Ну, вроде все до меня уже написали. Причем по большей части - по делу. Могу лишь поделиться нашим опытом довольно многих интеграций с 1С. Согласен с Критиком, что инициатором лучше если будут ETL-процедуры и лучше "вытягивать", чем "выталкивать". Согласен с Alex_496, что непременно на этапе ETL должна быть и очистка и трансформация, потому что это правильно;) Мы не приемлем решений (настолько насколько это бывает возможно), когда данные для хранилища выгружаются 1С-ом. Все наши многочисленные попытки получить приемлемый результат этим способом кончались, в результате, переходом на прямые запросы к БД 1С. Проектов было относительно немало и говорить в этом случае о кривизне рук разработчиков выгрузок из 1С, по-видимому, не приходится. Просто они это делают по-своему, не так как обычно требуется для хранения данных в хранилище. Как результат - данные получаемые из хранилища, заполненного по всем правилам с помощью обращения напрямую к БД 1С в обход движка и данные, полученные с помощью "выгрузок" внутренними средствами 1С практически всегда расходились и практически всегда было можно показать, и заказчик с этим соглашался, что с помощью правильно написанных прямых запросов к БД получаются более "правильные" данные. Именно поэтому мы отказались от заполнения хранилища с помощью промежуточных файлов (txt, xml). К тому же это очень долго (недопустимо долго) при достаточно больших объемах данных, хранящихся в 1С, особенно, если невозможно или нецелесообразно инкрементальное заполнение хранилища. Сам способ реализации доступа к данным базы 1С (через view или каким иным способом через SSIS пакеты) не так принципиален, тут возможны варианты. А вот строить OLAP на вью к таблицам 1С далеко не всегда хорошая идея. Годится только от безысходности при весьма ограниченных бюджетах. Этот путь ведет к серьезным ограничениям функциональности. Существуют определенные риски, когда 1С-ка при бездумных обновлениях, или странных методах разработке может менять названия таблиц и полей, но по нашему опыту ощущения опасности реализации таких рисков несколько преувеличены, хотя они и не сведены к 0. Это замечание особенно имеет смысл при более менее "устоявшейся" системе. Что касается " В 1с есть, по сути, свой инструментарий для кубов", то это миф. Никакого "родного" олапа в 1С нет, а то что есть, это близко не олап. Что касается stage-таблиц. На наш взгляд, это вопрос исключительно деталей реализации проекта. Когда-то они могут быть вполне оправданным и удобным решением, когда-то - лишний этап. Зависит от многих обстоятельств. А вот то, что данные всегда в хранилище лучше "чистить" и "трансформировать", а иногда и предрасчитывать - сие есть факт. Когда ETL происходит быстро, т.е. минуты, макс. пару десятков минут, всегда можно "договориться" с расписанием регламентных работ, чтобы с ними не толкаться задницами при доступе к таблицам БД. За это время можно выгрузить десятка полтора, в том числе и немаленьких справочников (измерений), мемберов так на несколько сот тысяч, и несколько таблиц фактов с несколькими десятками миллионов транзакций. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.07.2012, 00:04 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
TRX_TRX_Теперь надо выяснить deadline-ы. Будет работать один программист (который по дорогу изучает все эти OLAP технологии, SSIS/SSAS, и т.д. :)). Как думайте, какое время понадобится для каждого этапа? Рассчитывайте на 2 :) года. Год на создание и год на переделку того, что создали. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.07.2012, 00:08 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
alexdr, везет Вам, однако, на ETL десятки минут :) ... |
|||
:
Нравится:
Не нравится:
|
|||
07.07.2012, 13:44 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Alex_496на ETL десятки минут :) А тут могут быть варианты. Взять данные за десятки минут - это одно. Сложить их в хранилище в нужном формате - это другое :) Решаем по разному, в зависимости... Но в 1С действительно чаще всего не бывает уж очень много данных. Она, похоже, при этом помирает. Да и, как правило, 1С далеко не всегда единственная система, из которой данные поступают. Я же говорил не о всем ETL, а о процессе забора из нее данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.07.2012, 14:05 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
TRX_George Nordic, Да я уже давно дизассемблировал его ;)Ай-яй-яй-яй-яй! :) Критикнедавно делал проект хранилища/кубов для ритейла, весь процесс занял где-то половину года, оплаченных часов примерно 180.Хм, что-то мало, конечно. Да же если это было просто методологическое руководство + особо важные архитектурные решения, но могли бы и на побольше раскошелится, оценить труд, так сказать. alexdrНу, вроде все до меня уже написали. Причем по большей части - по делу.Ну, и Вам спасибо большое - хорошо дополнили :) От себя могу сказать, что когда я работал на партнере и предлагал широкий спектр решений, то обычно мы предлагали еще MDM (продукт или методологию управления информацией), чтобы унифицировать справочники и избежать ошибок при построении сводной отчетности / анализе. А то, как обычно, все грязь всплывает при старте проекта, и если в договоре не указано, кто отвечает за качество данных - Вас могут ждать неприятные сюрпризы. :) Так что ETL (->DWH) + MDM - неплохая связка, рекомендую обратить внимание. С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 10:19 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
George Nordic, методология MDM <> действительно результативный эффект от внедрения MDM особенно по прожитие продолжительного времени ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 14:00 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
alexdrЧто касается " В 1с есть, по сути, свой инструментарий для кубов", то это миф. Никакого "родного" олапа в 1С нет, а то что есть, это близко не олап. То, что Вы не умеете работать с инструментами для анализа данных и подготовки отчетности на данной платформе вовсе не означает, что этих инструментов нет. alexdrМы не приемлем решений (настолько насколько это бывает возможно), когда данные для хранилища выгружаются 1С-ом. Все наши многочисленные попытки получить приемлемый результат этим способом кончались, в результате, переходом на прямые запросы к БД 1С. Проектов было относительно немало и говорить в этом случае о кривизне рук разработчиков выгрузок из 1С, по-видимому, не приходится. Просто они это делают по-своему, не так как обычно требуется для хранения данных в хранилище. "По-своему"? Это как? Просто бред какой-то... Выкатываешь людям реквест с подробным описанием формата xml файла, механизма его формирования и требуемой периодичности выгрузки - какие проблемы могут возникнуть? А доступ напрямую к БД - это чисто административный гемор в крупной конторе. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 14:06 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
paul310alexdrЧто касается " В 1с есть, по сути, свой инструментарий для кубов", то это миф. Никакого "родного" олапа в 1С нет, а то что есть, это близко не олап. То, что Вы не умеете работать с инструментами для анализа данных и подготовки отчетности на данной платформе вовсе не означает, что этих инструментов нет. Вы уж изините, что вмешиваюсь. Но где-ж это в 1с "свой инструментарий для кубов" ? Если вы имеете ввиду Консолидация 8 ПРОФ, то походу, как то немного не то, сводная таблица есть, а вот инструментария для кубов нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 14:51 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
DjekiВы уж изините, что вмешиваюсь. Но где-ж это в 1с "свой инструментарий для кубов" ? Если вы имеете ввиду Консолидация 8 ПРОФ, то походу, как то немного не то, сводная таблица есть, а вот инструментария для кубов нет. Есть консоль отчетов в "родных" конфигурациях от 1с, есть куча инструментов сторонних производителей. Та же консоль отчетов, может, не очень user friendly, но проще аналитиков обучить ей пользоваться, чем городить отдельный проект с dwh и olap. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 16:33 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
paul310, При таком подходе все встанет, когда несколько человек будут проводить свои документы, а еще несколько смотреть аналитику за пару-тройку лет. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 16:42 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
paul310То, что Вы не умеете работать с инструментами для анализа данных и подготовки отчетности на данной платформе вовсе не означает, что этих инструментов нет. Вот давайте только без переходов на личности. Про "инструментарий для кубов" Вам все уже написали. Иначе, сейчас пойдет ремарка про то, что Вы не понимаете что такое OLAP (точнее MOLAP), и разницу между OLTP и OLAP системами. Нет там в 1С ничего кроме сводной таблицы. Архитектура хранения данных в 1С не та, не OLAPовская. paul310"По-своему"? Это как? Просто бред какой-то... Выкатываешь людям реквест с подробным описанием формата xml файла, механизма его формирования и требуемой периодичности выгрузки - какие проблемы могут возникнуть? Вы разницу в скорости извлечения данных из 1С когда-нибудь замеряли при при использовании разных способов? И о чем Вам говорят полученные результаты замеров? По-своему? Ну как самый недавний вариант. Документ - есть, проводка - есть. Деньги на аналитиках - есть. Только вот 1С работает со смещение дат в 2000. И часть этих проводок с деньгами висит на датах типа 2022-02-21. Тогда как подавляющее большинство проводок на датах типа 4012-01-31. Результат - часть проводок (и соответственно денег, количеств) в выгрузки не попадает. Там много еще чего интересного можно получить или не получить в выгрузках. Возможно, такие кривые проводки и можно "выудить" в выгрузки, но для этого надо догадаться что они там есть. И как правило они туда не попадают. Специалисты по 1С, пока им пальцем на такие косяки не покажешь, могут об этом даже не догадываться. Выгрузки из 1С, как правило, получаются какие-то "как-будто через щелочку полученные". Я понимаю, что можно говорить о кривизне рук разработчиков. Но работаем с тем что есть. А есть то, о чем я пишу. Еще раз, представление о том, что автордоступ напрямую к БД - это чисто административный гемор в крупной конторе. чаще всего имеет сильно преувеличенный характер. Риски есть, но на наш взгляд, они перекрываются преимуществами прямого доступа. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 16:50 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Критикpaul310, При таком подходе все встанет, когда несколько человек будут проводить свои документы, а еще несколько смотреть аналитику за пару-тройку лет. Кто ж мешает аналитику развернуть свою копию базы и на ней играться? У меня на одном из проектов так и было устроено у клиента: раз в сутки снималась копия базы и выкладывалась в файлопомой. Возьми, разверни и грузи как хочешь. Раз в месяц актуализировал - и все клево. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 16:51 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
paul310проще аналитиков обучить ей пользоваться, чем городить отдельный проект с dwh и olap. Недавно на проекте по интеграции с 1С даже несложные плоские отчеты не отрабатывали, выдавая ошибку о нехватке памяти на очень нехилом выделенном под 1С сервере). OLAP отчеты на тех же данных возвращали результат практически мгновенно, причем несколько (5-7) аналитиков на лету строила свои запросы одновременно. Ну, да что объяснять вполне очевидные и всем известные вещи. Sapienti sat... ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 17:02 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
paul310Критикpaul310, При таком подходе все встанет, когда несколько человек будут проводить свои документы, а еще несколько смотреть аналитику за пару-тройку лет. Кто ж мешает аналитику развернуть свою копию базы и на ней играться? У меня на одном из проектов так и было устроено у клиента: раз в сутки снималась копия базы и выкладывалась в файлопомой. Возьми, разверни и грузи как хочешь. Раз в месяц актуализировал - и все клево.Некоторые клиенты хотят, чтобы данные были 15-ти минутной свежести. И еще чтобы данные разных предметных областей были согласованы, почищены, дополнены данными из других систем, и чтобы это все откликалось максимум за 10 секунд. И данных этих может быть несколько терабайт. И вообще всякие там иерархии, атрибутные иерархии, зависимости атрибутов, несколько измерений времени, time intelligence и прочая лирика. ЗЫ. И вообще, чего это народ деньги на хранилища данных и BI-системы выкидывает. Представил картину маслом, как 500 пользователей BI-системы разворачивают "свои копии базы и на них играются". Даже если не 500, а жалкие 50 - один одно наиграл, другой другое. Аналитика однако. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 17:13 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
maxol67, немного в сторону: Максим, вот жаль, что уехали за кордон. Честно, не хватает Вас здесь (финансы, SSAS, Oracle). В Германии больше порядка в Data Integration проектах? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.07.2012, 23:34 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Alex_496, спасибо за добрые слова :) По поводу BI-проектов в Германии сложно дать однозначный ответ: где-то лучше, где-то хуже - все как и в России. Проценты бардачных IT-систем могут, конечно, отличаться, но даже примерную оценку дать не могу - не думал об этом как-то и для точности оценки развития IT-систем и BI в частности надо проводить серьезный анализ - это задача больше для Гарнтера :) Что могу по личному опыту сказать - уровень русских биайщиков и инженеров (по крайней мере присутствующих здесь) уж по крайней мере не ниже уровня немецких коллег. При этом русские гораздо более общительные в профессиональном плане - айти форумов такого уровня, как sql.ru, в Германии нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2012, 12:48 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
У меня примерно такая же тема Сделал обработку на стороне 1с Гружу данные в sql базу, дальше на основе выгрузок процессится куб. Здесь нужны два подключения из 1с: 1. 1с к sql server (к реляционной базе) По этому подключению полно в инете примеров 2 1с к кубу (ssas) Для выполнения fullprocess или что-то подобного. По второму подклюению ничего не погу найти. Есть, плз, у кого нибудь пример подключения, пересчета? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.04.2021, 20:27 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
pr89as 2 1с к кубу (ssas) Для выполнения fullprocess или что-то подобного. По второму подклюению ничего не погу найти. Есть, плз, у кого нибудь пример подключения, пересчета? Если у вас есть сиквел, к которому вы подключаетесь, то что мешает сделать джоб, который будет процессить. А раз вы так и так подключаетесь, то из 1С выполнить процедуру по запуску джоба не должно быть сложно. Но это извращение. Первичная система не должна управлять ХД, потому что первичная система может быть заменена другой, или их добавиться еще десяток штук... ... |
|||
:
Нравится:
Не нравится:
|
|||
01.04.2021, 20:31 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Критик pr89as 2 1с к кубу (ssas) Для выполнения fullprocess или что-то подобного. По второму подклюению ничего не погу найти. Есть, плз, у кого нибудь пример подключения, пересчета? Если у вас есть сиквел, к которому вы подключаетесь, то что мешает сделать джоб, который будет процессить. А раз вы так и так подключаетесь, то из 1С выполнить процедуру по запуску джоба не должно быть сложно. Но это извращение. Первичная система не должна управлять ХД, потому что первичная система может быть заменена другой, или их добавиться еще десяток штук... 1с хочу использовать просто как интерфейс. Обработка может запускаться из любой 1с в организации. Спасибо за идею с агентом ... |
|||
:
Нравится:
Не нравится:
|
|||
01.04.2021, 20:52 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Код: vbnet 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29.
Вот так норм вроде работает, может кому пригодится ... |
|||
:
Нравится:
Не нравится:
|
|||
01.04.2021, 22:11 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
pr89as Обработка может запускаться из любой 1с в организации Продумайте, что будет при одновременном запуске с нескольких машин ) ... |
|||
:
Нравится:
Не нравится:
|
|||
01.04.2021, 22:45 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
Критик, ничего. встанут в очередь и по очереди выполнятся. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.04.2021, 09:42 |
|
Как реализовать ETL из 1С для ОЛАП?
|
|||
---|---|---|---|
#18+
TRX_, не изобретайте велосипед. Есть коннекторы к 1С, который видят метамодель, и даже осуществляют параллельную выгрузку. Например АТК коннектор . Скачайте пробную версию да посмотрите. По цене - тоже гуманный вполне ценник, так как это побочный продукт (изначально был нужен для выгрузки данных из 1С в BI), который приобрел популярность. С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
02.04.2021, 09:57 |
|
|
start [/forum/topic.php?all=1&fid=49&tid=1857163]: |
0ms |
get settings: |
7ms |
get forum list: |
11ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
38ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
71ms |
get tp. blocked users: |
1ms |
others: | 10ms |
total: | 155ms |
0 / 0 |