powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Как реализовать ETL из 1С для ОЛАП?
56 сообщений из 56, показаны все 3 страниц
Как реализовать ETL из 1С для ОЛАП?
    #37856938
TRX_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Здравствуйте,

Есть задача построить OLAP инфраструктуру для 1С (база на SQL Server), со средствами MS SQL Server. Думаю сделать data marts (или DWH, не важно), на которой будет имплементирован семантический модель BI, со средствами SSAS. Главной проблемой кажется ETL процесс, который не знаю как лучше сделать из 1С. Может ли SSIS счемто помочь здесь?

По моему, есть следующие варианты, пожалуйста подскажите каким путем идти:

1. Писать в data mart (или DWH) прямо из 1С, т.е. реализовать всю ETL логику в 1С. Если performance не будет проблемой, то это наверно лучший вариант?..

2. Читать прямо из БД SQL Server (используя ПолучитьСтруктуруХраненияБазыДанных (GetDBStorageStructureInfo) для соответствии обьэктивной модели 1С с структурой БД) средствами SSIS?.. Какова сложность имплементации, эффективность, надёжность этого подхода?

3. Может есть другие варианты, я не догадываюсь еще?

Пожалуйста помогите, спасибо заранее :)

P.S.: Я не очень хорошо умею писать на русском (я не русский), не обращайте внимание на синтаксические ошибки :)
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37856959
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
1) в 1с сделать обработку, которая на основе метаданных создаст представления с понятными именами, например, RНоменклатура, AПродажи и т.д.
2) ETL с помощью SSIS и/или хранимых процедур, источник - представления из пункта 1
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37857046
paul310
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
1. В 1с есть, по сути, свой инструментарий для кубов. С помощью консоли отчетов аналитик может очень многое. Оно не сильно интуитивно, но умеючи - очень хорошо.
2. Если Вы хотите тащить данные из 1с - определитесь для начала, какие именно. Все - бессмысленно в большинстве случаев.
3. Я бы выгружал данные в xml/текстовый файл и клал данные в хранилище с помощью SSIS.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37857123
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Из 1С 8.1/8.2 выталкивать данные нужных документови справочников в stage-таблицы MSSQL, далее SSIS-ом раскладываем по целевым таблицам хранилища: классический ETL с чисткой, преобразованиями, SCD, логгированием, расчетом проиводных величин и формированием витрин.
MOLAP поверх витрин
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37857149
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alex_496Из 1С 8.1/8.2 выталкивать данные нужных документови справочников в stage-таблицы MSSQL

По моему опыту - лучше вытягивать, а не выталкивать , то есть инициатор должен быть SSIS, а не обработка 1с. Так можно исключить из процесса 1с-ников, как слабое звено. Всё имхо.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37857151
Djeki
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну и конечно не забываем, что 1с при регламентных работах может намертво лочить таблицы. Так что не 1, ни 2 вариант не подходят. По методу выгрузке данных я солидарен с Alex_496.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37857179
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DjekiНу и конечно не забываем, что 1с при регламентных работах может намертво лочить таблицы. Так что не 1, ни 2 вариант не подходят.

Ну, первый вариант вполне реален, я даже знаю работающее (причем достаточно большое) хранилище, реализованное по первому варианту. Но скорость разработки при этом катастрофически низкая. К тому же фактически нужны 2 команды, одна по 1с, вторая по кубам(+ появляются совершенно лишние проблемы коммуникации). Я бы так делать стал только в том случае, если под рукой куча специалистов по 1с, и очень мало по MS SQL/SSAS (и нет возможности нанять).
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37857212
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Критик,

ну этим вопросом я активно консультировался с опытными 1С-никами.
Самый опытный и подсказал: создается план обмена,
который выталкивает в stage только дельту (InsUpdDel - записи) при этом
абракадабровые названия поелй заменяются на бизнесовые англоязычные
(через вспомог.таблицу)+ проверка и уведомление об изменении метаданных 1С-таблиц.
Монэсники есть, их много - и эта их сфера отвественности.

Кроме того, не стоит забывать что наряду с 1С могут рядом появиться и другие системы/платформы,
вобщем все по Кимбаллу
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37857234
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alex_496,

Я согласен, что технических проблем не будет. Просто 1с-ники- это обычно другое подразделение/отдел, поэтому (как правило) будет быстрее сделать какие-либо изменения в процессе самим, если импорт в stage-зону в сфере ответственности BI-щиков. А если что-то не сработало - сразу ясно, кто виноват ))
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37857291
TAVEM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ВебСервисы.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37857327
TRX_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Огромное спасибо всем :)

У меня появились вопросы:

Критик1) в 1с сделать обработку, которая на основе метаданных создаст представления с понятными именами, например, RНоменклатура, AПродажи и т.д.

- Критик. А можно по-подробнее об этом :)

paul3103. Я бы выгружал данные в xml/текстовый файл и клал данные в хранилище с помощью SSIS.

- paul310. В чем преимущество этого подхода со сравнению моего первого варианта (записать данные из 1С прямо в DWH)? Зачем лишний этап (xml/текстовый файлы + SSIS) когда можно прямо в DWH писать?

Alex_496Из 1С 8.1/8.2 выталкивать данные нужных документови справочников в stage-таблицы MSSQL, далее SSIS-ом раскладываем по целевым таблицам хранилища

- Alex_496. То же самый вопрос: зачем надо использовать stage-таблицы, а не переслать данные прямо в DWH? Зачем лишний этап?
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37857370
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
http://www.sql.ru/forum/actualthread.aspx?tid=520870&pg=-1&hl=1%f1%20%ee%e1%f0%e0%e1%ee%f2%ea%e0

и на формуме полно тем по 1с, поищите
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37857445
paul310
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TRX_
- paul310. В чем преимущество этого подхода со сравнению моего первого варианта (записать данные из 1С прямо в DWH)? Зачем лишний этап (xml/текстовый файлы + SSIS) когда можно прямо в DWH писать?


Затем, что:
1. Файлы - это, по-сути, тот же стэйджинг. С вопросом "нафиг стэйджинг" лучше почитать классиков.
2. Это очень понятная постановка вопроса для людей, которые 1с ковыряют: из базы должно выгружаться вот это, в таком формате, с такой периодичностью.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37857479
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
если эта ваша 1С-ка сильно "нагружена" то 1С-ки пошлют вас далеко и надолго когда вы придёте к ним с планами обмена и\или прямыми запросами в базу из скриптов\ssis...
дублировать саму 1С-ку мало кто будет, а значит остаётся только дублирование на уровне базы (асинхронные мирроринг или always on) или копирование бэкапов.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37857491
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TRX_,

в том что, данные не идеальны. Их нужно чистить, преобразовывать, увязывать с другими данными (другие системы, таблицы- подпорки) а то еще и НСИ с согласованием. Помнится, еще в начале 2000-х на семинарах Алексей Шуленин говорил: бардак на входе --> бардак в кубе (возведение бардака в степень n)



TAVEM,

ага, перекачайте за раз веб-сервисами сотню-другую миллионов строк
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37857508
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
копирование бэкапов точно не пойдет, ибо, например, нет технологического окна и размеры большие
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37857512
TAVEM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alex_496TRX_,

в том что, данные не идеальны. Их нужно чистить, преобразовывать, увязывать с другими данными (другие системы, таблицы- подпорки) а то еще и НСИ с согласованием. Помнится, еще в начале 2000-х на семинарах Алексей Шуленин говорил: бардак на входе --> бардак в кубе (возведение бардака в степень n)



TAVEM,

ага, перекачайте за раз веб-сервисами сотню-другую миллионов строк
что то я сомневаюсь что в 1с есть сотня другая милионов строк :) ну а так да, через веб сервисы тяжко будет, но я просто предложил еще один вариант :)
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37857552
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TAVEM,

у нас есть )
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37857898
Фотография Лори
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дедушкаесли эта ваша 1С-ка сильно "нагружена" то 1С-ки пошлют вас далеко и надолго когда вы придёте к ним с планами обмена и\или прямыми запросами в базу из скриптов\ssis...
дублировать саму 1С-ку мало кто будет, а значит остаётся только дублирование на уровне базы (асинхронные мирроринг или always on) или копирование бэкапов.
У меня вьюхи, питающие кубы, находятся на связанном к серверу 1С сервере. При обновлении кубов, сервер 1С не нагружается. Да, идет трафик, но нагрузки никакой нет.
1С не предназначено под большие объемы данных, поэтому дополнительный ETL нужен только в особых случаях, например, при вычислениях на листовом уровне. В остальных же случаях наиболее оптимальный вариант- вытаскивать вьюхами данные напрямую. Возможно, что со временем 1С начинает тормозить от больших объемов, тогда часть устаревших данных перемещают в хранилище, и к вьюшкам нужно всего лишь добавить через UNION ALL нужные таблицы из хранилища.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37868777
TRX_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Спасибо всем за ответы, очень помогли :)

Решили сделать все примерно как Критик предсказал - сделать view-шки и из них тащить с помощью SSIS в хранилище. Думаю разделить всю работу на два этапа: В первый этап будет построен data marts, и имплементирован ETL с помощью SSIS. В второй этап будет сделан кубы и вся BI семантическая модель с помощью SSAS.

Теперь надо выяснить deadline-ы. Будет работать один программист (который по дорогу изучает все эти OLAP технологии, SSIS/SSAS, и т.д. :)). Как думайте, какое время понадобится для каждого этапа?

P.S.: Есть еще какие нибудь советы?
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37868848
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TRX_Будет работать один программист (который по дорогу изучает все эти OLAP технологии, SSIS/SSAS, и т.д. :)).
P.S.: Есть еще какие нибудь советы?рассмотрите возможность нанять удалённо готичного спеца по MS BI (архитектора) для работы в паре с вашим прогом.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37868873
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TRX_В первый этап будет построен data marts, и имплементирован ETL с помощью SSIS. В второй этап будет сделан кубы и вся BI семантическая модель с помощью SSAS.

Я бы отталкивался от кубов, то есть: нужны такие-то кубы -> для них нужны такие-то данные -> их и импортируем в том виде, какой нужен для кубов.

Результат будет быстрее.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37868882
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И согласен с Дедушкой. Доверить делать хранилище и кубы человеку, который будет параллельно изучать инструменты - несколько рискованно. Может и будет работать, но времени уйдет уйма.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37868954
TRX_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
КритикTRX_В первый этап будет построен data marts, и имплементирован ETL с помощью SSIS. В второй этап будет сделан кубы и вся BI семантическая модель с помощью SSAS.

Я бы отталкивался от кубов, то есть: нужны такие-то кубы -> для них нужны такие-то данные -> их и импортируем в том виде, какой нужен для кубов.

Да, я это имел ввиду - в первый этап кубы будут определены на логическом уровне, а второй этап подразумевает их создание с помощью SSAS.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37868959
TRX_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
нанять кого нибудь - к сожалению не вариант.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37869328
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TRX_, Хм, как вариант - скачайте Qlikview + 1с коннектор, дался вам этот OLAP... Коннектор можно найти, например, здесь: http://qliksolutions.ru/qlikview/add-ons/qw_1c_connect/
1 пользовательская лицензия на Qlikview - бесплатная, дока на русском, есть видеотренинги и т.п, так что разберетесь сами.

Вопросы - в личку или отдельную ветку по клику.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37869400
TRX_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
George Nordic,

Да я уже давно дизассемблировал его ;)

Используют тот-же ПолучитьСтруктуруХраненияБазыДанных() ;)



Даже закигенил (ради интереса) :D
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37869602
TRX_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
TRX_Теперь надо выяснить deadline-ы. Будет работать один программист (который по дорогу изучает все эти OLAP технологии, SSIS/SSAS, и т.д. :)). Как думайте, какое время понадобится для каждого этапа?
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37869695
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Это зависит от гениальности разрабочика и сложности задачи.

Для очень-очень приблизительной ориентировки: недавно делал проект хранилища/кубов для ритейла, весь процесс занял где-то половину года, оплаченных часов примерно 180. Но нужно учесть, что я давно занимаюсь хранилищами/кубами и преметная область была мне очень хорошо известна. Как выдет у вас - сложно сказать. Расчитывайте минимум на год (до момента существенного спада количества задач)
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37869743
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Критик,

ага, говорить Собственнику/Заказчику про год (как все по-честному) - это надо чтобы думающий Спонсор был. А то ж и про 6 мес. слышать даже не хотят. Можно и за месяц-два (видимо :)) родить, главное - ноги потом вовремя унести

Расписал состав работ по DWH+BI (старался по максимуму), мол, выберите комплектацию. Вот не знаю, услышат ли.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37869772
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alex_496,

Нет-нет, ни в коем случае сразу про год))
Я стараюсь делать акцент на то, что за неделю-две будет готов пилотный проект из 1-2х простых кубов, без документации и в очень сыром виде (вобщем-то так и есть). И для этих кубов выбираются те таблицы фактов из источника, которые можно использовать практически без доп-расчетов и преобразований. А затем всё это дело по желанию заказчика обрастает дополнительными мерами-кубами.

То есть я стараюсь быстро показать, что технология работает и уже с начала проекта приносит пользу в условиях заказчика.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37869798
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Критик,

тоже вариант.

Хотя я (мы) показываю на 18" ноутбуке готовый куб, точнее отчетность и речь ведем в бизнес-value, ну а потом: мол, для того, чтобы это было нужно: куб,витрины,двх (в обратном порядке)
Но бывает, даже это не помогат. Получив, времянку, и никакие дальнейшие доводы не слышатся, а утверждается, что теперь бизнесА могут всё - у них же куб есть!

Было, когда итерационно, как Вы нанизывали на базис дальнейшее развитие, но то было скорее внутренняя скрытая разработка.
Имхо, инициация BI-проектов - как в русскую рулетку сыграть, где количество патронов не известно также.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37869863
alexdr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ну, вроде все до меня уже написали. Причем по большей части - по делу.
Могу лишь поделиться нашим опытом довольно многих интеграций с 1С.

Согласен с Критиком, что инициатором лучше если будут ETL-процедуры и лучше "вытягивать", чем "выталкивать". Согласен с Alex_496, что непременно на этапе ETL должна быть и очистка и трансформация, потому что это правильно;)

Мы не приемлем решений (настолько насколько это бывает возможно), когда данные для хранилища выгружаются 1С-ом. Все наши многочисленные попытки получить приемлемый результат этим способом кончались, в результате, переходом на прямые запросы к БД 1С. Проектов было относительно немало и говорить в этом случае о кривизне рук разработчиков выгрузок из 1С, по-видимому, не приходится. Просто они это делают по-своему, не так как обычно требуется для хранения данных в хранилище. Как результат - данные получаемые из хранилища, заполненного по всем правилам с помощью обращения напрямую к БД 1С в обход движка и данные, полученные с помощью "выгрузок" внутренними средствами 1С практически всегда расходились и практически всегда было можно показать, и заказчик с этим соглашался, что с помощью правильно написанных прямых запросов к БД получаются более "правильные" данные. Именно поэтому мы отказались от заполнения хранилища с помощью промежуточных файлов (txt, xml). К тому же это очень долго (недопустимо долго) при достаточно больших объемах данных, хранящихся в 1С, особенно, если невозможно или нецелесообразно инкрементальное заполнение хранилища.

Сам способ реализации доступа к данным базы 1С (через view или каким иным способом через SSIS пакеты) не так принципиален, тут возможны варианты. А вот строить OLAP на вью к таблицам 1С далеко не всегда хорошая идея. Годится только от безысходности при весьма ограниченных бюджетах. Этот путь ведет к серьезным ограничениям функциональности.

Существуют определенные риски, когда 1С-ка при бездумных обновлениях, или странных методах разработке может менять названия таблиц и полей, но по нашему опыту ощущения опасности реализации таких рисков несколько преувеличены, хотя они и не сведены к 0. Это замечание особенно имеет смысл при более менее "устоявшейся" системе.

Что касается " В 1с есть, по сути, свой инструментарий для кубов", то это миф. Никакого "родного" олапа в 1С нет, а то что есть, это близко не олап.

Что касается stage-таблиц. На наш взгляд, это вопрос исключительно деталей реализации проекта. Когда-то они могут быть вполне оправданным и удобным решением, когда-то - лишний этап. Зависит от многих обстоятельств. А вот то, что данные всегда в хранилище лучше "чистить" и "трансформировать", а иногда и предрасчитывать - сие есть факт.

Когда ETL происходит быстро, т.е. минуты, макс. пару десятков минут, всегда можно "договориться" с расписанием регламентных работ, чтобы с ними не толкаться задницами при доступе к таблицам БД. За это время можно выгрузить десятка полтора, в том числе и немаленьких справочников (измерений), мемберов так на несколько сот тысяч, и несколько таблиц фактов с несколькими десятками миллионов транзакций.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37869864
Djeki
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TRX_TRX_Теперь надо выяснить deadline-ы. Будет работать один программист (который по дорогу изучает все эти OLAP технологии, SSIS/SSAS, и т.д. :)). Как думайте, какое время понадобится для каждого этапа?
Рассчитывайте на 2 :) года. Год на создание и год на переделку того, что создали.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37870082
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexdr,

везет Вам, однако, на ETL десятки минут :)
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37870095
alexdr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Alex_496на ETL десятки минут :)
А тут могут быть варианты. Взять данные за десятки минут - это одно. Сложить их в хранилище в нужном формате - это другое :) Решаем по разному, в зависимости... Но в 1С действительно чаще всего не бывает уж очень много данных. Она, похоже, при этом помирает. Да и, как правило, 1С далеко не всегда единственная система, из которой данные поступают. Я же говорил не о всем ETL, а о процессе забора из нее данных.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871197
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TRX_George Nordic, Да я уже давно дизассемблировал его ;)Ай-яй-яй-яй-яй! :)
Критикнедавно делал проект хранилища/кубов для ритейла, весь процесс занял где-то половину года, оплаченных часов примерно 180.Хм, что-то мало, конечно. Да же если это было просто методологическое руководство + особо важные архитектурные решения, но могли бы и на побольше раскошелится, оценить труд, так сказать.
alexdrНу, вроде все до меня уже написали. Причем по большей части - по делу.Ну, и Вам спасибо большое - хорошо дополнили :) От себя могу сказать, что когда я работал на партнере и предлагал широкий спектр решений, то обычно мы предлагали еще MDM (продукт или методологию управления информацией), чтобы унифицировать справочники и избежать ошибок при построении сводной отчетности / анализе. А то, как обычно, все грязь всплывает при старте проекта, и если в договоре не указано, кто отвечает за качество данных - Вас могут ждать неприятные сюрпризы. :) Так что ETL (->DWH) + MDM - неплохая связка, рекомендую обратить внимание.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871607
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
George Nordic,

методология MDM <> действительно результативный эффект от внедрения MDM особенно по прожитие продолжительного времени
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871620
paul310
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexdrЧто касается " В 1с есть, по сути, свой инструментарий для кубов", то это миф. Никакого "родного" олапа в 1С нет, а то что есть, это близко не олап.


То, что Вы не умеете работать с инструментами для анализа данных и подготовки отчетности на данной платформе вовсе не означает, что этих инструментов нет.

alexdrМы не приемлем решений (настолько насколько это бывает возможно), когда данные для хранилища выгружаются 1С-ом. Все наши многочисленные попытки получить приемлемый результат этим способом кончались, в результате, переходом на прямые запросы к БД 1С. Проектов было относительно немало и говорить в этом случае о кривизне рук разработчиков выгрузок из 1С, по-видимому, не приходится. Просто они это делают по-своему, не так как обычно требуется для хранения данных в хранилище.


"По-своему"? Это как? Просто бред какой-то... Выкатываешь людям реквест с подробным описанием формата xml файла, механизма его формирования и требуемой периодичности выгрузки - какие проблемы могут возникнуть?

А доступ напрямую к БД - это чисто административный гемор в крупной конторе.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871704
Djeki
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
paul310alexdrЧто касается " В 1с есть, по сути, свой инструментарий для кубов", то это миф. Никакого "родного" олапа в 1С нет, а то что есть, это близко не олап.

То, что Вы не умеете работать с инструментами для анализа данных и подготовки отчетности на данной платформе вовсе не означает, что этих инструментов нет.

Вы уж изините, что вмешиваюсь. Но где-ж это в 1с "свой инструментарий для кубов" ? Если вы имеете ввиду Консолидация 8 ПРОФ, то походу, как то немного не то, сводная таблица есть, а вот инструментария для кубов нет.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871912
paul310
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DjekiВы уж изините, что вмешиваюсь. Но где-ж это в 1с "свой инструментарий для кубов" ? Если вы имеете ввиду Консолидация 8 ПРОФ, то походу, как то немного не то, сводная таблица есть, а вот инструментария для кубов нет.

Есть консоль отчетов в "родных" конфигурациях от 1с, есть куча инструментов сторонних производителей. Та же консоль отчетов, может, не очень user friendly, но проще аналитиков обучить ей пользоваться, чем городить отдельный проект с dwh и olap.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871926
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
paul310,

При таком подходе все встанет, когда несколько человек будут проводить свои документы, а еще несколько смотреть аналитику за пару-тройку лет.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871945
alexdr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
paul310То, что Вы не умеете работать с инструментами для анализа данных и подготовки отчетности на данной платформе вовсе не означает, что этих инструментов нет.
Вот давайте только без переходов на личности. Про "инструментарий для кубов" Вам все уже написали. Иначе, сейчас пойдет ремарка про то, что Вы не понимаете что такое OLAP (точнее MOLAP), и разницу между OLTP и OLAP системами. Нет там в 1С ничего кроме сводной таблицы. Архитектура хранения данных в 1С не та, не OLAPовская.
paul310"По-своему"? Это как? Просто бред какой-то... Выкатываешь людям реквест с подробным описанием формата xml файла, механизма его формирования и требуемой периодичности выгрузки - какие проблемы могут возникнуть?

Вы разницу в скорости извлечения данных из 1С когда-нибудь замеряли при при использовании разных способов? И о чем Вам говорят полученные результаты замеров?

По-своему? Ну как самый недавний вариант. Документ - есть, проводка - есть. Деньги на аналитиках - есть. Только вот 1С работает со смещение дат в 2000. И часть этих проводок с деньгами висит на датах типа 2022-02-21. Тогда как подавляющее большинство проводок на датах типа 4012-01-31. Результат - часть проводок (и соответственно денег, количеств) в выгрузки не попадает. Там много еще чего интересного можно получить или не получить в выгрузках. Возможно, такие кривые проводки и можно "выудить" в выгрузки, но для этого надо догадаться что они там есть. И как правило они туда не попадают. Специалисты по 1С, пока им пальцем на такие косяки не покажешь, могут об этом даже не догадываться. Выгрузки из 1С, как правило, получаются какие-то "как-будто через щелочку полученные". Я понимаю, что можно говорить о кривизне рук разработчиков. Но работаем с тем что есть. А есть то, о чем я пишу.

Еще раз, представление о том, что
автордоступ напрямую к БД - это чисто административный гемор в крупной конторе.
чаще всего имеет сильно преувеличенный характер. Риски есть, но на наш взгляд, они перекрываются преимуществами прямого доступа.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871949
paul310
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Критикpaul310,

При таком подходе все встанет, когда несколько человек будут проводить свои документы, а еще несколько смотреть аналитику за пару-тройку лет.

Кто ж мешает аналитику развернуть свою копию базы и на ней играться? У меня на одном из проектов так и было устроено у клиента: раз в сутки снималась копия базы и выкладывалась в файлопомой. Возьми, разверни и грузи как хочешь. Раз в месяц актуализировал - и все клево.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871972
alexdr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
paul310проще аналитиков обучить ей пользоваться, чем городить отдельный проект с dwh и olap.
Недавно на проекте по интеграции с 1С даже несложные плоские отчеты не отрабатывали, выдавая ошибку о нехватке памяти на очень нехилом выделенном под 1С сервере).

OLAP отчеты на тех же данных возвращали результат практически мгновенно, причем несколько (5-7) аналитиков на лету строила свои запросы одновременно. Ну, да что объяснять вполне очевидные и всем известные вещи. Sapienti sat...
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37871991
Фотография maxol67
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
paul310Критикpaul310,

При таком подходе все встанет, когда несколько человек будут проводить свои документы, а еще несколько смотреть аналитику за пару-тройку лет.

Кто ж мешает аналитику развернуть свою копию базы и на ней играться? У меня на одном из проектов так и было устроено у клиента: раз в сутки снималась копия базы и выкладывалась в файлопомой. Возьми, разверни и грузи как хочешь. Раз в месяц актуализировал - и все клево.Некоторые клиенты хотят, чтобы данные были 15-ти минутной свежести. И еще чтобы данные разных предметных областей были согласованы, почищены, дополнены данными из других систем, и чтобы это все откликалось максимум за 10 секунд. И данных этих может быть несколько терабайт. И вообще всякие там иерархии, атрибутные иерархии, зависимости атрибутов, несколько измерений времени, time intelligence и прочая лирика.

ЗЫ. И вообще, чего это народ деньги на хранилища данных и BI-системы выкидывает. Представил картину маслом, как 500 пользователей BI-системы разворачивают "свои копии базы и на них играются". Даже если не 500, а жалкие 50 - один одно наиграл, другой другое. Аналитика однако.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37872347
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maxol67,

немного в сторону: Максим, вот жаль, что уехали за кордон. Честно, не хватает Вас здесь (финансы, SSAS, Oracle). В Германии больше порядка в Data Integration проектах?
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #37873012
Фотография maxol67
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alex_496,

спасибо за добрые слова :)
По поводу BI-проектов в Германии сложно дать однозначный ответ: где-то лучше, где-то хуже - все как и в России. Проценты бардачных IT-систем могут, конечно, отличаться, но даже примерную оценку дать не могу - не думал об этом как-то и для точности оценки развития IT-систем и BI в частности надо проводить серьезный анализ - это задача больше для Гарнтера :) Что могу по личному опыту сказать - уровень русских биайщиков и инженеров (по крайней мере присутствующих здесь) уж по крайней мере не ниже уровня немецких коллег. При этом русские гораздо более общительные в профессиональном плане - айти форумов такого уровня, как sql.ru, в Германии нет.
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
Как реализовать ETL из 1С для ОЛАП?
    #40058956
pr89as
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
У меня примерно такая же тема
Сделал обработку на стороне 1с Гружу данные в sql базу, дальше на основе выгрузок процессится куб.
Здесь нужны два подключения из 1с:
1. 1с к sql server (к реляционной базе) По этому подключению полно в инете примеров
2 1с к кубу (ssas) Для выполнения fullprocess или что-то подобного.

По второму подклюению ничего не погу найти. Есть, плз, у кого нибудь пример подключения, пересчета?
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #40058957
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pr89as
2 1с к кубу (ssas) Для выполнения fullprocess или что-то подобного.

По второму подклюению ничего не погу найти. Есть, плз, у кого нибудь пример подключения, пересчета?


Если у вас есть сиквел, к которому вы подключаетесь, то что мешает сделать джоб, который будет процессить. А раз вы так и так подключаетесь, то из 1С выполнить процедуру по запуску джоба не должно быть сложно.

Но это извращение. Первичная система не должна управлять ХД, потому что первичная система может быть заменена другой, или их добавиться еще десяток штук...
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #40058960
pr89as
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Критик
pr89as
2 1с к кубу (ssas) Для выполнения fullprocess или что-то подобного.

По второму подклюению ничего не погу найти. Есть, плз, у кого нибудь пример подключения, пересчета?


Если у вас есть сиквел, к которому вы подключаетесь, то что мешает сделать джоб, который будет процессить. А раз вы так и так подключаетесь, то из 1С выполнить процедуру по запуску джоба не должно быть сложно.

Но это извращение. Первичная система не должна управлять ХД, потому что первичная система может быть заменена другой, или их добавиться еще десяток штук...


1с хочу использовать просто как интерфейс. Обработка может запускаться из любой 1с в организации.
Спасибо за идею с агентом
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #40058972
pr89as
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Код: vbnet
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
&НаКлиенте
Процедура СоединениеССерверомSSAS()

	СтрСоединения = "Provider=MSOLAP.8;Integrated Security=SSPI;Persist Security Info=False;Data Source=МойСервер;Initial Catalog=МойКУБ;Client Cache Size=25;Auto Synch Period=10000";
	Соединение = Новый COMОбъект ("ADODB.Connection");
	Попытка
	Соединение.Open(СтрСоединения);
	
	MDX = "<Batch xmlns=""http://schemas.microsoft.com/analysisservices/2003/engine"">";
	MDX = MDX + "  <Parallel>";
	MDX = MDX + "    <Process xmlns:xsd=""http://www.w3.org/2001/XMLSchema"" xmlns:xsi=""http://www.w3.org/2001/XMLSchema-instance"" xmlns:ddl2=""http://schemas.microsoft.com/analysisservices/2003/engine/2"" xmlns:ddl2_2=""http://schemas.microsoft.com/analysisservices/2003/engine/2/2"" xmlns:ddl100_100=""http://schemas.microsoft.com/analysisservices/2008/engine/100/100"" xmlns:ddl200=""http://schemas.microsoft.com/analysisservices/2010/engine/200"" xmlns:ddl200_200=""http://schemas.microsoft.com/analysisservices/2010/engine/200/200"" xmlns:ddl300=""http://schemas.microsoft.com/analysisservices/2011/engine/300"" xmlns:ddl300_300=""http://schemas.microsoft.com/analysisservices/2011/engine/300/300"" xmlns:ddl400=""http://schemas.microsoft.com/analysisservices/2012/engine/400"" xmlns:ddl400_400=""http://schemas.microsoft.com/analysisservices/2012/engine/400/400"" xmlns:ddl500=""http://schemas.microsoft.com/analysisservices/2013/engine/500"" xmlns:ddl500_500=""http://schemas.microsoft.com/analysisservices/2013/engine/500/500"">";
	MDX = MDX + "<Object>";
	MDX = MDX + "  <DatabaseID>МойКУБ</DatabaseID>";
	MDX = MDX + "</Object>";
	MDX = MDX + "<Type>ProcessFull</Type>";
	MDX = MDX + "<WriteBackTableCreation>UseExisting</WriteBackTableCreation>";
	MDX = MDX + "</Process>";
	MDX = MDX + "</Parallel>";
	MDX = MDX + "</Batch>";
	
	Соединение.Execute( MDX) ;

	Соединение.Close();

	Исключение
	Сообщить(ОписаниеОшибки());
	Возврат;
	КонецПопытки;
КонецПроцедуры



Вот так норм вроде работает, может кому пригодится
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #40058973
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pr89as
Обработка может запускаться из любой 1с в организации


Продумайте, что будет при одновременном запуске с нескольких машин )
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #40059007
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Критик,

ничего. встанут в очередь и по очереди выполнятся.
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #40059012
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
TRX_, не изобретайте велосипед. Есть коннекторы к 1С, который видят метамодель, и даже осуществляют параллельную выгрузку. Например АТК коннектор . Скачайте пробную версию да посмотрите. По цене - тоже гуманный вполне ценник, так как это побочный продукт (изначально был нужен для выгрузки данных из 1С в BI), который приобрел популярность.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Как реализовать ETL из 1С для ОЛАП?
    #40059019
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
George Nordic,

Георгий, годом ошибся и тема уже в другую сторону ушла.. топикстартер не появлялся почти 10 лет здесь
...
Рейтинг: 0 / 0
56 сообщений из 56, показаны все 3 страниц
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Как реализовать ETL из 1С для ОЛАП?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]