Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / 1C: экстракция и трансформация данных в "снежинку" / 18 сообщений из 18, страница 1 из 1
14.08.2015, 19:08
    #39029743
bascomo
bascomo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
Привет,

кто-нибудь сталкивался с механизмом (чьей-либо разработкой), который бы выполнял следующее:
1. Экстракция данных из ряда типовых конфигураций 1С на основе метаданных,
2. Агрегация их и укладывание их в хранилище
3. Создание ключей/индексов?

Видение того, как это работает:
1. Выбираются объекты и их нужные поля (не все подряд) по псевдонимам,
2. Механизм строит запросы к различным базам, конвертируя псевдонимы в физические поля,
3. Агрегирует информацию в целевые объекты,
4. Строит "снежинку",
5. Строит индексы

Кроссверсионный, для 7.7-8.2 версий 1С

Или придётся писать самому? Скорее всего, но вдруг кто-то заморачивался?


Может быть, какой-нибудь ETL вроде Pentaho? Но там же ручками всё придётся.
А в 1С уже хранится информация о том, что там за объекты есть и как они друг с дружкой связаны.

Собственно, не велика проблема, если бы была одна база данных - но их больше 50, и писать запросы одной структуры для каждой, возвращающие один и тот же набор данных - уныло, поскольку копипаст не пройдёт: псевдонимы объектов и полей одинаковы, но физические имена таблиц и полей различаются.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.08.2015, 19:44
    #39029763
Voyager_lan
Voyager_lan
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
bascomo,

Конечно. И писали и делали на более чем 100 базах :)
Руками все равно придется делать, т.к. обработка решает задачи на стороне источника данных
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.08.2015, 21:35
    #39029806
Jurii
Jurii
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
2 bascomo:

Мне приходилось автоматизировать некоторые операции, главным образом - по автоматическому формированию необходимых SQL-запросов для нескольких десятков баз 1С, в которых физические названия таблиц и полей - разные, а псевдонимы - известны заранее.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.08.2015, 11:44
    #39029927
Критик
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
bascomo,

1) обработка, которая генерит представления с человеческими именами на основе метаданных
2) пакет загрузки, где имя базы и имя сервера параметризировано

все
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.08.2015, 16:54
    #39030953
SpellBuilder
SpellBuilder
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
Резюмирую, в связи засилием 1С, делали почти все и ничего сложного в принципе нет. В некотором ПО даже коннекторы по 1С8 есть.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.08.2015, 10:02
    #39031336
Shtock
Shtock
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
Мы писали сами. Кури планы обмена - это наше всё.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Период между сообщениями больше года.
05.06.2018, 22:05
    #39655969
bascomo
bascomo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
Написал решение из 3-х кусков:
1. C#, который вытаскивает метаданные из произвольного числа баз 1С
2. C# GUI, где галками определяются объекты и нужные поля по именам-псевдонимам, из каких источников и в какое местоположение сложить
3. C# ETL, который берёт настройки по шагу 2 и делает всю работу
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.06.2018, 23:40
    #39656011
Критик
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
bascomo,

Все это добро поддерживать нужно, причем не факт, что etl-щик буде знать c# и 1с.
Гораздо проще держать простейшую 1с обработку, которая в указанной базе создаст кучу представлений на основе объектов 1с.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.06.2018, 09:14
    #39656104
ShIgor
ShIgor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
Критик,

те же проблемы.. туча серверов/баз одинаковой функциональности с минимальными флуктуациями по номеру версии.
вьюхи вроде есть везде, но не все одинаковые.. и сиди думай, то-ли разрабы забыли базу обновить, то-ли скрипт создания вьюх не прошел.

bascomo,
как 3 шаг справляется с обходом сотни источников (источник = 1 база). параллелить умеет? умеет-ли определять обновленные/удаленные/новые или валит тупо весь источник на цель? что с общими для всех справочниками?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.06.2018, 10:36
    #39656173
alexdr
alexdr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
bascomoНаписал решение из 3-х кусков:
Детали будут, или так, похвастаться?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.06.2018, 12:16
    #39656314
Andy_OLAP
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
ShIgorКритик,

те же проблемы.. туча серверов/баз одинаковой функциональности с минимальными флуктуациями по номеру версии.
вьюхи вроде есть везде, но не все одинаковые.. и сиди думай, то-ли разрабы забыли базу обновить, то-ли скрипт создания вьюх не прошел.

Я Вам одну умную вещь скажу, возможно, достаточно неожиданную. Все view должны пересоздаваться вручную, ничего автоматического быть не должно. Когда на 1С накатывается новая конфигурация - все view должны ломаться обязательно. И вдумчиво исправляться только ПОСЛЕ письма пользователей конкретной базы 1С, что именно поменяли в конфигурации.

Иначе может быть такая ситуация. Вот есть регистр продаж, есть регистр какого-нибудь ценообразования. Взяли, слепили - получили продажи в штуках, в розничных ценах и в ценах себестоимости.
И все бы хорошо. Да вот только в новой конфигурации 1С часть цен перенесли в новый регистр. Вы автоматически view поправили, все работает, только потом пользователи начинают говорить - ой-вей, это что такое, это какой-то ужас, у половины строк нет цены, у половины цена есть, как такое может быть.

То есть автоматизировать МОЖНО. Но НЕ НУЖНО.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.06.2018, 12:46
    #39656373
Критик
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
Andy_OLAP,

у вашего варианта есть одна проблема - команде первичного источника нафиг не нужно сообщать о своих релизах команде хранилища, и они этого и не делают (ни в одной компании, где я работал, такого не было)

а в моем - команда первичного источника поддерживает и интерфейс выгрузки (обработку + те самые вьюхи), и, если что, виноваты они
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.06.2018, 14:34
    #39656528
StarikNavy
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
Andy_OLAP,

+ (условно) если на 10 изменений, допустим есть одно ломающее логику (с воплями пользователей)
в вашем варианте получается 10 часов работы программистов vs 1 час работы пользователей

нет, если бизнес готов увеличивать расходы ради максимальной минимизации ошибки (причем последние проценты этогро, как все знают дороже всего стоят) то да..., но обычно бизнесу проще с пониманием отнестить "внесли изменения - в отчетности что-то поехало - программисты отчетности быстренько исправили)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.06.2018, 17:03
    #39656720
Andy_OLAP
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
StarikNavyобычно бизнесу проще с пониманием отнестить "внесли изменения - в отчетности что-то поехало - программисты отчетности быстренько исправили)
Это в теории. А на практике такая формула получается совсем некошерной - "внесли изменения - отчетность несколько дней получалась кривая - никто не знает и не понимает и не помнит, какая именно кривая - бизнес-решения уже по кривой отчетности приняли, кому теперь тумаков развешивать, никто не знает - отчет в госорганы из кривых данных уже улетел, купили банку вазелина, ждем комиссию с проверкой".

Так что пусть оно лучше ломается как молоденькая девушка на первом свидании.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.06.2018, 17:05
    #39656724
Andy_OLAP
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
StarikNavyв вашем варианте получается 10 часов работы программистов vs 1 час работы пользователей

Нет, в "моем" варианте получается 10-20-30 часов осмысленной работы программистов с перепиской с пользователями отчетов vs 1 час работы "мартышек", которые документацию на отчеты получили, а что там "внутри", никто не знает и знать не хочет.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.06.2018, 12:21
    #39657272
alexdr
alexdr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
КритикГораздо проще держать простейшую 1с обработку, которая в указанной базе создаст кучу представлений на основе объектов 1с.
В таком решении, мне кажется, есть один "слабый момент". ETL-щик зависит от добросовестности "запускателя обработки". Забыл/не забыл, запустил/не запустил. Запускать когда? При каждом новом "чихе" в конфигурации или только при изменении модели хранения данных? Я видел/пользовался такими решениями. Обычно, обновление вью происходит со значительным запозданием по сравнению с изменением модели хранения данных. Это происходит тогда, когда обработка запускается вручную, когда ее запуск ничем не регламентирован.

Правда, как вариант, можно ее запуск зашедулить и обновлять слой представлений на ежедневной основе - DROP VIEW/CREATE VIEW.

То, о чем написал bascomo, в части чтения метаданных 1С и построения на этой основе слоя представлений, можно запихнуть в SSIS-пакет и управлять его выполнением также, как можно управлять выполнением любого другого SSIS-пакета имея при этом "самый свежий" актуальный слой представлений, полностью отражающий текущую схему хранения данных 1С.

Andy_OLAPВсе view должны пересоздаваться вручную, ничего автоматического быть не должно.
Это, конечно, жесть, на мой взгляд. Дорого, долго и неэффективно. А главное, ни от чего не страхует.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.06.2018, 12:59
    #39657317
StarikNavy
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
Andy_OLAPбизнес-решения уже по кривой отчетности приняли, кому теперь тумаков развешивать
ну, грамотные кадры должны не только в IT , но у тех же фининстистах сидеть
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.06.2018, 14:15
    #39657398
.Евгений
.Евгений
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
1C: экстракция и трансформация данных в "снежинку"
bascomoНаписал решение из 3-х кусков:
1. C#, который вытаскивает метаданные из произвольного числа баз 1С
2. C# GUI, где галками определяются объекты и нужные поля по именам-псевдонимам, из каких источников и в какое местоположение сложить
3. C# ETL, который берёт настройки по шагу 2 и делает всю работу
Когда-то я делал нечто подобное пунктам 1 и 3 внутри SSIS посредством скриптовых компонент (пакет копирования данных, многократно вызываемый с разными аргументами источника, приемника и запроса). Пункт 2 обеспечивался таблицами метаданных.
Критиккоманде первичного источника нафиг не нужно сообщать о своих релизах команде хранилища, и они этого и не делают (ни в одной компании, где я работал, такого не было)

а в моем - команда первичного источника поддерживает и интерфейс выгрузки (обработку + те самые вьюхи), и, если что, виноваты они Andy_OLAPА на практике такая формула получается совсем некошерной - "внесли изменения - отчетность несколько дней получалась кривая - никто не знает и не понимает и не помнит, какая именно кривая - бизнес-решения уже по кривой отчетности приняли, кому теперь тумаков развешивать, никто не знает - отчет в госорганы из кривых данных уже улетел, купили банку вазелина, ждем комиссию с проверкой".
Вечная тема. Развитая СККД на входе ХД значительно облегчает жизнь.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / 1C: экстракция и трансформация данных в "снежинку" / 18 сообщений из 18, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 507ms
Закрыть
start [/forum/topic.php?fid=49&mobile=1&tid=1857867]:
 0ms
get settings:
 9ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 159ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 55ms
get tp. blocked users:
 1ms
others: 252ms
total:  507ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]