ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / 1C: экстракция и трансформация данных в "снежинку"
18 сообщений из 18, страница 1 из 1
1C: экстракция и трансформация данных в "снежинку"
    #39029743
Фотография bascomo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bascomo
Участник
Привет,

кто-нибудь сталкивался с механизмом (чьей-либо разработкой), который бы выполнял следующее:
1. Экстракция данных из ряда типовых конфигураций 1С на основе метаданных,
2. Агрегация их и укладывание их в хранилище
3. Создание ключей/индексов?

Видение того, как это работает:
1. Выбираются объекты и их нужные поля (не все подряд) по псевдонимам,
2. Механизм строит запросы к различным базам, конвертируя псевдонимы в физические поля,
3. Агрегирует информацию в целевые объекты,
4. Строит "снежинку",
5. Строит индексы

Кроссверсионный, для 7.7-8.2 версий 1С

Или придётся писать самому? Скорее всего, но вдруг кто-то заморачивался?


Может быть, какой-нибудь ETL вроде Pentaho? Но там же ручками всё придётся.
А в 1С уже хранится информация о том, что там за объекты есть и как они друг с дружкой связаны.

Собственно, не велика проблема, если бы была одна база данных - но их больше 50, и писать запросы одной структуры для каждой, возвращающие один и тот же набор данных - уныло, поскольку копипаст не пройдёт: псевдонимы объектов и полей одинаковы, но физические имена таблиц и полей различаются.
...
Рейтинг: 0 / 0
14.08.2015, 19:08
| Ответить | Цитировать | Написать  
1C: экстракция и трансформация данных в "снежинку"
    #39029763
Voyager_lan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Voyager_lan
Участник
bascomo,

Конечно. И писали и делали на более чем 100 базах :)
Руками все равно придется делать, т.к. обработка решает задачи на стороне источника данных
...
Рейтинг: 0 / 0
14.08.2015, 19:44
| Ответить | Цитировать | Написать  
1C: экстракция и трансформация данных в "снежинку"
    #39029806
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jurii
Участник
2 bascomo:

Мне приходилось автоматизировать некоторые операции, главным образом - по автоматическому формированию необходимых SQL-запросов для нескольких десятков баз 1С, в которых физические названия таблиц и полей - разные, а псевдонимы - известны заранее.
...
Рейтинг: 0 / 0
14.08.2015, 21:35
| Ответить | Цитировать | Написать  
1C: экстракция и трансформация данных в "снежинку"
    #39029927
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
bascomo,

1) обработка, которая генерит представления с человеческими именами на основе метаданных
2) пакет загрузки, где имя базы и имя сервера параметризировано

все
...
Рейтинг: 0 / 0
15.08.2015, 11:44
| Ответить | Цитировать | Написать  
1C: экстракция и трансформация данных в "снежинку"
    #39030953
SpellBuilder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SpellBuilder
Участник
Резюмирую, в связи засилием 1С, делали почти все и ничего сложного в принципе нет. В некотором ПО даже коннекторы по 1С8 есть.
...
Рейтинг: 0 / 0
17.08.2015, 16:54
| Ответить | Цитировать | Написать  
1C: экстракция и трансформация данных в "снежинку"
    #39031336
Фотография Shtock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shtock
Участник
Мы писали сами. Кури планы обмена - это наше всё.
...
Рейтинг: 0 / 0
18.08.2015, 10:02
| Ответить | Цитировать | Написать  
Период между сообщениями больше года.
1C: экстракция и трансформация данных в "снежинку"
    #39655969
Фотография bascomo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bascomo
Участник
Написал решение из 3-х кусков:
1. C#, который вытаскивает метаданные из произвольного числа баз 1С
2. C# GUI, где галками определяются объекты и нужные поля по именам-псевдонимам, из каких источников и в какое местоположение сложить
3. C# ETL, который берёт настройки по шагу 2 и делает всю работу
...
Рейтинг: 0 / 0
05.06.2018, 22:05
| Ответить | Цитировать | Написать  
1C: экстракция и трансформация данных в "снежинку"
    #39656011
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
bascomo,

Все это добро поддерживать нужно, причем не факт, что etl-щик буде знать c# и 1с.
Гораздо проще держать простейшую 1с обработку, которая в указанной базе создаст кучу представлений на основе объектов 1с.
...
Рейтинг: 0 / 0
05.06.2018, 23:40
| Ответить | Цитировать | Написать  
1C: экстракция и трансформация данных в "снежинку"
    #39656104
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShIgor
Участник
Критик,

те же проблемы.. туча серверов/баз одинаковой функциональности с минимальными флуктуациями по номеру версии.
вьюхи вроде есть везде, но не все одинаковые.. и сиди думай, то-ли разрабы забыли базу обновить, то-ли скрипт создания вьюх не прошел.

bascomo,
как 3 шаг справляется с обходом сотни источников (источник = 1 база). параллелить умеет? умеет-ли определять обновленные/удаленные/новые или валит тупо весь источник на цель? что с общими для всех справочниками?
...
Рейтинг: 0 / 0
06.06.2018, 09:14
| Ответить | Цитировать | Написать  
1C: экстракция и трансформация данных в "снежинку"
    #39656173
alexdr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alexdr
Гость
bascomoНаписал решение из 3-х кусков:
Детали будут, или так, похвастаться?
...
Рейтинг: 0 / 0
06.06.2018, 10:36
| Ответить | Цитировать | Написать  
1C: экстракция и трансформация данных в "снежинку"
    #39656314
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
ShIgorКритик,

те же проблемы.. туча серверов/баз одинаковой функциональности с минимальными флуктуациями по номеру версии.
вьюхи вроде есть везде, но не все одинаковые.. и сиди думай, то-ли разрабы забыли базу обновить, то-ли скрипт создания вьюх не прошел.

Я Вам одну умную вещь скажу, возможно, достаточно неожиданную. Все view должны пересоздаваться вручную, ничего автоматического быть не должно. Когда на 1С накатывается новая конфигурация - все view должны ломаться обязательно. И вдумчиво исправляться только ПОСЛЕ письма пользователей конкретной базы 1С, что именно поменяли в конфигурации.

Иначе может быть такая ситуация. Вот есть регистр продаж, есть регистр какого-нибудь ценообразования. Взяли, слепили - получили продажи в штуках, в розничных ценах и в ценах себестоимости.
И все бы хорошо. Да вот только в новой конфигурации 1С часть цен перенесли в новый регистр. Вы автоматически view поправили, все работает, только потом пользователи начинают говорить - ой-вей, это что такое, это какой-то ужас, у половины строк нет цены, у половины цена есть, как такое может быть.

То есть автоматизировать МОЖНО. Но НЕ НУЖНО.
...
Рейтинг: 0 / 0
06.06.2018, 12:16
| Ответить | Цитировать | Написать  
1C: экстракция и трансформация данных в "снежинку"
    #39656373
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
Andy_OLAP,

у вашего варианта есть одна проблема - команде первичного источника нафиг не нужно сообщать о своих релизах команде хранилища, и они этого и не делают (ни в одной компании, где я работал, такого не было)

а в моем - команда первичного источника поддерживает и интерфейс выгрузки (обработку + те самые вьюхи), и, если что, виноваты они
...
Рейтинг: 0 / 0
06.06.2018, 12:46
| Ответить | Цитировать | Написать  
1C: экстракция и трансформация данных в "снежинку"
    #39656528
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
StarikNavy
Участник
Andy_OLAP,

+ (условно) если на 10 изменений, допустим есть одно ломающее логику (с воплями пользователей)
в вашем варианте получается 10 часов работы программистов vs 1 час работы пользователей

нет, если бизнес готов увеличивать расходы ради максимальной минимизации ошибки (причем последние проценты этогро, как все знают дороже всего стоят) то да..., но обычно бизнесу проще с пониманием отнестить "внесли изменения - в отчетности что-то поехало - программисты отчетности быстренько исправили)
...
Рейтинг: 0 / 0
06.06.2018, 14:34
| Ответить | Цитировать | Написать  
1C: экстракция и трансформация данных в "снежинку"
    #39656720
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
StarikNavyобычно бизнесу проще с пониманием отнестить "внесли изменения - в отчетности что-то поехало - программисты отчетности быстренько исправили)
Это в теории. А на практике такая формула получается совсем некошерной - "внесли изменения - отчетность несколько дней получалась кривая - никто не знает и не понимает и не помнит, какая именно кривая - бизнес-решения уже по кривой отчетности приняли, кому теперь тумаков развешивать, никто не знает - отчет в госорганы из кривых данных уже улетел, купили банку вазелина, ждем комиссию с проверкой".

Так что пусть оно лучше ломается как молоденькая девушка на первом свидании.
...
Рейтинг: 0 / 0
06.06.2018, 17:03
| Ответить | Цитировать | Написать  
1C: экстракция и трансформация данных в "снежинку"
    #39656724
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
StarikNavyв вашем варианте получается 10 часов работы программистов vs 1 час работы пользователей

Нет, в "моем" варианте получается 10-20-30 часов осмысленной работы программистов с перепиской с пользователями отчетов vs 1 час работы "мартышек", которые документацию на отчеты получили, а что там "внутри", никто не знает и знать не хочет.
...
Рейтинг: 0 / 0
06.06.2018, 17:05
| Ответить | Цитировать | Написать  
1C: экстракция и трансформация данных в "снежинку"
    #39657272
alexdr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alexdr
Гость
КритикГораздо проще держать простейшую 1с обработку, которая в указанной базе создаст кучу представлений на основе объектов 1с.
В таком решении, мне кажется, есть один "слабый момент". ETL-щик зависит от добросовестности "запускателя обработки". Забыл/не забыл, запустил/не запустил. Запускать когда? При каждом новом "чихе" в конфигурации или только при изменении модели хранения данных? Я видел/пользовался такими решениями. Обычно, обновление вью происходит со значительным запозданием по сравнению с изменением модели хранения данных. Это происходит тогда, когда обработка запускается вручную, когда ее запуск ничем не регламентирован.

Правда, как вариант, можно ее запуск зашедулить и обновлять слой представлений на ежедневной основе - DROP VIEW/CREATE VIEW.

То, о чем написал bascomo, в части чтения метаданных 1С и построения на этой основе слоя представлений, можно запихнуть в SSIS-пакет и управлять его выполнением также, как можно управлять выполнением любого другого SSIS-пакета имея при этом "самый свежий" актуальный слой представлений, полностью отражающий текущую схему хранения данных 1С.

Andy_OLAPВсе view должны пересоздаваться вручную, ничего автоматического быть не должно.
Это, конечно, жесть, на мой взгляд. Дорого, долго и неэффективно. А главное, ни от чего не страхует.
...
Рейтинг: 0 / 0
07.06.2018, 12:21
| Ответить | Цитировать | Написать  
1C: экстракция и трансформация данных в "снежинку"
    #39657317
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
StarikNavy
Участник
Andy_OLAPбизнес-решения уже по кривой отчетности приняли, кому теперь тумаков развешивать
ну, грамотные кадры должны не только в IT , но у тех же фининстистах сидеть
...
Рейтинг: 0 / 0
07.06.2018, 12:59
| Ответить | Цитировать | Написать  
1C: экстракция и трансформация данных в "снежинку"
    #39657398
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
.Евгений
Участник
bascomoНаписал решение из 3-х кусков:
1. C#, который вытаскивает метаданные из произвольного числа баз 1С
2. C# GUI, где галками определяются объекты и нужные поля по именам-псевдонимам, из каких источников и в какое местоположение сложить
3. C# ETL, который берёт настройки по шагу 2 и делает всю работу
Когда-то я делал нечто подобное пунктам 1 и 3 внутри SSIS посредством скриптовых компонент (пакет копирования данных, многократно вызываемый с разными аргументами источника, приемника и запроса). Пункт 2 обеспечивался таблицами метаданных.
Критиккоманде первичного источника нафиг не нужно сообщать о своих релизах команде хранилища, и они этого и не делают (ни в одной компании, где я работал, такого не было)

а в моем - команда первичного источника поддерживает и интерфейс выгрузки (обработку + те самые вьюхи), и, если что, виноваты они Andy_OLAPА на практике такая формула получается совсем некошерной - "внесли изменения - отчетность несколько дней получалась кривая - никто не знает и не понимает и не помнит, какая именно кривая - бизнес-решения уже по кривой отчетности приняли, кому теперь тумаков развешивать, никто не знает - отчет в госорганы из кривых данных уже улетел, купили банку вазелина, ждем комиссию с проверкой".
Вечная тема. Развитая СККД на входе ХД значительно облегчает жизнь.
...
Рейтинг: 0 / 0
07.06.2018, 14:15
| Ответить | Цитировать | Написать  
18 сообщений из 18, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / 1C: экстракция и трансформация данных в "снежинку"
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=49&msg=39029743&tid=1857867]:
 0ms
get settings:
 11ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 177ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 58ms
get tp. blocked users:
 1ms
others: 15ms
total:  297ms
созд. / загр.: 297ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]