|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
iscrafm, Я сказал то, что сказал. Сделайте 5 элементов, добавьте 6-ой (руль) и получите "велик". Только узнаете об этом от посторонних. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 23:05 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Великiscrafm, Я сказал то, что сказал. Сделайте 5 элементов, добавьте 6-ой (руль) и получите "велик". Только узнаете об этом от посторонних. координаты подскажите? от кого узнаю... заинтриговали. вопрос ведь в чем... говорят, что покупка OLAP продукта не требует организации форматов обмена, программирования процедур выгрузки и т.п. Естественно получится OLAP, это же его задачи. Все что хотел сказать. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 23:25 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
сообщение от install можете считать моим. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 23:30 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
есть около 15 гетерогенных/FEDERATED сервисов. Всё шустро и красиво ! ... |
|||
:
Нравится:
Не нравится:
|
|||
08.11.2008, 01:27 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Бор_ИСЕсть множество систем. Порядка 20, руководство предприятия требует отчёты, данные для которых берутся из всех этих систем т.е. сидит несколько человек делает выгрузку из одной системы, затем из другой, потом это всё слепляет, снова обрабатывает. И потом этот отчёт подаётся руководителю. Отчёты разные, иногда меняются. Есть отчёты которые нужно делать каждый день, есть которые каждый месяц. Данных несколько терабайт. Есть идея выгружать данные из всех систем в xml, затем запихивать это всё в одну СУБД и потом уже просто остаётся правильно написать запрос. Есть ещё как-нибудь идеи как это можно делать быстро? Я говорил о том, что это задача типичная для OLAP системы. Как сделать быстро? - рассмотреть существующие системы данного класса и купить. Делать свою, только если не устраивает цена или конкретные возможности продукта. При этом, по крайней мере, не делать вид что ИХ нет и мыделаем что то особенное: авторBely Почитайте про OLAP и Data Warehousing. читал ... |
|||
:
Нравится:
Не нравится:
|
|||
08.11.2008, 10:56 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
ВеликЯ говорил о том, что это задача типичная для OLAP системы. Как сделать быстро? - рассмотреть существующие системы данного класса и купить. купить + сделать тоже самое, о чем здесь уже говорили. Т.е. настроить все структуры,запрограммировать загрузки и т.п. Велик, вы специально морочите человеку голову? Вы предлагаете то, о чем автор пишет "грузить все в одну БД", т.е. предлагаете купить само хранилище. А кто в него грузить будет, кто его структурой заниматься? Назовите уже имя этой замечательной "OLAP системы", которая избавить от перечисленных Shoora пунктов, которые по вашему - избретение велосипеда. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.11.2008, 12:46 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Все правильно сказано насчет хранилища и "промышленных систем отчетности". Забыли 2 важнейших пункта - 1. Как будут согласовываться справочники (и вообще как будет управляться качество данных) 2. Каким инструментом ETL все это будет грузиться в хранилище. Все это можно сделать на хардкодных спагетти-скриптах, но руководство и последующие поколения айтишников вам спасибо не скажут. Поэтому в 8 из 10 таких проектов стратежно применяются промышленные же ETL-средства, и в половине - средства MDM. 2 cамых целостных на сегодня подхода - это 1. Обработка входящих справочников и фактов универсальными процедурами, основанными на правилах обработки + генерация хранилища на Generic-схеме, практически без кодинга (Kalido) 2. "Хранилище из коробки" (Oracle BIEE+BI Apps) Несмотря на то, что многие считают ХД в каждом проекте уникальными, все, что происходит при экстракции и укладке данных в ХД - заранее известно, множество раз повторено, может быть автоматизировано. Интерес кодировать это сегодня вручную может быть только практикантский. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.11.2008, 14:13 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Kalido... Поставил и хотел сравнить его с Transform On Demand, нравился мне этот продукт. И вроде как обновить решил. Ни компании, ни продукта. А все ссылки ведут на Sybase. Вот такой чиста промышленный подход! ... |
|||
:
Нравится:
Не нравится:
|
|||
08.11.2008, 19:56 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
iscrafm, путаете с Talend, и вообще какой-то клубок у вас. это Solonde TOD купила Sybase, с него туда ссылки могут вести. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.11.2008, 20:42 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
ГликогенВсе правильно сказано насчет хранилища и "промышленных систем отчетности". Забыли 2 важнейших пункта - 1. Как будут согласовываться справочники (и вообще как будет управляться качество данных) 2. Каким инструментом ETL все это будет грузиться в хранилище. Все это можно сделать на хардкодных спагетти-скриптах, но руководство и последующие поколения айтишников вам спасибо не скажут. Поэтому в 8 из 10 таких проектов стратежно применяются промышленные же ETL-средства, и в половине - средства MDM. 2 cамых целостных на сегодня подхода - это 1. Обработка входящих справочников и фактов универсальными процедурами, основанными на правилах обработки + генерация хранилища на Generic-схеме, практически без кодинга (Kalido) 2. "Хранилище из коробки" (Oracle BIEE+BI Apps) Несмотря на то, что многие считают ХД в каждом проекте уникальными, все, что происходит при экстракции и укладке данных в ХД - заранее известно, множество раз повторено, может быть автоматизировано. Интерес кодировать это сегодня вручную может быть только практикантский. Скажем так, про ETL и MDM не забыли, а опустили :) Когда человек начинает разговор со слов "Есть идея выгружать данные из всех систем в xml, затем запихивать это всё в одну СУБД и потом уже просто остаётся правильно написать запрос. Есть ещё как-нибудь идеи как это можно делать быстро?", делаем вывод, что он и его команда находятся на определенном этапе. Предлагать на этом этапе сделать все "как у больших", бессмысленно. Даже если лично он убедится, убедить руководство вряд ли удастся. На мой взгляд, на этом этапе важно соблюсти общий принцип и не пропускать важных этапов - потом любой "наколенный" компонент может быть относительно безболезненно заменен соответствующим продуктом. Предложение все-таки купить систему репортинга идет из этих соображений. Если этого не сделать, народ автоматом начинает писать логику отчетов на том, что ему ближе - либо на базе (куча скриптов на PL\SQL и зубодробительные вьюхи - типичная картина), либо пропускают все через супер-app-сервер, либо Excel и VBA - это реальность и с этим сталкиваешься постоянно... получается спагетти. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.11.2008, 22:46 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Гликогенiscrafm, путаете с Talend, и вообще какой-то клубок у вас. это Solonde TOD купила Sybase, с него туда ссылки могут вести. я названия продуктов называю в ясном уме. Какой -то Talend мне не знаком, не очень привлекают OpenSrc продукты. А TROND (так назывался экзешник и сокращенно сам продукт) действительно был производства Solonde. Я с этими продуктами с рождения (их естественно) можно сказать знаком. Про какой клубок вы говорите? кстати Kalido выглядит конечно бедновато. Это вы его в тренды записали или еще кто? Если есть ссылки на аналитические материалы то плз,подкиньте ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2008, 00:46 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Shoora Если этого не сделать, народ автоматом начинает писать логику отчетов на том, что ему ближе - либо на базе (куча скриптов на PL\SQL и зубодробительные вьюхи - типичная картина), либо пропускают все через супер-app-сервер, либо Excel и VBA - это реальность и с этим сталкиваешься постоянно... получается спагетти. +1 если в первую очередь не рассматривать покупные решения, то есть опасность что не только логика отчётов, но и логика агрегации, выгрузки, консолидации данных тоже будет спагетти. Так как решений при таких исходных данных - вагон и маленькая тележка. - делать гетерогенный запросы на лету или делать хранилище данных - по какому протоколу брать данные - кто будет эксплуатировать систему и т.д. Даже решение класть всё в XML а потом лишь "осталось написать запросы" к этой байде.... - очень сомнительно. ЗЫ. Лучше рассматривать не последовательность действий, а архитектуру решений в этой области. Тот же DTS вместо TSQL всяко лучше при заполнении хранилищ данных (если у Вас сиквел) ЗЫ.ЗЫ. Чем отличается этот подфорум от любого програмисткого, так это тем что здесь не бросаются сразу всё писать своими руками (ищут готовые решения в первую очередь). ИМХО ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2008, 12:57 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
никогда никто не задумывался о том, что для того чтобы не было спагетти, достаточно банально документировать все? И если уж искать готовое решение,то под конкретные параметры. Например в каких СУБД и системах вообще данные находятся, кто их поддерживает и т.п. Без этого поиск готового решения не имеет смысла. Если вдруг окажется, что на некоторых точках установлена 1С8, и нет возможности сделать из нее специализированную выгрузку (которую хотя-бы на 50% поймет готовый ETL продукт), а в распоряжении есть только файлы обмена в формате XML, то о каком готовом решении вообще может идти речь (кроме 1С8 конечно на принимающей стороне). К тому же, имхо конечно, несколько переоценивается техническая сложность ETL продуктов. Выбросьте из них графику, шедулеры.... и посмотрите что останется. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2008, 13:40 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Пример отчёта, параметры компонента, из одной среды, результаты измерений из другой… Можно сделать анализ одного компонента: ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2008, 19:31 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
А можно всё скопом, всего 23 отчета в одном приложении на разные вкусы... ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2008, 19:36 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Petro123 если в первую очередь не рассматривать покупные решения... - делать гетерогенный запросы на лету или делать хранилище данных - по какому протоколу брать данные - кто будет эксплуатировать систему и т.д. Даже решение класть всё в XML а потом лишь "осталось написать запросы" к этой байде.... - очень сомнительно. ЗЫ. Лучше рассматривать не последовательность действий, а архитектуру решений в этой области. Тот же DTS вместо TSQL всяко лучше при заполнении хранилищ данных (если у Вас сиквел) iscrafmникогда никто не задумывался о том, что для того чтобы не было спагетти, достаточно банально документировать все? ... К тому же, имхо конечно, несколько переоценивается техническая сложность ETL продуктов. Выбросьте из них графику, шедулеры.... и посмотрите что останется. Все верно, но несколько поверхностно. Нельзя смотреть на создание такой системы, как OLAP только с точки зрения технологий и текущего состояния систем-источников. Это ПРОЦЕСС. Прыгать через этапы здесь так же опасно, как и городить спагетти. OLAP - вершина айсберга, она не является жизненно важной для предприятия (и для руководства!), в отличие от любой MES или ERP, но если грамотно начать ее внедрять, она может оказать связующее действие на другие системы - их новые версии будут создаваться с учетом корпоративных справочников, в них будут предусматриваться интерфейсы взаимодействия, дойдут и до MDM, ESB, SOA в конце концов. Но и на этом процесс не заканчивается. Заложить грамотные основы корпоративной архитектуры, выстроить процесс (с документированием и всем прочим) - и не стыдно будет передать систему последователям. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.11.2008, 23:22 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
iscrafmГликогенiscrafm, путаете с Talend, и вообще какой-то клубок у вас. это Solonde TOD купила Sybase, с него туда ссылки могут вести. я названия продуктов называю в ясном уме. Какой -то Talend мне не знаком, не очень привлекают OpenSrc продукты. А TROND (так назывался экзешник и сокращенно сам продукт) действительно был производства Solonde. Я с этими продуктами с рождения (их естественно) можно сказать знаком. Про какой клубок вы говорите? кстати Kalido выглядит конечно бедновато. Это вы его в тренды записали или еще кто? Если есть ссылки на аналитические материалы то плз,подкиньте ОК, так откуда все-таки ведут ссылки на Sybase? :) Чтобы что-то записывать или не записывать в тренды, надо понимать, в чем отличие. Есть ETL классической архитектуры и их подвид - ELT. В них потоки данных описываются "визуальным хардкодом", т.е. грубо говоря, для каждой входной таблицы - свой маппинг. Если таблиц - тысяча - то и маппингов - тысяча. INFA, BODI, Talend, Solonde, ODI - все современные ETL короче. И есть подход, базирующийся на метаданных и generic-структурах БД. Декларативно описывается, как должна обрабатываться входная структура, чем она является - измерением, фактом или чем-то еще, и далее генеративно порождается логика укладки этой структуры в заранее смоделированные структуры целевого ХД. Знаете такой ETL? ODI так позиционируется, но это только маркетинг. По-моему, тут очевидно, что тренд, а что скоро умрет. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2008, 10:24 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Ирина Тихонова, интересует вопрос КАК получить, а не скрины. Вы вот так получали? /topic/611934&hl= ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2008, 10:32 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Гликоген И есть подход, базирующийся на метаданных и generic-структурах БД. Декларативно описывается, как должна обрабатываться входная структура, чем она является - измерением, фактом или чем-то еще, и далее генеративно порождается логика укладки этой структуры в заранее смоделированные структуры целевого ХД. да, это перспективный подход. IMHO DTS нацелен на эти задачи. Насколько это получается - другой вопрос. И то что эти технологии "лежат рядом" с MDM, ESB, SOA всякими оркестровками процессов ит.д. ЗЫ. Короче, если на перспективу, то "сыро всё это". Похоже на булькающий бульон из технологий от КИС с АРМ до MDM c SOA. А практичное решение зависит, ну от Очень многих факторов (чтобы хотя бы ну лет 5 не переписывать). ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2008, 10:59 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
ГликогенОК, так откуда все-таки ведут ссылки на Sybase? :) так сказал же... с solonde. Хотел TransformOnDemand обновить. ГликогенЕсть ETL классической архитектуры и их подвид - ELT. В них потоки данных описываются "визуальным хардкодом", т.е. грубо говоря, для каждой входной таблицы - свой маппинг. Если таблиц - тысяча - то и маппингов - тысяча. INFA, BODI, Talend, Solonde, ODI - все современные ETL короче. И есть подход, базирующийся на метаданных и generic-структурах БД. Декларативно описывается, как должна обрабатываться входная структура, чем она является - измерением, фактом или чем-то еще, и далее генеративно порождается логика укладки этой структуры в заранее смоделированные структуры целевого ХД. Знаете такой ETL? ODI так позиционируется, но это только маркетинг. По-моему, тут очевидно, что тренд, а что скоро умрет. я это прекрасно понимаю. Вопрос был кто продукт записал в тренды. Тем более понимаю, что описанный второй подход не более чем профанация. Как разработчик просто подумайте, прикиньте варианты реализации и поймете, что это вырожденный первый. В котором маппинг просто заменяется "подходящим" чтением. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2008, 11:59 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
OFF. Гликоген, вы достаточно работаете с Kalido. Насколько быстро и легко привыкли к интерфейсу в стиле "аля iPhone"? я имею ввиду провел мышкой слева на право = класс, справа налево = транзакция и т.д.... и при этом полное отсутствие подсказок. Приживается быстро? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2008, 13:04 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
iscrafmOFF. Гликоген, вы достаточно работаете с Kalido. Насколько быстро и легко привыкли к интерфейсу в стиле "аля iPhone"? я имею ввиду провел мышкой слева на право = класс, справа налево = транзакция и т.д.... и при этом полное отсутствие подсказок. Приживается быстро? Это Modeler. Суть не в нем, а в движке ХД, который загрузить неоткуда. Знаю только одного человека, щупавшего движок, в России. О трендах. Я не записывал Kalido в тренды. Я описал 2 наиболее продуктивных подхода на сегодня. Кстати, вспомнил еще третий - Coordinate DataBase, производитель - Illuminate. . Чтобы декларативный подход к ХД стал трендом, нужно дождаться какого-нибудь стартапа, который либо напишет свой ETL на этой основе, либо как-то встроит это в любой ETL-инструмент из грандов. Потом его должны купить гранды же. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2008, 14:35 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
ГликогенКстати, вспомнил еще третий - Coordinate DataBase, производитель - Illuminate. . бегло просмотрел. Во время просмотра не покидало ощущение, что читаю описание навиженовского SIFT в другой интерпретации. Нужно разобраться на досуге подробней. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2008, 14:59 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Гликоген Я описал 2 наиболее продуктивных подхода на сегодня. Кстати, вспомнил еще третий - Coordinate DataBase, производитель - Illuminate. . не видно 3-го подхода (мало ли кто что прокричал). То что, позволяет без индексов добавлять новые данные, да ещё и нормализованные - утопия. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2008, 15:01 |
|
|
start [/forum/topic.php?fid=33&startmsg=35641295&tid=1548651]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
187ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
56ms |
get tp. blocked users: |
1ms |
others: | 11ms |
total: | 298ms |
0 / 0 |