|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Есть множество систем. Порядка 20, руководство предприятия требует отчёты, данные для которых берутся из всех этих систем т.е. сидит несколько человек делает выгрузку из одной системы, затем из другой, потом это всё слепляет, снова обрабатывает. И потом этот отчёт подаётся руководителю. Отчёты разные, иногда меняются. Есть отчёты которые нужно делать каждый день, есть которые каждый месяц. Данных несколько терабайт. Есть идея выгружать данные из всех систем в xml, затем запихивать это всё в одну СУБД и потом уже просто остаётся правильно написать запрос. Есть ещё как-нибудь идеи как это можно делать быстро? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2008, 12:07 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Бор_ИС, у меня реализована такая же система. Совершенно верно. Данные из нескольких ИС/БД я собираю в отдельную БД. Предварительно эти данные проходят через сервер приложений, где приобретают нужный вид и потом уже заносятся в общую БД. Потом уже можно строить отчеты в разных разрезах для руководства. Главное сразу верно определить структуру этой Общей БД. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2008, 12:22 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
А есть какинбудь документация? Диаграмки такм всяике? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2008, 13:16 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Бор_ИСЕсть множество систем. Порядка 20, руководство предприятия требует отчёты, данные для которых берутся из всех этих систем т.е. сидит несколько человек делает выгрузку из одной системы, затем из другой, потом это всё слепляет, снова обрабатывает. И потом этот отчёт подаётся руководителю. Отчёты разные, иногда меняются. Есть отчёты которые нужно делать каждый день, есть которые каждый месяц. Данных несколько терабайт. Есть идея выгружать данные из всех систем в xml, затем запихивать это всё в одну СУБД и потом уже просто остаётся правильно написать запрос. Есть ещё как-нибудь идеи как это можно делать быстро? http://www.intersystems.ru/ensemble/index.html ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2008, 14:01 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Бор_ИСА есть какинбудь документация? Диаграмки такм всяике? У меня никаких диаграмок нет. С обоими системами я работал на более низком уровне. С одной шел обмен по XML, который парсился на сервере приложений и заносился в определенные таблицы на главной БД. Со второй шло соединение с MSSQL сервером (основная БД у меня на PostgreSQL). В итоге анализировались данные из PostgreSQL и MSSQL, недостающие подгружались из XML и разница опять же пихалась в PostgreSQL. Так что тут дело все в задаче. Как вы реализуете. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2008, 14:35 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Бор_ИСЕсть множество систем. Порядка 20, руководство предприятия требует отчёты, данные для которых берутся из всех этих систем ... Мы что-то подобное сейчас отлаживаем. Это мы называем системой для руководителей. Если есть интерес, то можно скачать презентацию с http://www.vazs.ru/index.php?module=subjects&func=viewpage&pageid=23 Нужны будут пояснения - пишите (адрес в профиле или в презентации). ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2008, 15:00 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Бор_ИСДанных несколько терабайт. Есть идея выгружать данные из всех систем в xml, затем запихивать это всё в одну СУБД и потом уже просто остаётся правильно написать запрос.У меня как-то не вяжется это... несколько терабайт запихать в XML... Вы хорошо подумали? Бор_ИСЕсть ещё как-нибудь идеи как это можно делать быстро?Почитайте про OLAP и Data Warehousing. Есть подозрение, что вы пытаетесь изобрести именно этот велосипед. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2008, 15:53 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Bely У меня как-то не вяжется это... несколько терабайт запихать в XML... Вы хорошо подумали? да :) [quot] Почитайте про OLAP и Data Warehousing. [/quot] читал ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 04:43 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
AlexKB http://www.intersystems.ru/ensemble/index.html Этот вариант тоже рассматривается, но есть ряд проблем. V.Sopkin Мы что-то подобное сейчас отлаживаем. Это мы называем системой для руководителей. Если есть интерес, то можно скачать презентацию с http://www.vazs.ru/index.php?module=subjects&func=viewpage&pageid=23 Нужны будут пояснения - пишите (адрес в профиле или в презентации). Внешне выглядит не плохо, что то подобное и нужно. Покажу руководству. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 05:41 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Бор_ИСЕсть множество систем. Порядка 20 Решение зависит от используемых СУБД. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 10:01 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
_модБор_ИСЕсть множество систем. Порядка 20 Решение зависит от используемых СУБД. Решение зависит от очень многих факторов. Объемы данных не так влияют, как их качество, аналитики, размерности. Раз решили использовать XML, то подозреваю, что там вполне типичный зоопарк систем. Типовой набор задач : интеграция, транзакционное хранилище, логика агрегации, олап-хранилище, система отчетности. Все должно работать в одних терминах, значит метаданные в той или иной форме, справочники. Это только основные технические проблемы. Их решение зависит от существующей инфраструктуры, организационных и финансовых проблем, текущего состояния, отношения к IT руководства, общего положения на предприятии, географии, перспектив развития, взаимоотношений с конкретными вендорами, наличием нужных специалистов и т.д. и т.п. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 11:03 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Бор_ИСЕсть множество систем. Порядка 20, руководство предприятия требует отчёты, данные для которых берутся из всех этих систем т.е. сидит несколько человек делает выгрузку из одной системы, затем из другой, потом это всё слепляет, снова обрабатывает. И потом этот отчёт подаётся руководителю. Отчёты разные, иногда меняются. Есть отчёты которые нужно делать каждый день, есть которые каждый месяц. Данных несколько терабайт. Есть идея выгружать данные из всех систем в xml, затем запихивать это всё в одну СУБД и потом уже просто остаётся правильно написать запрос. Есть ещё как-нибудь идеи как это можно делать быстро? Насчет сделать быстро и отностительно малой кровью. 1. Опишите и зафиксируйте интерфейс выгрузки (формат XML, csv, web-service... - по вашему усмотрению). 2. Выгружайте только агрегаты. В аналитических отчетах терабайты не нужны. Они могут понадобится для статистических и итсторических отчетов, но тогда надо строить полноценное транзакционное хранилище. 3. Заведите справочники для всех аналитик, желательно с историчностью, но это гораздо сложнее. Приводите данные измерений к этим справочникам в момент выгрузки. 4. Разработайте аналитическое хранилище. 5. Разрабатывайте отчеты на промышленной платформе (MS Reports, BusinessObjects, Crystal, Oracle Reports... ). Если что-то уже не используете, конечно, стоит купить... Делайте все, ориентируясь на план развития ИТ в компании. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 11:27 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Shoora5. Разрабатывайте отчеты на промышленной платформе (MS Reports, BusinessObjects, Crystal, Oracle Reports... ). Если что-то уже не используете, конечно, стоит купить... промышленная это та которая промышляет? А если для формирования отчетности не используется MS Reports, то отчетность получается некорректная? А если не купить Oracle Reports, то о какой интеграции вообще может идти речь. Иногда такие советы прочитаешь... ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 12:16 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Shoora Насчет сделать быстро и отностительно малой кровью. 1. Опишите и зафиксируйте интерфейс выгрузки (формат XML, csv, web-service... - по вашему усмотрению). 2. Выгружайте только агрегаты... 3. Заведите справочники для всех аналитик.... Приводите данные измерений к этим справочникам в момент выгрузки. 4. Разработайте аналитическое хранилище. +1 ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 12:41 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
iscrafmShoora5. Разрабатывайте отчеты на промышленной платформе (MS Reports, BusinessObjects, Crystal, Oracle Reports... ). Если что-то уже не используете, конечно, стоит купить... промышленная это та которая промышляет? А если для формирования отчетности не используется MS Reports, то отчетность получается некорректная? А если не купить Oracle Reports, то о какой интеграции вообще может идти речь. Иногда такие советы прочитаешь... Вот именно, совет. Следовать ему или нет - личное дело каждого. Я высказал свое мнение, которое основано на личном опыте работы в одной очень немаленькой корпорации, где количество интегрированных систем несколько больше 20. А написал криво - признаю. Читать так: 5. Разрабатывайте отчеты на промышленной платформе (MS Reports, BusinessObjects, Crystal, Oracle Reports... ). Если что-то уже не используете, конечно. На мой взгляд, стоит купить... Нормальная система аналитической отчетности экономит кучу времени всем участникам процесса. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 12:48 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Shoora, мой вопрос состоял в том, что такое промышленная платформа. Это платформа которая промышляет, платформа для промышленности или что? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 13:04 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
iscrafmShoora, мой вопрос состоял в том, что такое промышленная платформа. Это платформа которая промышляет, платформа для промышленности или что? Это устоявшийся термин, означающий стабильный продукт с заявленной стратегией развития, большой историей внедрений, обычно от известного производителя. Создан занять определенную нишу в IT-инфраструктуре предприятия. Обычно к нему прилагается сложившийся рынок специалистов. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 13:32 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Shoora, понятно. Почему тогда в приведенном списке большая часть продуктов с нарушенной стратегией развития, проданные-перепроданные, затормозившиеся и т.п.? Стабильный - сильно сказано. ладно, все понятно. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 13:39 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
iscrafmShoora, понятно. Почему тогда в приведенном списке большая часть продуктов с нарушенной стратегией развития, проданные-перепроданные, затормозившиеся и т.п.? Стабильный - сильно сказано. ладно, все понятно. Ну и славно :) Продукты из списка вполне живы и развиваются в известных направлениях. У меня не было цели выложить все, что я знаю о системах аналитической отчетности и давать советы по выбору платформы BI - это забота конкретного IT-директора конкретной конторы. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 14:49 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Shoora_модБор_ИСЕсть множество систем. Порядка 20 Решение зависит от используемых СУБД. Решение зависит от очень многих факторов. Например в случае оракла я просто связал бы все БД в одну виртуальную без всякого импорта-экпорта. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 14:50 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Титов АлександрПродукты из списка вполне живы и развиваются в известных направлениях. шикарная характеристика :) p.s. Вы перелогинились? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 15:45 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
iscrafmТитов АлександрПродукты из списка вполне живы и развиваются в известных направлениях. шикарная характеристика :) p.s. Вы перелогинились? Про характеристики - ну не скажешь в двух словах о нежных отошениях SAP, Oracle, IBM, Microsoft и их поглощения. Хотите поговорить про преимущества той или иной BI платформы? Я не хочу - слишком обширная тема, к тому же оффтопик. В компании, где я работаю основным средством аналитической отчетности давно был выбран BO (до покупки САПом). Поскольку основной платформой приложений является SAP, можно сказать, что наши стратеги не зря получают зарплату - угадали. p.s.->p.s. Ну, так получилось :) ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 16:18 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
iscrafmShoora Насчет сделать быстро и отностительно малой кровью. 1. Опишите и зафиксируйте интерфейс выгрузки (формат XML, csv, web-service... - по вашему усмотрению). 2. Выгружайте только агрегаты... 3. Заведите справочники для всех аналитик.... Приводите данные измерений к этим справочникам в момент выгрузки. 4. Разработайте аналитическое хранилище. +1 Ещё пол шага вручную и будет OLAP? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 21:04 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
Shoora Про характеристики - ну не скажешь в двух словах о нежных отошениях SAP, Oracle, IBM, Microsoft и их поглощения. Хотите поговорить про преимущества той или иной BI платформы? Я не хочу - слишком обширная тема, к тому же оффтопик. не хочу Александр. Они все на поверхности, думаю любой специалист разберется и без этого обсуждения. Меня интересовало только мнение по поводу того, что сейчас принято считать промышленной платформой. Все ок. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 22:22 |
|
отчёт включающий данные из разных систем
|
|||
---|---|---|---|
#18+
ВеликiscrafmShoora Насчет сделать быстро и отностительно малой кровью. 1. Опишите и зафиксируйте интерфейс выгрузки (формат XML, csv, web-service... - по вашему усмотрению). 2. Выгружайте только агрегаты... 3. Заведите справочники для всех аналитик.... Приводите данные измерений к этим справочникам в момент выгрузки. 4. Разработайте аналитическое хранилище. +1 Ещё пол шага вручную и будет OLAP? хотите сказать, что так называемые "OLAP продукты" делают все перечисленное автоматически? (цитату специально оставил). ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2008, 22:25 |
|
|
start [/forum/topic.php?fid=33&msg=35640244&tid=1548651]: |
0ms |
get settings: |
8ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
146ms |
get topic data: |
8ms |
get forum data: |
3ms |
get page messages: |
58ms |
get tp. blocked users: |
1ms |
others: | 13ms |
total: | 258ms |
0 / 0 |