Гость
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / отчёт включающий данные из разных систем / 25 сообщений из 62, страница 1 из 3
06.11.2008, 12:07
    #35637130
Бор_ИС
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
Есть множество систем. Порядка 20, руководство предприятия требует отчёты, данные для которых берутся из всех этих систем т.е. сидит несколько человек делает выгрузку из одной системы, затем из другой, потом это всё слепляет, снова обрабатывает. И потом этот отчёт подаётся руководителю. Отчёты разные, иногда меняются. Есть отчёты которые нужно делать каждый день, есть которые каждый месяц. Данных несколько терабайт.
Есть идея выгружать данные из всех систем в xml, затем запихивать это всё в одну СУБД и потом уже просто остаётся правильно написать запрос.
Есть ещё как-нибудь идеи как это можно делать быстро?
...
Рейтинг: 0 / 0
06.11.2008, 12:22
    #35637186
webus
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
Бор_ИС, у меня реализована такая же система. Совершенно верно. Данные из нескольких ИС/БД я собираю в отдельную БД. Предварительно эти данные проходят через сервер приложений, где приобретают нужный вид и потом уже заносятся в общую БД. Потом уже можно строить отчеты в разных разрезах для руководства. Главное сразу верно определить структуру этой Общей БД.
...
Рейтинг: 0 / 0
06.11.2008, 13:16
    #35637377
Бор_ИС
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
А есть какинбудь документация? Диаграмки такм всяике?
...
Рейтинг: 0 / 0
06.11.2008, 14:01
    #35637574
AlexKB
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
Бор_ИСЕсть множество систем. Порядка 20, руководство предприятия требует отчёты, данные для которых берутся из всех этих систем т.е. сидит несколько человек делает выгрузку из одной системы, затем из другой, потом это всё слепляет, снова обрабатывает. И потом этот отчёт подаётся руководителю. Отчёты разные, иногда меняются. Есть отчёты которые нужно делать каждый день, есть которые каждый месяц. Данных несколько терабайт.
Есть идея выгружать данные из всех систем в xml, затем запихивать это всё в одну СУБД и потом уже просто остаётся правильно написать запрос.
Есть ещё как-нибудь идеи как это можно делать быстро?

http://www.intersystems.ru/ensemble/index.html
...
Рейтинг: 0 / 0
06.11.2008, 14:35
    #35637706
webus
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
Бор_ИСА есть какинбудь документация? Диаграмки такм всяике?

У меня никаких диаграмок нет. С обоими системами я работал на более низком уровне. С одной шел обмен по XML, который парсился на сервере приложений и заносился в определенные таблицы на главной БД. Со второй шло соединение с MSSQL сервером (основная БД у меня на PostgreSQL). В итоге анализировались данные из PostgreSQL и MSSQL, недостающие подгружались из XML и разница опять же пихалась в PostgreSQL. Так что тут дело все в задаче. Как вы реализуете.
...
Рейтинг: 0 / 0
06.11.2008, 15:00
    #35637773
V.Sopkin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
Бор_ИСЕсть множество систем. Порядка 20, руководство предприятия требует отчёты, данные для которых берутся из всех этих систем ...
Мы что-то подобное сейчас отлаживаем. Это мы называем системой для руководителей. Если есть интерес, то можно скачать презентацию с http://www.vazs.ru/index.php?module=subjects&func=viewpage&pageid=23
Нужны будут пояснения - пишите (адрес в профиле или в презентации).
...
Рейтинг: 0 / 0
06.11.2008, 15:53
    #35637978
Bely
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
Бор_ИСДанных несколько терабайт.
Есть идея выгружать данные из всех систем в xml, затем запихивать это всё в одну СУБД и потом уже просто остаётся правильно написать запрос.У меня как-то не вяжется это...
несколько терабайт запихать в XML...
Вы хорошо подумали?

Бор_ИСЕсть ещё как-нибудь идеи как это можно делать быстро?Почитайте про OLAP и Data Warehousing.
Есть подозрение, что вы пытаетесь изобрести именно этот велосипед.
...
Рейтинг: 0 / 0
07.11.2008, 04:43
    #35638973
Бор_ИС
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
Bely
У меня как-то не вяжется это...
несколько терабайт запихать в XML...
Вы хорошо подумали?

да :)

[quot]
Почитайте про OLAP и Data Warehousing.
[/quot]
читал
...
Рейтинг: 0 / 0
07.11.2008, 05:41
    #35638982
Бор_ИС
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
AlexKB
http://www.intersystems.ru/ensemble/index.html
Этот вариант тоже рассматривается, но есть ряд проблем.

V.Sopkin
Мы что-то подобное сейчас отлаживаем. Это мы называем системой для руководителей. Если есть интерес, то можно скачать презентацию с http://www.vazs.ru/index.php?module=subjects&func=viewpage&pageid=23
Нужны будут пояснения - пишите (адрес в профиле или в презентации).

Внешне выглядит не плохо, что то подобное и нужно. Покажу руководству.
...
Рейтинг: 0 / 0
07.11.2008, 10:01
    #35639214
_мод
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
Бор_ИСЕсть множество систем. Порядка 20
Решение зависит от используемых СУБД.
...
Рейтинг: 0 / 0
07.11.2008, 11:03
    #35639433
Shoora
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
_модБор_ИСЕсть множество систем. Порядка 20
Решение зависит от используемых СУБД.

Решение зависит от очень многих факторов. Объемы данных не так влияют, как их качество, аналитики, размерности. Раз решили использовать XML, то подозреваю, что там вполне типичный зоопарк систем. Типовой набор задач : интеграция, транзакционное хранилище, логика агрегации, олап-хранилище, система отчетности. Все должно работать в одних терминах, значит метаданные в той или иной форме, справочники. Это только основные технические проблемы. Их решение зависит от существующей инфраструктуры, организационных и финансовых проблем, текущего состояния, отношения к IT руководства, общего положения на предприятии, географии, перспектив развития, взаимоотношений с конкретными вендорами, наличием нужных специалистов и т.д. и т.п.
...
Рейтинг: 0 / 0
07.11.2008, 11:27
    #35639525
Shoora
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
Бор_ИСЕсть множество систем. Порядка 20, руководство предприятия требует отчёты, данные для которых берутся из всех этих систем т.е. сидит несколько человек делает выгрузку из одной системы, затем из другой, потом это всё слепляет, снова обрабатывает. И потом этот отчёт подаётся руководителю. Отчёты разные, иногда меняются. Есть отчёты которые нужно делать каждый день, есть которые каждый месяц. Данных несколько терабайт.
Есть идея выгружать данные из всех систем в xml, затем запихивать это всё в одну СУБД и потом уже просто остаётся правильно написать запрос.
Есть ещё как-нибудь идеи как это можно делать быстро?

Насчет сделать быстро и отностительно малой кровью.
1. Опишите и зафиксируйте интерфейс выгрузки (формат XML, csv, web-service... - по вашему усмотрению).
2. Выгружайте только агрегаты. В аналитических отчетах терабайты не нужны. Они могут понадобится для статистических и итсторических отчетов, но тогда надо строить полноценное транзакционное хранилище.
3. Заведите справочники для всех аналитик, желательно с историчностью, но это гораздо сложнее. Приводите данные измерений к этим справочникам в момент выгрузки.
4. Разработайте аналитическое хранилище.
5. Разрабатывайте отчеты на промышленной платформе (MS Reports, BusinessObjects, Crystal, Oracle Reports... ). Если что-то уже не используете, конечно, стоит купить...

Делайте все, ориентируясь на план развития ИТ в компании.
...
Рейтинг: 0 / 0
07.11.2008, 12:16
    #35639690
iscrafm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
Shoora5. Разрабатывайте отчеты на промышленной платформе (MS Reports, BusinessObjects, Crystal, Oracle Reports... ). Если что-то уже не используете, конечно, стоит купить...

промышленная это та которая промышляет? А если для формирования отчетности не используется MS Reports, то отчетность получается некорректная? А если не купить Oracle Reports, то о какой интеграции вообще может идти речь.
Иногда такие советы прочитаешь...
...
Рейтинг: 0 / 0
07.11.2008, 12:41
    #35639778
iscrafm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
Shoora
Насчет сделать быстро и отностительно малой кровью.
1. Опишите и зафиксируйте интерфейс выгрузки (формат XML, csv, web-service... - по вашему усмотрению).
2. Выгружайте только агрегаты...
3. Заведите справочники для всех аналитик.... Приводите данные измерений к этим справочникам в момент выгрузки.
4. Разработайте аналитическое хранилище.

+1
...
Рейтинг: 0 / 0
07.11.2008, 12:48
    #35639806
Shoora
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
iscrafmShoora5. Разрабатывайте отчеты на промышленной платформе (MS Reports, BusinessObjects, Crystal, Oracle Reports... ). Если что-то уже не используете, конечно, стоит купить...

промышленная это та которая промышляет? А если для формирования отчетности не используется MS Reports, то отчетность получается некорректная? А если не купить Oracle Reports, то о какой интеграции вообще может идти речь.
Иногда такие советы прочитаешь...

Вот именно, совет. Следовать ему или нет - личное дело каждого. Я высказал свое мнение, которое основано на личном опыте работы в одной очень немаленькой корпорации, где количество интегрированных систем несколько больше 20. А написал криво - признаю. Читать так:

5. Разрабатывайте отчеты на промышленной платформе (MS Reports, BusinessObjects, Crystal, Oracle Reports... ). Если что-то уже не используете, конечно. На мой взгляд, стоит купить...

Нормальная система аналитической отчетности экономит кучу времени всем участникам процесса.
...
Рейтинг: 0 / 0
07.11.2008, 13:04
    #35639859
iscrafm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
Shoora,
мой вопрос состоял в том, что такое промышленная платформа. Это платформа которая промышляет, платформа для промышленности или что?
...
Рейтинг: 0 / 0
07.11.2008, 13:32
    #35639961
Shoora
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
iscrafmShoora,
мой вопрос состоял в том, что такое промышленная платформа. Это платформа которая промышляет, платформа для промышленности или что?

Это устоявшийся термин, означающий стабильный продукт с заявленной стратегией развития, большой историей внедрений, обычно от известного производителя. Создан занять определенную нишу в IT-инфраструктуре предприятия. Обычно к нему прилагается сложившийся рынок специалистов.
...
Рейтинг: 0 / 0
07.11.2008, 13:39
    #35639988
iscrafm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
Shoora,

понятно. Почему тогда в приведенном списке большая часть продуктов с нарушенной стратегией развития, проданные-перепроданные, затормозившиеся и т.п.? Стабильный - сильно сказано.
ладно, все понятно.
...
Рейтинг: 0 / 0
07.11.2008, 14:49
    #35640244
отчёт включающий данные из разных систем
iscrafmShoora,

понятно. Почему тогда в приведенном списке большая часть продуктов с нарушенной стратегией развития, проданные-перепроданные, затормозившиеся и т.п.? Стабильный - сильно сказано.
ладно, все понятно.

Ну и славно :)
Продукты из списка вполне живы и развиваются в известных направлениях. У меня не было цели выложить все, что я знаю о системах аналитической отчетности и давать советы по выбору платформы BI - это забота конкретного IT-директора конкретной конторы.
...
Рейтинг: 0 / 0
07.11.2008, 14:50
    #35640246
_мод
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
Shoora_модБор_ИСЕсть множество систем. Порядка 20
Решение зависит от используемых СУБД.
Решение зависит от очень многих факторов.
Например в случае оракла я просто связал бы все БД в одну виртуальную без всякого импорта-экпорта.
...
Рейтинг: 0 / 0
07.11.2008, 15:45
    #35640402
iscrafm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
Титов АлександрПродукты из списка вполне живы и развиваются в известных направлениях.
шикарная характеристика :)
p.s. Вы перелогинились?
...
Рейтинг: 0 / 0
07.11.2008, 16:18
    #35640541
Shoora
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
iscrafmТитов АлександрПродукты из списка вполне живы и развиваются в известных направлениях.
шикарная характеристика :)
p.s. Вы перелогинились?

Про характеристики - ну не скажешь в двух словах о нежных отошениях SAP, Oracle, IBM, Microsoft и их поглощения. Хотите поговорить про преимущества той или иной BI платформы? Я не хочу - слишком обширная тема, к тому же оффтопик. В компании, где я работаю основным средством аналитической отчетности давно был выбран BO (до покупки САПом). Поскольку основной платформой приложений является SAP, можно сказать, что наши стратеги не зря получают зарплату - угадали.

p.s.->p.s. Ну, так получилось :)
...
Рейтинг: 0 / 0
07.11.2008, 21:04
    #35641125
Велик
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
iscrafmShoora
Насчет сделать быстро и отностительно малой кровью.
1. Опишите и зафиксируйте интерфейс выгрузки (формат XML, csv, web-service... - по вашему усмотрению).
2. Выгружайте только агрегаты...
3. Заведите справочники для всех аналитик.... Приводите данные измерений к этим справочникам в момент выгрузки.
4. Разработайте аналитическое хранилище.

+1
Ещё пол шага вручную и будет OLAP?
...
Рейтинг: 0 / 0
07.11.2008, 22:22
    #35641242
iscrafm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
Shoora
Про характеристики - ну не скажешь в двух словах о нежных отошениях SAP, Oracle, IBM, Microsoft и их поглощения. Хотите поговорить про преимущества той или иной BI платформы? Я не хочу - слишком обширная тема, к тому же оффтопик.
не хочу Александр. Они все на поверхности, думаю любой специалист разберется и без этого обсуждения. Меня интересовало только мнение по поводу того, что сейчас принято считать промышленной платформой.
Все ок.
...
Рейтинг: 0 / 0
07.11.2008, 22:25
    #35641247
iscrafm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
отчёт включающий данные из разных систем
ВеликiscrafmShoora
Насчет сделать быстро и отностительно малой кровью.
1. Опишите и зафиксируйте интерфейс выгрузки (формат XML, csv, web-service... - по вашему усмотрению).
2. Выгружайте только агрегаты...
3. Заведите справочники для всех аналитик.... Приводите данные измерений к этим справочникам в момент выгрузки.
4. Разработайте аналитическое хранилище.

+1
Ещё пол шага вручную и будет OLAP?
хотите сказать, что так называемые "OLAP продукты" делают все перечисленное автоматически? (цитату специально оставил).
...
Рейтинг: 0 / 0
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / отчёт включающий данные из разных систем / 25 сообщений из 62, страница 1 из 3
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]