powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / отчёт включающий данные из разных систем
25 сообщений из 62, страница 1 из 3
отчёт включающий данные из разных систем
    #35637130
Бор_ИС
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Есть множество систем. Порядка 20, руководство предприятия требует отчёты, данные для которых берутся из всех этих систем т.е. сидит несколько человек делает выгрузку из одной системы, затем из другой, потом это всё слепляет, снова обрабатывает. И потом этот отчёт подаётся руководителю. Отчёты разные, иногда меняются. Есть отчёты которые нужно делать каждый день, есть которые каждый месяц. Данных несколько терабайт.
Есть идея выгружать данные из всех систем в xml, затем запихивать это всё в одну СУБД и потом уже просто остаётся правильно написать запрос.
Есть ещё как-нибудь идеи как это можно делать быстро?
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35637186
Фотография webus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Бор_ИС, у меня реализована такая же система. Совершенно верно. Данные из нескольких ИС/БД я собираю в отдельную БД. Предварительно эти данные проходят через сервер приложений, где приобретают нужный вид и потом уже заносятся в общую БД. Потом уже можно строить отчеты в разных разрезах для руководства. Главное сразу верно определить структуру этой Общей БД.
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35637377
Бор_ИС
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
А есть какинбудь документация? Диаграмки такм всяике?
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35637574
AlexKB
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Бор_ИСЕсть множество систем. Порядка 20, руководство предприятия требует отчёты, данные для которых берутся из всех этих систем т.е. сидит несколько человек делает выгрузку из одной системы, затем из другой, потом это всё слепляет, снова обрабатывает. И потом этот отчёт подаётся руководителю. Отчёты разные, иногда меняются. Есть отчёты которые нужно делать каждый день, есть которые каждый месяц. Данных несколько терабайт.
Есть идея выгружать данные из всех систем в xml, затем запихивать это всё в одну СУБД и потом уже просто остаётся правильно написать запрос.
Есть ещё как-нибудь идеи как это можно делать быстро?

http://www.intersystems.ru/ensemble/index.html
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35637706
Фотография webus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Бор_ИСА есть какинбудь документация? Диаграмки такм всяике?

У меня никаких диаграмок нет. С обоими системами я работал на более низком уровне. С одной шел обмен по XML, который парсился на сервере приложений и заносился в определенные таблицы на главной БД. Со второй шло соединение с MSSQL сервером (основная БД у меня на PostgreSQL). В итоге анализировались данные из PostgreSQL и MSSQL, недостающие подгружались из XML и разница опять же пихалась в PostgreSQL. Так что тут дело все в задаче. Как вы реализуете.
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35637773
V.Sopkin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Бор_ИСЕсть множество систем. Порядка 20, руководство предприятия требует отчёты, данные для которых берутся из всех этих систем ...
Мы что-то подобное сейчас отлаживаем. Это мы называем системой для руководителей. Если есть интерес, то можно скачать презентацию с http://www.vazs.ru/index.php?module=subjects&func=viewpage&pageid=23
Нужны будут пояснения - пишите (адрес в профиле или в презентации).
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35637978
Bely
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Бор_ИСДанных несколько терабайт.
Есть идея выгружать данные из всех систем в xml, затем запихивать это всё в одну СУБД и потом уже просто остаётся правильно написать запрос.У меня как-то не вяжется это...
несколько терабайт запихать в XML...
Вы хорошо подумали?

Бор_ИСЕсть ещё как-нибудь идеи как это можно делать быстро?Почитайте про OLAP и Data Warehousing.
Есть подозрение, что вы пытаетесь изобрести именно этот велосипед.
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35638973
Бор_ИС
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Bely
У меня как-то не вяжется это...
несколько терабайт запихать в XML...
Вы хорошо подумали?

да :)

[quot]
Почитайте про OLAP и Data Warehousing.
[/quot]
читал
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35638982
Бор_ИС
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
AlexKB
http://www.intersystems.ru/ensemble/index.html
Этот вариант тоже рассматривается, но есть ряд проблем.

V.Sopkin
Мы что-то подобное сейчас отлаживаем. Это мы называем системой для руководителей. Если есть интерес, то можно скачать презентацию с http://www.vazs.ru/index.php?module=subjects&func=viewpage&pageid=23
Нужны будут пояснения - пишите (адрес в профиле или в презентации).

Внешне выглядит не плохо, что то подобное и нужно. Покажу руководству.
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35639214
_мод
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Бор_ИСЕсть множество систем. Порядка 20
Решение зависит от используемых СУБД.
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35639433
Shoora
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
_модБор_ИСЕсть множество систем. Порядка 20
Решение зависит от используемых СУБД.

Решение зависит от очень многих факторов. Объемы данных не так влияют, как их качество, аналитики, размерности. Раз решили использовать XML, то подозреваю, что там вполне типичный зоопарк систем. Типовой набор задач : интеграция, транзакционное хранилище, логика агрегации, олап-хранилище, система отчетности. Все должно работать в одних терминах, значит метаданные в той или иной форме, справочники. Это только основные технические проблемы. Их решение зависит от существующей инфраструктуры, организационных и финансовых проблем, текущего состояния, отношения к IT руководства, общего положения на предприятии, географии, перспектив развития, взаимоотношений с конкретными вендорами, наличием нужных специалистов и т.д. и т.п.
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35639525
Shoora
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Бор_ИСЕсть множество систем. Порядка 20, руководство предприятия требует отчёты, данные для которых берутся из всех этих систем т.е. сидит несколько человек делает выгрузку из одной системы, затем из другой, потом это всё слепляет, снова обрабатывает. И потом этот отчёт подаётся руководителю. Отчёты разные, иногда меняются. Есть отчёты которые нужно делать каждый день, есть которые каждый месяц. Данных несколько терабайт.
Есть идея выгружать данные из всех систем в xml, затем запихивать это всё в одну СУБД и потом уже просто остаётся правильно написать запрос.
Есть ещё как-нибудь идеи как это можно делать быстро?

Насчет сделать быстро и отностительно малой кровью.
1. Опишите и зафиксируйте интерфейс выгрузки (формат XML, csv, web-service... - по вашему усмотрению).
2. Выгружайте только агрегаты. В аналитических отчетах терабайты не нужны. Они могут понадобится для статистических и итсторических отчетов, но тогда надо строить полноценное транзакционное хранилище.
3. Заведите справочники для всех аналитик, желательно с историчностью, но это гораздо сложнее. Приводите данные измерений к этим справочникам в момент выгрузки.
4. Разработайте аналитическое хранилище.
5. Разрабатывайте отчеты на промышленной платформе (MS Reports, BusinessObjects, Crystal, Oracle Reports... ). Если что-то уже не используете, конечно, стоит купить...

Делайте все, ориентируясь на план развития ИТ в компании.
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35639690
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Shoora5. Разрабатывайте отчеты на промышленной платформе (MS Reports, BusinessObjects, Crystal, Oracle Reports... ). Если что-то уже не используете, конечно, стоит купить...

промышленная это та которая промышляет? А если для формирования отчетности не используется MS Reports, то отчетность получается некорректная? А если не купить Oracle Reports, то о какой интеграции вообще может идти речь.
Иногда такие советы прочитаешь...
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35639778
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Shoora
Насчет сделать быстро и отностительно малой кровью.
1. Опишите и зафиксируйте интерфейс выгрузки (формат XML, csv, web-service... - по вашему усмотрению).
2. Выгружайте только агрегаты...
3. Заведите справочники для всех аналитик.... Приводите данные измерений к этим справочникам в момент выгрузки.
4. Разработайте аналитическое хранилище.

+1
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35639806
Shoora
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
iscrafmShoora5. Разрабатывайте отчеты на промышленной платформе (MS Reports, BusinessObjects, Crystal, Oracle Reports... ). Если что-то уже не используете, конечно, стоит купить...

промышленная это та которая промышляет? А если для формирования отчетности не используется MS Reports, то отчетность получается некорректная? А если не купить Oracle Reports, то о какой интеграции вообще может идти речь.
Иногда такие советы прочитаешь...

Вот именно, совет. Следовать ему или нет - личное дело каждого. Я высказал свое мнение, которое основано на личном опыте работы в одной очень немаленькой корпорации, где количество интегрированных систем несколько больше 20. А написал криво - признаю. Читать так:

5. Разрабатывайте отчеты на промышленной платформе (MS Reports, BusinessObjects, Crystal, Oracle Reports... ). Если что-то уже не используете, конечно. На мой взгляд, стоит купить...

Нормальная система аналитической отчетности экономит кучу времени всем участникам процесса.
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35639859
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Shoora,
мой вопрос состоял в том, что такое промышленная платформа. Это платформа которая промышляет, платформа для промышленности или что?
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35639961
Shoora
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
iscrafmShoora,
мой вопрос состоял в том, что такое промышленная платформа. Это платформа которая промышляет, платформа для промышленности или что?

Это устоявшийся термин, означающий стабильный продукт с заявленной стратегией развития, большой историей внедрений, обычно от известного производителя. Создан занять определенную нишу в IT-инфраструктуре предприятия. Обычно к нему прилагается сложившийся рынок специалистов.
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35639988
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Shoora,

понятно. Почему тогда в приведенном списке большая часть продуктов с нарушенной стратегией развития, проданные-перепроданные, затормозившиеся и т.п.? Стабильный - сильно сказано.
ладно, все понятно.
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35640244
iscrafmShoora,

понятно. Почему тогда в приведенном списке большая часть продуктов с нарушенной стратегией развития, проданные-перепроданные, затормозившиеся и т.п.? Стабильный - сильно сказано.
ладно, все понятно.

Ну и славно :)
Продукты из списка вполне живы и развиваются в известных направлениях. У меня не было цели выложить все, что я знаю о системах аналитической отчетности и давать советы по выбору платформы BI - это забота конкретного IT-директора конкретной конторы.
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35640246
_мод
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Shoora_модБор_ИСЕсть множество систем. Порядка 20
Решение зависит от используемых СУБД.
Решение зависит от очень многих факторов.
Например в случае оракла я просто связал бы все БД в одну виртуальную без всякого импорта-экпорта.
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35640402
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Титов АлександрПродукты из списка вполне живы и развиваются в известных направлениях.
шикарная характеристика :)
p.s. Вы перелогинились?
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35640541
Shoora
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
iscrafmТитов АлександрПродукты из списка вполне живы и развиваются в известных направлениях.
шикарная характеристика :)
p.s. Вы перелогинились?

Про характеристики - ну не скажешь в двух словах о нежных отошениях SAP, Oracle, IBM, Microsoft и их поглощения. Хотите поговорить про преимущества той или иной BI платформы? Я не хочу - слишком обширная тема, к тому же оффтопик. В компании, где я работаю основным средством аналитической отчетности давно был выбран BO (до покупки САПом). Поскольку основной платформой приложений является SAP, можно сказать, что наши стратеги не зря получают зарплату - угадали.

p.s.->p.s. Ну, так получилось :)
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35641125
Велик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
iscrafmShoora
Насчет сделать быстро и отностительно малой кровью.
1. Опишите и зафиксируйте интерфейс выгрузки (формат XML, csv, web-service... - по вашему усмотрению).
2. Выгружайте только агрегаты...
3. Заведите справочники для всех аналитик.... Приводите данные измерений к этим справочникам в момент выгрузки.
4. Разработайте аналитическое хранилище.

+1
Ещё пол шага вручную и будет OLAP?
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35641242
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Shoora
Про характеристики - ну не скажешь в двух словах о нежных отошениях SAP, Oracle, IBM, Microsoft и их поглощения. Хотите поговорить про преимущества той или иной BI платформы? Я не хочу - слишком обширная тема, к тому же оффтопик.
не хочу Александр. Они все на поверхности, думаю любой специалист разберется и без этого обсуждения. Меня интересовало только мнение по поводу того, что сейчас принято считать промышленной платформой.
Все ок.
...
Рейтинг: 0 / 0
отчёт включающий данные из разных систем
    #35641247
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ВеликiscrafmShoora
Насчет сделать быстро и отностительно малой кровью.
1. Опишите и зафиксируйте интерфейс выгрузки (формат XML, csv, web-service... - по вашему усмотрению).
2. Выгружайте только агрегаты...
3. Заведите справочники для всех аналитик.... Приводите данные измерений к этим справочникам в момент выгрузки.
4. Разработайте аналитическое хранилище.

+1
Ещё пол шага вручную и будет OLAP?
хотите сказать, что так называемые "OLAP продукты" делают все перечисленное автоматически? (цитату специально оставил).
...
Рейтинг: 0 / 0
25 сообщений из 62, страница 1 из 3
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / отчёт включающий данные из разных систем
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]