powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Техника работы с итоговыми данными
8 сообщений из 8, страница 1 из 1
Техника работы с итоговыми данными
    #33312985
Олег Щербина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Предлагаю обсудить как лучше работать с агрегированными данными
Какие я знаю варианты:
1. Не хранить промежуточные итоги при каждом запросе вычислять их.
2. Использовать средства с кешированием запросов например в Framework 2 появились веб-сервисы с кешированием запросов по времени обновлению таблицы БД.
3. Производить изменения в итоговых данных средствами тригеров.
4. Использовать OLAP кубы для получения итоговых данных (если получиться еще лучше real-time кубы)

Прошу обсудить тему.
...
Рейтинг: 0 / 0
Техника работы с итоговыми данными
    #33313129
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Все от задач зависит. Где то выгоднее рассчитывать на лету, где то лучше хранить в таблицах или материализованных представлениях (если они поддерживаются сервером конечно), причем в зависимости от задачи где то такие таблицы лучше вести через триггера, а где то будет выгоднее делать перерасчеты по расписанию. То же самое касается и кубов - где то можно кубами воспользоваться, а может быть легче поставить аналитический сервер, типа Sybase IQ, который являясь по внешнему виду обычной РСУБД, как раз на внутреннем уровне и заточен под выполнение аггрегированных запросов в допустимых пределах отзыва системы на больших обьемах данных.
...
Рейтинг: 0 / 0
Техника работы с итоговыми данными
    #33314002
MX -- ALEX
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Олег ЩербинаПредлагаю обсудить как лучше работать с агрегированными данными
Какие я знаю варианты:
1. Не хранить промежуточные итоги при каждом запросе вычислять их.
2. Использовать средства с кешированием запросов например в Framework 2 появились веб-сервисы с кешированием запросов по времени обновлению таблицы БД.
3. Производить изменения в итоговых данных средствами тригеров.
4. Использовать OLAP кубы для получения итоговых данных (если получиться еще лучше real-time кубы)

Прошу обсудить тему.
Или использовать EXCEL в качестве клиента.
При этом запросы к базе данных сидят в ячейках EXCEL.
В нужный момент активизируются и поступают на сервер,
а ответные таблицы влетают на подготовленные места
на этом же EXCEL-листе и сразу попадают под
действие обычных EXCEL-формул
- так появляются итоги и прочие диаграммы - навороты
Неважно на чем работает сервер и на чем язык запросов
В нашем варианте - на MUMPS - но это не догма - хотя удобно
-----------------------------
...
Рейтинг: 0 / 0
Техника работы с итоговыми данными
    #33314022
Олег Щербина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MX -- ALEX Олег ЩербинаПредлагаю обсудить как лучше работать с агрегированными данными
Какие я знаю варианты:
1. Не хранить промежуточные итоги при каждом запросе вычислять их.
2. Использовать средства с кешированием запросов например в Framework 2 появились веб-сервисы с кешированием запросов по времени обновлению таблицы БД.
3. Производить изменения в итоговых данных средствами тригеров.
4. Использовать OLAP кубы для получения итоговых данных (если получиться еще лучше real-time кубы)

Прошу обсудить тему.
Или использовать EXCEL в качестве клиента.
При этом запросы к базе данных сидят в ячейках EXCEL.
В нужный момент активизируются и поступают на сервер,
а ответные таблицы влетают на подготовленные места
на этом же EXCEL-листе и сразу попадают под
действие обычных EXCEL-формул
- так появляются итоги и прочие диаграммы - навороты
Неважно на чем работает сервер и на чем язык запросов
В нашем варианте - на MUMPS - но это не догма - хотя удобно
-----------------------------
Это не есть новый вариант - это вариант 1, потому что итоги вычисляются каждый раз.
...
Рейтинг: 0 / 0
Техника работы с итоговыми данными
    #33314166
MX -- ALEX
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Олег Щербина
4. Использовать OLAP кубы для получения итоговых данных (если получиться еще лучше real-time кубы)
-----------
Или использовать EXCEL в качестве клиента.
При этом запросы к базе данных сидят в ячейках EXCEL.
В нужный момент активизируются и поступают на сервер,
а ответные таблицы влетают на подготовленные места
на этом же EXCEL-листе и сразу попадают под
действие обычных EXCEL-формул
- так появляются итоги и прочие диаграммы - навороты
Неважно на чем работает сервер и на чем язык запросов
В нашем варианте - на MUMPS - но это не догма - хотя удобно
-----------------------------
Это не есть новый вариант - это вариант 1, потому что итоги вычисляются каждый раз.[/quot]

тогда и 4=1 ?
...
Рейтинг: 0 / 0
Техника работы с итоговыми данными
    #33314252
Олег Щербина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MX -- ALEX
тогда и 4=1 ?

OLAP куб - это совершенно другое хранилище данных и обновляется оно не автоматически (я например обновляю ежедневно по ночам).
Исключение - real-time кубы (которые я еще не разу не смог построить) которые обновляются автоматически при изменении источнника данных.

Если честно - то меня сейчас больше всего интересует именно этот вариант.
Если конкретнее я хочу переписать задачу оперативного учета с использованием итоговых данных из кубов OLAP (скорее всего ROLAP - c хранением итогов в таблице SQL). Объем данных небольшой , а для OLAP мизерный. Около 20 таблиц до 100 тыс.записей за 10 лет.
Пока я не решил как обновлять кубы.
1. Real-time кубы MS SQL 2000 имеют много органичений
2. Обновление по расписанию - это тупо. Ну например я ставлю полное обновление ночью, и каждые 5 минут - инкрементное обновление.
3. Обновлением куба по засечке момента обновления исходных данных.
...
Рейтинг: 0 / 0
Техника работы с итоговыми данными
    #33314262
Фотография Calm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторВсе от задач зависит.
Мне кажется, исчерпывающий ответ в контесте вопроса.
...
Рейтинг: 0 / 0
Техника работы с итоговыми данными
    #33314670
Олег Щербина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Calm авторВсе от задач зависит.
Мне кажется, исчерпывающий ответ в контесте вопроса.
Я это и сам знаю.
---
Холмс и Ватсон опускаются в тумане на воздушном шаре на поляну.
Видят человека.
Холмс: Уважаемый где мы находимся?
Человек:Вы находитесь в корзине воздушного шара, стоящей на поляне.
Холмс: Судя по точности и бесполезности ответа перед нами программист.
---
Сужаю область
Учетные задачи OLTP.
...
Рейтинг: 0 / 0
8 сообщений из 8, страница 1 из 1
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Техника работы с итоговыми данными
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]