|
Техника работы с итоговыми данными
|
|||
---|---|---|---|
#18+
Предлагаю обсудить как лучше работать с агрегированными данными Какие я знаю варианты: 1. Не хранить промежуточные итоги при каждом запросе вычислять их. 2. Использовать средства с кешированием запросов например в Framework 2 появились веб-сервисы с кешированием запросов по времени обновлению таблицы БД. 3. Производить изменения в итоговых данных средствами тригеров. 4. Использовать OLAP кубы для получения итоговых данных (если получиться еще лучше real-time кубы) Прошу обсудить тему. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.10.2005, 13:33 |
|
Техника работы с итоговыми данными
|
|||
---|---|---|---|
#18+
Все от задач зависит. Где то выгоднее рассчитывать на лету, где то лучше хранить в таблицах или материализованных представлениях (если они поддерживаются сервером конечно), причем в зависимости от задачи где то такие таблицы лучше вести через триггера, а где то будет выгоднее делать перерасчеты по расписанию. То же самое касается и кубов - где то можно кубами воспользоваться, а может быть легче поставить аналитический сервер, типа Sybase IQ, который являясь по внешнему виду обычной РСУБД, как раз на внутреннем уровне и заточен под выполнение аггрегированных запросов в допустимых пределах отзыва системы на больших обьемах данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.10.2005, 17:49 |
|
Техника работы с итоговыми данными
|
|||
---|---|---|---|
#18+
Олег ЩербинаПредлагаю обсудить как лучше работать с агрегированными данными Какие я знаю варианты: 1. Не хранить промежуточные итоги при каждом запросе вычислять их. 2. Использовать средства с кешированием запросов например в Framework 2 появились веб-сервисы с кешированием запросов по времени обновлению таблицы БД. 3. Производить изменения в итоговых данных средствами тригеров. 4. Использовать OLAP кубы для получения итоговых данных (если получиться еще лучше real-time кубы) Прошу обсудить тему. Или использовать EXCEL в качестве клиента. При этом запросы к базе данных сидят в ячейках EXCEL. В нужный момент активизируются и поступают на сервер, а ответные таблицы влетают на подготовленные места на этом же EXCEL-листе и сразу попадают под действие обычных EXCEL-формул - так появляются итоги и прочие диаграммы - навороты Неважно на чем работает сервер и на чем язык запросов В нашем варианте - на MUMPS - но это не догма - хотя удобно ----------------------------- ... |
|||
:
Нравится:
Не нравится:
|
|||
10.10.2005, 09:23 |
|
Техника работы с итоговыми данными
|
|||
---|---|---|---|
#18+
MX -- ALEX Олег ЩербинаПредлагаю обсудить как лучше работать с агрегированными данными Какие я знаю варианты: 1. Не хранить промежуточные итоги при каждом запросе вычислять их. 2. Использовать средства с кешированием запросов например в Framework 2 появились веб-сервисы с кешированием запросов по времени обновлению таблицы БД. 3. Производить изменения в итоговых данных средствами тригеров. 4. Использовать OLAP кубы для получения итоговых данных (если получиться еще лучше real-time кубы) Прошу обсудить тему. Или использовать EXCEL в качестве клиента. При этом запросы к базе данных сидят в ячейках EXCEL. В нужный момент активизируются и поступают на сервер, а ответные таблицы влетают на подготовленные места на этом же EXCEL-листе и сразу попадают под действие обычных EXCEL-формул - так появляются итоги и прочие диаграммы - навороты Неважно на чем работает сервер и на чем язык запросов В нашем варианте - на MUMPS - но это не догма - хотя удобно ----------------------------- Это не есть новый вариант - это вариант 1, потому что итоги вычисляются каждый раз. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.10.2005, 09:34 |
|
Техника работы с итоговыми данными
|
|||
---|---|---|---|
#18+
Олег Щербина 4. Использовать OLAP кубы для получения итоговых данных (если получиться еще лучше real-time кубы) ----------- Или использовать EXCEL в качестве клиента. При этом запросы к базе данных сидят в ячейках EXCEL. В нужный момент активизируются и поступают на сервер, а ответные таблицы влетают на подготовленные места на этом же EXCEL-листе и сразу попадают под действие обычных EXCEL-формул - так появляются итоги и прочие диаграммы - навороты Неважно на чем работает сервер и на чем язык запросов В нашем варианте - на MUMPS - но это не догма - хотя удобно ----------------------------- Это не есть новый вариант - это вариант 1, потому что итоги вычисляются каждый раз.[/quot] тогда и 4=1 ? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.10.2005, 10:30 |
|
Техника работы с итоговыми данными
|
|||
---|---|---|---|
#18+
MX -- ALEX тогда и 4=1 ? OLAP куб - это совершенно другое хранилище данных и обновляется оно не автоматически (я например обновляю ежедневно по ночам). Исключение - real-time кубы (которые я еще не разу не смог построить) которые обновляются автоматически при изменении источнника данных. Если честно - то меня сейчас больше всего интересует именно этот вариант. Если конкретнее я хочу переписать задачу оперативного учета с использованием итоговых данных из кубов OLAP (скорее всего ROLAP - c хранением итогов в таблице SQL). Объем данных небольшой , а для OLAP мизерный. Около 20 таблиц до 100 тыс.записей за 10 лет. Пока я не решил как обновлять кубы. 1. Real-time кубы MS SQL 2000 имеют много органичений 2. Обновление по расписанию - это тупо. Ну например я ставлю полное обновление ночью, и каждые 5 минут - инкрементное обновление. 3. Обновлением куба по засечке момента обновления исходных данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.10.2005, 10:57 |
|
Техника работы с итоговыми данными
|
|||
---|---|---|---|
#18+
авторВсе от задач зависит. Мне кажется, исчерпывающий ответ в контесте вопроса. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.10.2005, 10:59 |
|
Техника работы с итоговыми данными
|
|||
---|---|---|---|
#18+
Calm авторВсе от задач зависит. Мне кажется, исчерпывающий ответ в контесте вопроса. Я это и сам знаю. --- Холмс и Ватсон опускаются в тумане на воздушном шаре на поляну. Видят человека. Холмс: Уважаемый где мы находимся? Человек:Вы находитесь в корзине воздушного шара, стоящей на поляне. Холмс: Судя по точности и бесполезности ответа перед нами программист. --- Сужаю область Учетные задачи OLTP. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.10.2005, 12:33 |
|
|
start [/forum/topic.php?fid=33&msg=33313129&tid=1549548]: |
0ms |
get settings: |
11ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
185ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
57ms |
get tp. blocked users: |
2ms |
others: | 281ms |
total: | 571ms |
0 / 0 |