| 
 | 
| 
 
Техника работы с итоговыми данными 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Предлагаю обсудить как лучше работать с агрегированными данными Какие я знаю варианты: 1. Не хранить промежуточные итоги при каждом запросе вычислять их. 2. Использовать средства с кешированием запросов например в Framework 2 появились веб-сервисы с кешированием запросов по времени обновлению таблицы БД. 3. Производить изменения в итоговых данных средствами тригеров. 4. Использовать OLAP кубы для получения итоговых данных (если получиться еще лучше real-time кубы) Прошу обсудить тему. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 08.10.2005, 13:33 | 
  
  
  
   | 
||
| 
 
Техника работы с итоговыми данными 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Все от задач зависит. Где то выгоднее рассчитывать на лету, где то лучше хранить в таблицах или материализованных представлениях (если они поддерживаются сервером конечно), причем в зависимости от задачи где то такие таблицы лучше вести через триггера, а где то будет выгоднее делать перерасчеты по расписанию. То же самое касается и кубов - где то можно кубами воспользоваться, а может быть легче поставить аналитический сервер, типа Sybase IQ, который являясь по внешнему виду обычной РСУБД, как раз на внутреннем уровне и заточен под выполнение аггрегированных запросов в допустимых пределах отзыва системы на больших обьемах данных. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 08.10.2005, 17:49 | 
  
  
  
   | 
||
| 
 
Техника работы с итоговыми данными 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Олег ЩербинаПредлагаю обсудить как лучше работать с агрегированными данными Какие я знаю варианты: 1. Не хранить промежуточные итоги при каждом запросе вычислять их. 2. Использовать средства с кешированием запросов например в Framework 2 появились веб-сервисы с кешированием запросов по времени обновлению таблицы БД. 3. Производить изменения в итоговых данных средствами тригеров. 4. Использовать OLAP кубы для получения итоговых данных (если получиться еще лучше real-time кубы) Прошу обсудить тему. Или использовать EXCEL в качестве клиента. При этом запросы к базе данных сидят в ячейках EXCEL. В нужный момент активизируются и поступают на сервер, а ответные таблицы влетают на подготовленные места на этом же EXCEL-листе и сразу попадают под действие обычных EXCEL-формул - так появляются итоги и прочие диаграммы - навороты Неважно на чем работает сервер и на чем язык запросов В нашем варианте - на MUMPS - но это не догма - хотя удобно ----------------------------- ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 10.10.2005, 09:23 | 
  
  
  
   | 
||
| 
 
Техника работы с итоговыми данными 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  MX -- ALEX  Олег ЩербинаПредлагаю обсудить как лучше работать с агрегированными данными Какие я знаю варианты: 1. Не хранить промежуточные итоги при каждом запросе вычислять их. 2. Использовать средства с кешированием запросов например в Framework 2 появились веб-сервисы с кешированием запросов по времени обновлению таблицы БД. 3. Производить изменения в итоговых данных средствами тригеров. 4. Использовать OLAP кубы для получения итоговых данных (если получиться еще лучше real-time кубы) Прошу обсудить тему. Или использовать EXCEL в качестве клиента. При этом запросы к базе данных сидят в ячейках EXCEL. В нужный момент активизируются и поступают на сервер, а ответные таблицы влетают на подготовленные места на этом же EXCEL-листе и сразу попадают под действие обычных EXCEL-формул - так появляются итоги и прочие диаграммы - навороты Неважно на чем работает сервер и на чем язык запросов В нашем варианте - на MUMPS - но это не догма - хотя удобно ----------------------------- Это не есть новый вариант - это вариант 1, потому что итоги вычисляются каждый раз. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 10.10.2005, 09:34 | 
  
  
  
   | 
||
| 
 
Техника работы с итоговыми данными 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Олег Щербина 4. Использовать OLAP кубы для получения итоговых данных (если получиться еще лучше real-time кубы) ----------- Или использовать EXCEL в качестве клиента. При этом запросы к базе данных сидят в ячейках EXCEL. В нужный момент активизируются и поступают на сервер, а ответные таблицы влетают на подготовленные места на этом же EXCEL-листе и сразу попадают под действие обычных EXCEL-формул - так появляются итоги и прочие диаграммы - навороты Неважно на чем работает сервер и на чем язык запросов В нашем варианте - на MUMPS - но это не догма - хотя удобно ----------------------------- Это не есть новый вариант - это вариант 1, потому что итоги вычисляются каждый раз.[/quot] тогда и 4=1 ? ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 10.10.2005, 10:30 | 
  
  
  
   | 
||
| 
 
Техника работы с итоговыми данными 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  MX -- ALEX тогда и 4=1 ? OLAP куб - это совершенно другое хранилище данных и обновляется оно не автоматически (я например обновляю ежедневно по ночам). Исключение - real-time кубы (которые я еще не разу не смог построить) которые обновляются автоматически при изменении источнника данных. Если честно - то меня сейчас больше всего интересует именно этот вариант. Если конкретнее я хочу переписать задачу оперативного учета с использованием итоговых данных из кубов OLAP (скорее всего ROLAP - c хранением итогов в таблице SQL). Объем данных небольшой , а для OLAP мизерный. Около 20 таблиц до 100 тыс.записей за 10 лет. Пока я не решил как обновлять кубы. 1. Real-time кубы MS SQL 2000 имеют много органичений 2. Обновление по расписанию - это тупо. Ну например я ставлю полное обновление ночью, и каждые 5 минут - инкрементное обновление. 3. Обновлением куба по засечке момента обновления исходных данных. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 10.10.2005, 10:57 | 
  
  
  
   | 
||
| 
 
Техника работы с итоговыми данными 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  авторВсе от задач зависит.  Мне кажется, исчерпывающий ответ в контесте вопроса. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 10.10.2005, 10:59 | 
  
  
  
   | 
||
| 
 
Техника работы с итоговыми данными 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Calm  авторВсе от задач зависит.  Мне кажется, исчерпывающий ответ в контесте вопроса. Я это и сам знаю. --- Холмс и Ватсон опускаются в тумане на воздушном шаре на поляну. Видят человека. Холмс: Уважаемый где мы находимся? Человек:Вы находитесь в корзине воздушного шара, стоящей на поляне. Холмс: Судя по точности и бесполезности ответа перед нами программист. --- Сужаю область Учетные задачи OLTP. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 10.10.2005, 12:33 | 
  
  
  
   | 
||
| 
 | 

start [/forum/topic.php?fid=33&msg=33314670&tid=1549548]:  | 
    0ms | 
get settings:  | 
    9ms | 
get forum list:  | 
    13ms | 
check forum access:  | 
    3ms | 
check topic access:  | 
    3ms | 
track hit:  | 
    58ms | 
get topic data:  | 
    10ms | 
get forum data:  | 
    2ms | 
get page messages:  | 
    49ms | 
get tp. blocked users:  | 
    1ms | 
| others: | 13ms | 
| total: | 161ms | 

| 0 / 0 | 

    Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
    
    
    «На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даете согласие с использованием данных технологий.»
    
    
    ... бла, бла, бла ...