kdv В час - 14 миллионов. Кто будет анализировать (и зачем) 14 миллионов записей за конкретный час, например трехмесячной давности?
Ну вы даете :) А чем по-вашему все современные BI системы занимаются? И анализируют, и модели прогнозирования на основании вот этих самых исторических данных строят... много чего.

kdvГрубый пример - необходимость хранения бухгалтерской документации за 5 лет. Хранение да, но копаться в накладных за конкретный день будет только налоговая инспекция в случае проверки. Самой компании нужны будут обороты за конкретный день, неделю, месяц и т.п. А пересчитывать каждый раз эти обороты по исходным данным - маразм.
Не совсем так. Фиксированные агрегаты показывают только один срез (или набор срезов) данных. Если требуется именно свободная аналитика, с непредусмотренными ранее параметрами анализа (непонятно заранее какие группировки нужны, какие агрегаты), да еще к тому же и с необходимостью детализации на любой уровень, - то используется как правило сочетание агрегатов и исходных данных. Так что без хранения исходных данных для получения полного анализа - не обойтись.

guest_20040621Если это открытые источники, клиенту ваш сервис нафиг не нужен, поскольку гораздо более качественный и разносторонний анализ он в состоянии сделать самостоятельно, - куча готовых инструментов. Если закрытые, сильно сомневаюсь, что лицензионные соглашения позволяют их перепродажу.
И тоже не так. Существует такое направление бизнеса - агрегаторы данных. Они как раз и занимаются сбором в единое хранилище всевозможной публичной и частной информации по какой-то заданной теме, а потом продают возможность анализа вот этих собранных данных всевозможным заинтересованным компаниям. Или уже готовые отчеты по запросу. Такая услуга пользуется спросом, потому что выполнить консолидацию данных из совершенно разных источников - не такая уж простая задача. У нас просто этот рынок пока еще не очень развит. Если кто-то собирается этим заняться - это здорово.

To TC
Где-то здесь уже упомяналось, -я согласна: кроме выбора БД, вам стоит подумать еще и про модель данных. Гляньте на что-нибудь готовое для вашей области. Самому разработать что-то такое с нуля - довольно тяжелая задача.

Что касается самой БД - включите в список рассматриваемого Sybase IQ. Это сервер БД разработанный именно для аналитики. И одной из его особенностей является то, что он хорошо жмет данные, - объем базы со всеми индексами получается меньше чем объем исходных данных. При ваших объемах это позволит неплохо сэкономить на железе.

guest_20040621Вы даже приблизительно не представляете себе специфику работы рынков. Есть Bloomberg. Данных больше, чем у Bloomberg, нет ни у кого. Терминал стОит пару килобаксов в месяц. Причем, независимо от количества рабочих мест, каждый терминал. Так вот лавка, которая может арендовать такой терминал, тем более в состоянии нанять студента за двести долларов, чтобы мониторить не интересные Bloomberg источники. А если у лавки нет денег на аренду терминала, на рынке им делать нечего. Понимаете, да?

Я может быть и не представляю себе специфику работы рынков, зато я хорошо представляю себе специфику работы хранилищ данных, содержащих сотни миллионов записей и специфику требований пользователей, предъявляемых к такого рода хранилищам. И именно о них я говорю. Зачем-то же люди их организуют? А? Они все идиоты? :)
Форум OLAP и DWH по-вашему зачем существует? :)

guest_20040621Это очередной лохотрон. Долго объяснять, почему.

Почитайте тут , может проявится какое-то понимание и слегка расширится картина мира :)

guest_20040621, к слову, упомянуты вами Bloomberg сам по себе является агрегатором данных.