|
Подскажите оптимальный сторадж для хранения статистики.
|
||
|---|---|---|
Участник
Откуда: г Волжский
Сообщения: 13 813 |
||
| 14.06.2012, 10:37 |
|
|
|
|
|
Подскажите оптимальный сторадж для хранения статистики.
|
|||
|---|---|---|---|
|
#18+
Есть задача — хранить статистику с веб-ресурсов(логи) и генерить по ней отчеты. Объемы данных предполагаются очень приличные, даже после агрегации 50-100млн записей в сутки. Выборки не сложные( диапазон, точное совпадение, group by), но достаточно многообразные. В конечном итоге надо получать выборки для построения графиков и текстовых отчетов(например: клики за вчера с 12 до 17 часов, с географическим таргетингом Москва, от рекламодателя такого-то, стоимостью в диапазоне таком-то). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2011, 00:52 |
|
||
|
Подскажите оптимальный сторадж для хранения статистики.
|
|||
|---|---|---|---|
|
#18+
z1xelВ конечном итоге надо получать выборки для построения графиков и текстовых отчетов(например: клики за вчера с 12 до 17 часов, с географическим таргетингом Москва, от рекламодателя такого-то, стоимостью в диапазоне таком-то). Тогда такой вариант... Код: vbnet 1. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.06.2012, 10:37 |
|
||
|
Подскажите оптимальный сторадж для хранения статистики.
|
|||
|---|---|---|---|
|
#18+
z1xel , Небольшое уточнение: ответ krvsa относился к СУБД Caché: $NA Если выборки планируются многообразные, то можно будет задействовать SQL, MDX или в ряде случаев прямой доступ, а также bitmap -индексы для ускорения поиска. Для построения отчётов можно задействовать встроенную бизнес-аналитику DeepSee (есть визуализация с геопривязкой) или использовать внешнюю BI через ODBC/JDBC. Для быстрой записи веб-логов в базу можно написать внешнюю программу на Java, .NET или С/С++, используя соответствующие "прямые" интерфейсы: Java eXTreme, .NET eXTreme, CallIn/CallOut Или можно сделать загрузку прямо из СУБД, используя богатый набор классов для работы с файлами: %File, %FileBinaryStream, %FileCharacterStream, %Stream.FileBinary и т.д. PS: скоро будет мероприятие " Школа Инноваций InterSystems 2012 ", на котором Вы сможете задать вопросы непосредственно инженерам. PPS: ещё несколько полезных ссылок: NoSQL: назад в будущее http://iscmp.ru/docs/oleg/Olenin_NoSQL_Simposium2011.pdf Универсальное NoSQL - введение в теорию (здесь можете подобрать/посмотреть примеры возможных структур для хранения Ваших данных из логов). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.06.2012, 12:58 |
|
||
|
|
start [/forum/topic.php?desktop=1&fid=48&tid=1856981]: |
0ms |
get settings: |
8ms |
get forum list: |
5ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
61ms |
get topic data: |
5ms |
get forum data: |
1ms |
get page messages: |
137ms |
get tp. blocked users: |
1ms |
| others: | 318ms |
| total: | 538ms |
| 0 / 0 |
