|
Действия ...
|
14.06.2012, 10:37
|
|||
|---|---|---|---|
|
|||
Подскажите оптимальный сторадж для хранения статистики. |
|||
|
|
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
13.12.2011, 00:52
|
|||
|---|---|---|---|
|
|||
Подскажите оптимальный сторадж для хранения статистики. |
|||
|
#18+
Есть задача — хранить статистику с веб-ресурсов(логи) и генерить по ней отчеты. Объемы данных предполагаются очень приличные, даже после агрегации 50-100млн записей в сутки. Выборки не сложные( диапазон, точное совпадение, group by), но достаточно многообразные. В конечном итоге надо получать выборки для построения графиков и текстовых отчетов(например: клики за вчера с 12 до 17 часов, с географическим таргетингом Москва, от рекламодателя такого-то, стоимостью в диапазоне таком-то). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
14.06.2012, 10:37
|
|||
|---|---|---|---|
Подскажите оптимальный сторадж для хранения статистики. |
|||
|
#18+
z1xelВ конечном итоге надо получать выборки для построения графиков и текстовых отчетов(например: клики за вчера с 12 до 17 часов, с географическим таргетингом Москва, от рекламодателя такого-то, стоимостью в диапазоне таком-то). Тогда такой вариант... Код: vbnet 1. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
14.06.2012, 12:58
|
|||
|---|---|---|---|
Подскажите оптимальный сторадж для хранения статистики. |
|||
|
#18+
z1xel , Небольшое уточнение: ответ krvsa относился к СУБД Caché: $NA Если выборки планируются многообразные, то можно будет задействовать SQL, MDX или в ряде случаев прямой доступ, а также bitmap -индексы для ускорения поиска. Для построения отчётов можно задействовать встроенную бизнес-аналитику DeepSee (есть визуализация с геопривязкой) или использовать внешнюю BI через ODBC/JDBC. Для быстрой записи веб-логов в базу можно написать внешнюю программу на Java, .NET или С/С++, используя соответствующие "прямые" интерфейсы: Java eXTreme, .NET eXTreme, CallIn/CallOut Или можно сделать загрузку прямо из СУБД, используя богатый набор классов для работы с файлами: %File, %FileBinaryStream, %FileCharacterStream, %Stream.FileBinary и т.д. PS: скоро будет мероприятие " Школа Инноваций InterSystems 2012 ", на котором Вы сможете задать вопросы непосредственно инженерам. PPS: ещё несколько полезных ссылок: NoSQL: назад в будущее http://iscmp.ru/docs/oleg/Olenin_NoSQL_Simposium2011.pdf Универсальное NoSQL - введение в теорию (здесь можете подобрать/посмотреть примеры возможных структур для хранения Ваших данных из логов). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=48&mobile=1&tid=1856981]: |
0ms |
get settings: |
17ms |
get forum list: |
26ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
40ms |
get topic data: |
16ms |
get forum data: |
3ms |
get page messages: |
166ms |
get tp. blocked users: |
2ms |
| others: | 15ms |
| total: | 293ms |
| 0 / 0 |
