|
Подскажите оптимальный сторадж для хранения статистики.
|
||
|---|---|---|
Участник
Откуда: г Волжский
Сообщения: 13 823 |
||
| 14.06.2012, 10:37 |
|
|
|
|
|
Подскажите оптимальный сторадж для хранения статистики.
|
|||
|---|---|---|---|
|
#18+
Есть задача — хранить статистику с веб-ресурсов(логи) и генерить по ней отчеты. Объемы данных предполагаются очень приличные, даже после агрегации 50-100млн записей в сутки. Выборки не сложные( диапазон, точное совпадение, group by), но достаточно многообразные. В конечном итоге надо получать выборки для построения графиков и текстовых отчетов(например: клики за вчера с 12 до 17 часов, с географическим таргетингом Москва, от рекламодателя такого-то, стоимостью в диапазоне таком-то). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2011, 00:52 |
|
||
|
Подскажите оптимальный сторадж для хранения статистики.
|
|||
|---|---|---|---|
|
#18+
z1xelВ конечном итоге надо получать выборки для построения графиков и текстовых отчетов(например: клики за вчера с 12 до 17 часов, с географическим таргетингом Москва, от рекламодателя такого-то, стоимостью в диапазоне таком-то). Тогда такой вариант... Код: vbnet 1. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.06.2012, 10:37 |
|
||
|
Подскажите оптимальный сторадж для хранения статистики.
|
|||
|---|---|---|---|
|
#18+
z1xel , Небольшое уточнение: ответ krvsa относился к СУБД Caché: $NA Если выборки планируются многообразные, то можно будет задействовать SQL, MDX или в ряде случаев прямой доступ, а также bitmap -индексы для ускорения поиска. Для построения отчётов можно задействовать встроенную бизнес-аналитику DeepSee (есть визуализация с геопривязкой) или использовать внешнюю BI через ODBC/JDBC. Для быстрой записи веб-логов в базу можно написать внешнюю программу на Java, .NET или С/С++, используя соответствующие "прямые" интерфейсы: Java eXTreme, .NET eXTreme, CallIn/CallOut Или можно сделать загрузку прямо из СУБД, используя богатый набор классов для работы с файлами: %File, %FileBinaryStream, %FileCharacterStream, %Stream.FileBinary и т.д. PS: скоро будет мероприятие " Школа Инноваций InterSystems 2012 ", на котором Вы сможете задать вопросы непосредственно инженерам. PPS: ещё несколько полезных ссылок: NoSQL: назад в будущее http://iscmp.ru/docs/oleg/Olenin_NoSQL_Simposium2011.pdf Универсальное NoSQL - введение в теорию (здесь можете подобрать/посмотреть примеры возможных структур для хранения Ваших данных из логов). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.06.2012, 12:58 |
|
||
|
|
start [/forum/topic.php?fid=48&msg=37837731&tid=1856981]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
163ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
51ms |
get tp. blocked users: |
2ms |
| others: | 239ms |
| total: | 501ms |
| 0 / 0 |
Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...
