ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор БД для веб-аналитики
22 сообщений из 22, страница 1 из 1
Выбор БД для веб-аналитики
    #37381386
Oachkatzlschwoaf
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oachkatzlschwoaf
Гость
Привет!

У меня следующая задача: моя система собирает в день ~300M хитов с разных сайтов.
Каждый клик задается: временем, id пользователя, типом хита (рекламный или обычный), адресом страницы, id сайта.

Так же есть массив пользователей ~200M, про которых известно пол, возрастная группа, страна.

Требуется спроектировать систему, которая на основании данных по хитам могла бы реал-тайм выдавать отчеты о хитах различных групп пользователей.

Например: построить график по хитам для девушек 15-20 и 35-40 из России с октября по сентябрь.

Какую БД, решение вы советуете для этого выбрать?

Сам я изучаю возможность применения HBase.
...
Рейтинг: 0 / 0
04.08.2011, 21:31
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37381404
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
Такие графики не строят по "сырым данным" а делают кубики (сегментирование) с использованием какого-нибудь OLAP сервера.

автормоя система собирает в день ~300M хитов с разных сайтов ... Так же есть массив пользователей ~200M

И на чем все это крутится?

ЗЫ. Omniture-2 хотите написать?!
...
Рейтинг: 0 / 0
04.08.2011, 21:42
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37381415
Oachkatzlschwoaf
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oachkatzlschwoaf
Гость
Окей, что можете посоветовать под OLAP? Лучше всего opensource решение.
Кстати используется ли OLAP в хадуп решениях?

Речь идет о внутреннем сервисе, просто очень критично время выдачи данных - это должен быть realtime, без часового ожидания отчетов :-)
...
Рейтинг: 0 / 0
04.08.2011, 21:52
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37381418
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
авторОкей, что можете посоветовать под OLAP? Лучше всего opensource решение.

opensource решение (в Вашем понимании) == бесплатность?
...
Рейтинг: 0 / 0
04.08.2011, 21:57
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37381424
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
авторхадуп решениях

А это то Вам зачем?! Кубик у Вас будет небольшой, учитывая количество возможных срезов аналитики.
...
Рейтинг: 0 / 0
04.08.2011, 22:00
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37381430
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Oachkatzlschwoafмоя система собирает в день ~300M хитов с разных сайтов.
Так же есть массив пользователей ~200M

Т.е. каждый пользователь делает полтора клика в день. Эта система действительно работает
или это очередной прожект с высованными из пальцы цифрами?
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
04.08.2011, 22:07
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37381436
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
Dimitry Sibiryakov,

Если бы у него была "такая система" - не было бы у него таких вопросов.
...
Рейтинг: 0 / 0
04.08.2011, 22:11
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37381461
Oachkatzlschwoaf
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oachkatzlschwoaf
Гость
Да, это система для одного из действующих веб-ресурсов.

200M пользователей это месячные уники MAU. 300M хитов - это дневные данные, в среднем в день ресурс имеет 2M уников DAU.

Да, в первую очередь, меня интересуют бесплатные решения, под свободными лицензиями.

В сторону хадупа я начал думать, т.к. его использует Facebook в том числе для анализа статистики посредством Hive. Но Hive работает достаточно медленно для получения данных, а для меня важен реалтайм.

Если вы посоветуете статьи по построению и аналитике с помощью OLAP буду очень благодарен. И конечно, жду помощи для выбора базы данных под такую задачу :-)
...
Рейтинг: 0 / 0
04.08.2011, 23:02
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37381597
SERG1257
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SERG1257
Участник
http://www.sql.ru/forum/actualtopics.aspx?bid=26
...
Рейтинг: 0 / 0
05.08.2011, 03:41
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37382813
Oachkatzlschwoaf
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oachkatzlschwoaf
Гость
Что можете сказать о Mondrian?

Какую в данном случае лучше выбрать БД для хранения данных?
...
Рейтинг: 0 / 0
05.08.2011, 17:07
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37384371
svnv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
svnv
Участник
OachkatzlschwoafКакую в данном случае лучше выбрать БД для хранения данных?
http://en.wikipedia.org/wiki/Column-oriented_DBMS
...
Рейтинг: 0 / 0
07.08.2011, 22:41
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37384376
AAron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AAron
Участник
open source - вряд ли, я бы попробовал MOLAP - SQL Server, Essbase, Cognos
...
Рейтинг: 0 / 0
07.08.2011, 23:06
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37384453
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apex
Участник
pkarklinТакие графики не строят по "сырым данным" а делают кубики (сегментирование) с использованием какого-нибудь OLAP сервера.

Что значит "сырые данные", что мешает по данным, которые привел автор построить эти графики? Почему в качестве пояснения для слова "кубики" в скобочках стоит "сегментирование"?
...
Рейтинг: 0 / 0
08.08.2011, 01:11
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37385061
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
Apex,

Потому что "для девушек 15-20 и 35-40 из России" в WEB-аналитике называется сегментированием. И, судя по стартовому посту автора таких сегментов вырисовывается немного, кубик, действиетльно будет небольшим и желаемый отчет по такому кубику может быть получен молниеносно, чем долго и упорно нехилым железом молотить данные за несколько месяцев.

А кубик обновлять раз в день, инкрементально. Тоже не сильно адская задача.
...
Рейтинг: 0 / 0
08.08.2011, 12:47
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37385352
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vadiminfo
Участник
AAronя бы попробовал MOLAP - SQL Server, Essbase, Cognos
А я юзау Оракл с Йекселем. Но это наверное не для инета, так заказчика захотел. Но есть типа JDeveloper, там Бины для Олапа есть.
...
Рейтинг: 0 / 0
08.08.2011, 15:00
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37385395
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Apex
Участник
pkarklinПотому что "для девушек 15-20 и 35-40 из России" в WEB-аналитике называется сегментированием. И, судя по стартовому посту автора таких сегментов вырисовывается немного, кубик, действиетльно будет небольшим и желаемый отчет по такому кубику может быть получен молниеносно, чем долго и упорно нехилым железом молотить данные за несколько месяцев.

Тогда уже не сегментирование, а сегментация и не в вэб-аналитике, а в маркетинге вообще. И к кубикам (читай к реализации) все это имеет косвенное отношение.
...
Рейтинг: 0 / 0
08.08.2011, 15:26
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37385404
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
Apex,

Сегментация-сегментирование, аннуляция-аннулирование... Не находите?

А отношение кубика (в части получения быстрого ответа на аналитический запрос) имеет самое прямое отношение.
...
Рейтинг: 0 / 0
08.08.2011, 15:34
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37385644
MOLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MOLAP
Гость
pkarklinApex,

Сегментация-сегментирование, аннуляция-аннулирование... Не находите?

А отношение кубика (в части получения быстрого ответа на аналитический запрос) имеет самое прямое отношение.
Под кубиком имеется ввиду выгрузка и хранение в MOLAP или так же H/ROLAP с материализованными представлениями?
...
Рейтинг: 0 / 0
08.08.2011, 17:01
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37385793
pkarklin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pkarklin
Участник
MOLAPПод кубиком имеется ввиду выгрузка и хранение в MOLAP или так же H/ROLAP с материализованными представлениями ?

Я не увидел в требованиях ТС необходимости в выделенном. Ежедневного процессинга MOLAP куба будет, IMHO, предостаточно.
...
Рейтинг: 0 / 0
08.08.2011, 17:58
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37386128
AAron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AAron
Участник
vadiminfoAAronя бы попробовал MOLAP - SQL Server, Essbase, Cognos
А я юзау Оракл с Йекселем. Но это наверное не для инета, так заказчика захотел. Но есть типа JDeveloper, там Бины для Олапа есть.
возможно и Oracle (речь только о СУБД?) с Экселем хватит. А может и нет. Но JDeveloper, имхо, надо забыть. Есть более подходящие для такой задачи вещи типа Oracle BI.
...
Рейтинг: 0 / 0
08.08.2011, 23:24
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37386423
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vadiminfo
Участник
AAronвозможно и Oracle (речь только о СУБД?) с Экселем хватит. А может и нет. Но JDeveloper, имхо, надо забыть. Есть более подходящие для такой задачи вещи типа Oracle BI.
Ну почти только о СУБД. Ну там объекты то в СУБД, но для их создания все же используются клиентская тулса Analytic Workspace Manager (AWM). Ну Экселя то пока хватит: типа заказчик сам про Йксель пожелания высказал, а у Оракла есть приблуда юзать его как клиента для егойных кубов.
Ну в широком смысле, если под Oracle BI скрывается совокупность всех средств у Оракла для, то входят и Джававские бины для работы с кубами (которые упоминал), которые моно юзать в JDeveloper.
А так конечно у него есть тулы и более продвинутые. По-моему, что-то купленное. На семинарах слышал, но сам не юзал.
...
Рейтинг: 0 / 0
09.08.2011, 10:16
| Ответить | Цитировать | Написать  
Выбор БД для веб-аналитики
    #37394123
AAron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AAron
Участник
vadiminfo,

я говорил о СУБД в смысле РСУБД. OLAP Option все-таки несколько отдельно стоит, хотя и встроен.
OBI позволяет работать в том числе и с кубами OO, но все как-то через... в общем, пока мы пытаемся запустить такой вариант.
...
Рейтинг: 0 / 0
13.08.2011, 18:50
| Ответить | Цитировать | Написать  
22 сообщений из 22, страница 1 из 1
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Выбор БД для веб-аналитики
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&msg=37386128&tid=1552651]:
 0ms
get settings:
 11ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 39ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 55ms
get tp. blocked users:
 1ms
others: 237ms
total:  379ms
созд. / загр.: 379ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]