Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Аналитика вебсайта / 9 сообщений из 9, страница 1 из 1
29.04.2010, 10:56
    #36604664
AVSONE
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аналитика вебсайта
Добрый день,

Есть задача построить хранилище для анализа посещений сайта.

Гугл дает возможность обезличенной и достаточно обобщенной статистики. Можно конечно заточить навигацию на сайте для получения более детальной статистики - но это будет очень трудоемко.

Я пока собираюсь добавить в код сайта опрацию записи в простую таблицу с полями "дата " "урл" "пользователь" "параметры(Request.Form)" . Далее буду обрабатывать эти поля и экспортировать в хранилище.

Подскажите, пожалуйста, какие поля таблицы с начальными данными я упустил?
...
Рейтинг: 0 / 0
29.04.2010, 11:01
    #36604678
Полковник
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аналитика вебсайта
AVSONE,

1. А провайдер на котором хостишся не дает данных? Мне мастерхост дает более детальную информацию. Может у провайдера эти данные забирать, чем на сайте что то городить?

2. Поля таблиц какие? Те по которым ты анализ хочешь делать.
...
Рейтинг: 0 / 0
29.04.2010, 11:07
    #36604690
Полковник
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аналитика вебсайта
AVSONE,

И еще, сама по себе информация вам ничего не даст для маркетинга. Продумайте у себя на сайте какую нить закрытую область с информацией, для получения которой пользователь должен оставить хоть какие нить данные о себе к примеру компания в которой работает, фамилия, имя, город, координаты для связи и т.д. Этим в дальнейшем можно пользоваться, как обратной связью, позвонить им, поинтересоваться как дела в чем интерес вообщем пощупать клиента. Так IBM к примеру делает. Этим вы отсечете тех кто просто любопытствует, от тех кому действительно что то нужно. Со вторыми можно дальше поработать, остальных - в помойку :). Это сделать легче чем хранилище городить с информацией, которая вам ничего не даст.
...
Рейтинг: 0 / 0
29.04.2010, 11:28
    #36604755
AVSONE
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аналитика вебсайта
ПолковникAVSONE,

И еще, сама по себе информация вам ничего не даст для маркетинга. Продумайте у себя на сайте какую нить закрытую область с информацией, для получения которой пользователь должен оставить хоть какие нить данные о себе к примеру компания в которой работает, фамилия, имя, город, координаты для связи и т.д. Этим в дальнейшем можно пользоваться, как обратной связью, позвонить им, поинтересоваться как дела в чем интерес вообщем пощупать клиента. Это сделать легче чем хранилище городить с информацией, которая вам ничего не даст.

Сайт как раз хранит определенную относительно обезличенную структурированную информацию о пользователях. Имеется несколько закрытых разделов.
Эту информацию провайдер дать не сможет :-) И из логов ее не взять.

За ответы большое спасибо. Это первое мое первое неучебное хранилище и советы профи очень нужны.
...
Рейтинг: 0 / 0
29.04.2010, 14:12
    #36605262
AVSONE
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аналитика вебсайта
ПолковникAVSONE,

2. Поля таблиц какие? Те по которым ты анализ хочешь делать.

Поля эти просто сырые данные по статистике посещений.

думаю что добавлю еще одно поле для данных произвольного формата для будующих возможных ситуаций.

Надеюсь таких сырых данных об активности пользователей хватит для построения таблиц фактов и измерений. Предвижу неслабые алгоритмы транформации данных :-)

пока смотрю статью http://www.infology.ru/2008/04/07/12/ . Ищу еще советы и практику по построению подобного хранилища.
...
Рейтинг: 0 / 0
30.04.2010, 18:13
    #36608017
Павел Новокшонов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аналитика вебсайта
Посмотри на Amazone книжку - Clickstream Data Warehousing. Там в целом описано такого рода ХД для аналитики веб-сайта.
...
Рейтинг: 0 / 0
04.05.2010, 12:40
    #36610743
AVSONE
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аналитика вебсайта
Павел НовокшоновПосмотри на Amazone книжку - Clickstream Data Warehousing. Там в целом описано такого рода ХД для аналитики веб-сайта.
спасибо!

Ключевое слово Clickstream :-) Нашел ссылку http://www.iso.ru/cgi-bin/main/news_tech.cgi?id=94
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
01.03.2018, 09:19
    #39608839
JJZ
JJZ
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аналитика вебсайта
Добрый день,
Подниму старую тему.
Что лучше использовать для анализа посещений сайта: вставлять JavaScript в страницы(GoogleAnalytics, SnowPlow...) и сливать клики в Hadoop или через, например, Kafka читать напрямую логи веб сервера и сливать в Hadoop, где и анализировать. Я склоняюсь к чтению напрямую логов веб сервера. Это универсальнее, нет нагрузки на веб страницу

а вы как делаете и почему ?

Спасибо
...
Рейтинг: 0 / 0
01.03.2018, 10:54
    #39608894
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Аналитика вебсайта
JJZ,

наиболее используемая практика:, данные из OLTP хранилища переливаются в DWH-хранилище и там уже крутятся/анализируются
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Аналитика вебсайта / 9 сообщений из 9, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]