Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Служба счетчиков / 25 сообщений из 29, страница 1 из 2
11.01.2006, 16:14
    #33476940
Служба счетчиков
Кто нибудь в курсе по какому принципу работают сценарии для службы сбора статистики и счетчиков посещений сайтов (наподобии HotLog или LiveInternet)?
...
Рейтинг: 0 / 0
11.01.2006, 17:50
    #33477313
4m@t!c
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Служба счетчиков
Я в курсе.
Вопрос в чем?
----------------------------------------
Артисты не приехали, приехали цыгане
...
Рейтинг: 0 / 0
11.01.2006, 18:00
    #33477341
Служба счетчиков
Ну для начала такой вопрос - статистика вычисляется посредством Cron-a через определенный промежуток времени или непосредствено из сценария счетчика?
...
Рейтинг: 0 / 0
11.01.2006, 18:18
    #33477375
4m@t!c
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Служба счетчиков
Все зависит от той статистики, которую вы хотите получить. Есть и кроновые и в реальном времени. Да прогугилите вопрос.
----------------------------------------
Артисты не приехали, приехали цыгане
...
Рейтинг: 0 / 0
11.01.2006, 18:23
    #33477387
Служба счетчиков
Ничего интересного гугл не выдает... может поделитесь ссылками? Спасибо.
...
Рейтинг: 0 / 0
11.01.2006, 18:47
    #33477430
DocAl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Служба счетчиков
Так вы уточните, какой вариант вам нужен?
Интерактивный или с периодическим анализом логов?
...
Рейтинг: 0 / 0
11.01.2006, 18:53
    #33477442
Служба счетчиков
Наверно интерактивный... А какие основные преимущества и недостатки тех и других?
...
Рейтинг: 0 / 0
11.01.2006, 19:57
    #33477565
DocAl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Служба счетчиков
Ну у интерактивного интерактивность и отсутствие необходимости доступа к логам вебсервера как достоинство, и бОльшая сложность настройки комплекса и ресурсоёмкость как недостаток.
Периодический анализ логов, пожалуй, может предоставить более детальную информацию , однако неинтерактивен.
...
Рейтинг: 0 / 0
12.01.2006, 12:24
    #33478631
Служба счетчиков
а можно ссылку на пример скрипта с периодическим анализом логов?
...
Рейтинг: 0 / 0
12.01.2006, 23:43
    #33480189
DocAl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Служба счетчиков
Пожалуйста: http://awstats.sourceforge.net
...
Рейтинг: 0 / 0
13.01.2006, 17:26
    #33482154
Служба счетчиков
DocAlПожалуйста: http://awstats.sourceforge.net Меня интересует принцип работы и схема сбора и хранения данных службы внешней статистики для большого числа сайтов.
...
Рейтинг: 0 / 0
16.01.2006, 10:55
    #33484311
Служба счетчиков
Nu xot' kto-nibud' daite informaciyu, plzzzzz
...
Рейтинг: 0 / 0
16.01.2006, 12:30
    #33484583
DocAl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Служба счетчиков
Конкретизируйте вопрос.
...
Рейтинг: 0 / 0
16.01.2006, 13:19
    #33484803
Служба счетчиков
DocAlКонкретизируйте вопрос.В таблице базы данных записываются логи посещений с разных сайтов, а каждые 10 минут запускается сценарий, который анализирует логи и апдейтит статистическую инфу для каждого сайта. Так?
...
Рейтинг: 0 / 0
16.01.2006, 13:24
    #33484822
DocAl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Служба счетчиков
Ну, например так. Только конкретизируйте тогда, что вы подразумевали под внешней статистикой?
...
Рейтинг: 0 / 0
16.01.2006, 13:45
    #33484912
Служба счетчиков
DocAlНу, например так. Только конкретизируйте тогда, что вы подразумевали под внешней статистикой?Ну например хотлог собирает статистику для для других сайтов и показывает ее на своих страницах...
...
Рейтинг: 0 / 0
16.01.2006, 13:50
    #33484925
DocAl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Служба счетчиков
Клиенты размещают на своих страницах либо ссылку на картинку, либо на JS, размещённый на сервере статистики, результаты запроса этой картинки либо скрипта анализируются и заносятся в базу. В целом всё происходит вполне естественным образом. Честно говоря, я по-прежнему не понимаю, в чём состоит вопрос, точнее, какого рода ответ вы на него ожидаете.)
...
Рейтинг: 0 / 0
16.01.2006, 13:52
    #33484934
DocAl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Служба счетчиков
Ну, в смысле, естественным для такой парадигмы получения статистики.)
Конечно, гораздо более естественным и прямым методом является анализ логов вебсервера.
...
Рейтинг: 0 / 0
16.01.2006, 14:04
    #33484988
Служба счетчиков
В настоящий момент меня интересует как правильнее распределить нагрузку между сценарием генерирующим изображение счетчика и периодически запускаемыми анализаторами. Т.е. приблизительно какие действия должны выполнять отдельные части приложения?

DocAl... является анализ логов вебсервера.Но ведь не могу же я со своего сайта иметь доступ к серверным логам сайтов пользователей службы?
...
Рейтинг: 0 / 0
16.01.2006, 14:12
    #33485030
DocAl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Служба счетчиков
Ну это-то понятно, мне непонятна логика этих самых пользователей, для которых всё это городится.)
Но раз звёзды зажигаются...

Касательно же распределения нагрузки, если вы намереваетесь сразу заносить информацию о запросе в базу, нет особых причин при этом не распарсить информацию так, чтобы последующая обработка не была нужна. В основном, всё ведь будет упираться в блокировки таблиц, в которые постоянно заносятся новые записи.
...
Рейтинг: 0 / 0
16.01.2006, 14:15
    #33485041
Служба счетчиков
DocAl... В основном, всё ведь будет упираться в блокировки таблиц, в которые постоянно заносятся новые записи.Не понял, можно подробнее?
...
Рейтинг: 0 / 0
16.01.2006, 14:26
    #33485085
DocAl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Служба счетчиков
Я, конечно, рискую быть закиданым какашками пользователями Oracle и прочих СУБД Enterprise level, но в любом случае, выборка данных из таблиц, которые непрерывным потоком обновляются, задача довольно ресурсоёмкая, и именно блокировки (таблиц, страниц, отдельных ли записей -- это весьма важно, но в данном вопросе непринципиально) будут являться наиболее труднопреодолимым ограничением.
Какая СУБД планируется к использованию, вообще говоря?
...
Рейтинг: 0 / 0
16.01.2006, 14:36
    #33485110
Служба счетчиков
MySQL
...
Рейтинг: 0 / 0
16.01.2006, 14:49
    #33485152
DocAl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Служба счетчиков
В таком случае, банальный совет: используйте InnoDB. )
...
Рейтинг: 0 / 0
16.01.2006, 16:05
    #33485424
Служба счетчиков
Запутался... Причем тут InnoDB? Это же ресурсы жрет... Если не трудно, посмотрите пожалуйста схему и скажите мнение.

1. Пользователь вызывает со своей страницы сценарий генерирующий изображение счетчика и передает при помощи JavaScript следующие данные:

- Идентификатор счетчика;
- Тип счетчика;
- Хэш предотвращающий восстановление картинки из кэша;
- Разрешение и цветовую схему экрана;
- Реферер документа;
- Поддержка кук;
- Версию JavaScript.

Естественно, при отключенном JavaScript некоторая информация не передается.

2. Сценарий счетчика выполняет все необходимые проверки поступающих данных и проверяет соответствие $_SERVER['HTTP_REFERER'] и того, что зарегистрировано по ID.

3. При необходимости инкрементируются значения хитов, хостов и визитов за текущий день. Добавляется или обновляется запись в таблице содержащей IP-адресa и время последнего обращения.

4. В случае если обращение учтено как визит, вся остальная информация (данные JavaScript, название браузера и т.п.) записывается в таблицу логов вместе с ID.

5. Выводится рисунок счетчика.

6. Каждые 10 минут запускается сценарий анализирующий записи логов и обновляющий статистику для отдельных сайтов. Естественно, таблица логов блокируется на время выполнения крона. Далее, уже анализированные логи удаляются.
...
Рейтинг: 0 / 0
Форумы / PHP, Perl, Python [игнор отключен] [закрыт для гостей] / Служба счетчиков / 25 сообщений из 29, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]