ReSQL.ru
     
powered by simpleCommunicator - 2.0.48     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / NoSQL база в качестве системы хранения и обработки логов
24 сообщений из 24, страница 1 из 1
NoSQL база в качестве системы хранения и обработки логов
    #37470352
ares4322
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ares4322
Участник
Доброго времени суток!
Можно и целесообразно ли использовать NoSQL файловые хранилища для хранения и обработки логов от серверных программ? В данный момент использую запись в файлы.
...
Рейтинг: 0 / 0
06.10.2011, 09:17
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #37470499
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
servit
Участник
ares4322Можно и целесообразно ли использовать NoSQL файловые хранилища для хранения и обработки логов от серверных программ? В данный момент использую запись в файлы.
Можно и целесообразно, так как Вам потом проще будет искать нужную информацию в одном месте, а не раскиданную по множеству файлов, возможно, с разными структурами данных.
Опять же будет возможность резервного сохранения БД, распределение данных по нескольким серверам/БД и т.д.
Процесс прямой заливки данных из файлов с последующим разбором содержимого по полям, если структура логов это позволяет, можно автоматизировать средствами самой СУБД.
Потом с помощью SQL или MDX запросов можно легко анализировать эти данные.

PS: в качестве такого NoSQL хранилища имелась в виду СУБД Caché .
...
Рейтинг: 0 / 0
06.10.2011, 10:56
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #37470533
ares4322
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ares4322
Участник
А из бесплатных систем что-нибудь посоветуете?
...
Рейтинг: 0 / 0
06.10.2011, 11:11
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #37470568
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
servit
Участник
ares4322А из бесплатных систем что-нибудь посоветуете? Globals .
Но, поскольку это бесплатная версия, там многого нет. Например, нет SQL - есть только прямой доступ к внутренним структурам данных (глобалам).
...
Рейтинг: 0 / 0
06.10.2011, 11:32
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #37470615
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
ares4322,

А какой объем логов, что с ними делать нужно?
Мы вот работает с несколькими десятками гигов текстовых логов в день - и особых проблем не видем. zless, zgrep и avk способны на многое, да и всяких построителей графиков для linux хватает.

Вот когда логов терабайты, то уже нужно что-то, поддерживающее map-reduce (но не Cache, конечно)
...
Рейтинг: 0 / 0
06.10.2011, 11:53
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #37470765
ares4322
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ares4322
Участник
У меня за день может и сотня гигов набежать. Спасибо. Наверное, пока без базы буду. Надо только организовать архивирование и удаление старых логов. И жесткий диск нужно расширить
...
Рейтинг: 0 / 0
06.10.2011, 13:10
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #37471209
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
ares4322,
А это со скольки серверов столько логов? И от какой нагрузки? И все ли они реально нужны, может, раскидать их по типам данных и сделать разные схемы хранения (что-то держать сутки, что-то - годы)?
...
Рейтинг: 0 / 0
06.10.2011, 16:19
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #37472458
ares4322
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ares4322
Участник
Сервер просто говорливый)
Я думаю, что буду архивировать и удалять очень старые
...
Рейтинг: 0 / 0
07.10.2011, 11:23
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #37476242
Фотография Warstone
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Warstone
Участник
Это вы там не Нетфлоу без z9 анализируете?.. Так там flow-tools есть. Они быстрые.
...
Рейтинг: 0 / 0
10.10.2011, 21:36
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #37487730
justas_f
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
justas_f
Гость
ares4322,

мы для этой цели используем MongoDB (она как раз бесплатная). В целом все отлично. Хотя заняло время приспособиться к NoSQL парадигме, написать на c# небольшую библиотеку, чтобы удобнее было работать.
...
Рейтинг: 0 / 0
18.10.2011, 20:28
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #37604529
Lepsik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lepsik
Участник
ares4322Доброго времени суток!
Можно и целесообразно ли использовать NoSQL файловые хранилища для хранения и обработки логов от серверных программ? В данный момент использую запись в файлы.

можно. Вот например: RainStor
...
Рейтинг: 0 / 0
06.01.2012, 21:42
| Ответить | Цитировать | Написать  
Период между сообщениями больше года.
NoSQL база в качестве системы хранения и обработки логов
    #38149698
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
Народ, а что скажете про новомодную Couchbase 2.0 (Community Edition)?
Скачал, поставил, поигрался на C#:

Код: c#
1.
2.
3.
4.
5.
var client = new CouchbaseClient();
var item = client.GetJson<Item>("123");
...
var newItem = new Item { name = "Test" };
client.StoreJson(StoreMode.Set, "12345", newItem);



Весьма наплохо. Залил чуток данных в цикле (с десяток млн), подергал асинхронно key-value запросы. Понравилось, всё прозрачно и гладко, приятная админка и мониторинг производительности. Кто что скажет про подводные камни?
...
Рейтинг: 0 / 0
13.02.2013, 15:23
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #38150885
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
МСУНарод, а что скажете про новомодную Couchbase 2.0 (Community Edition)?
Скачал, поставил, поигрался на C#:

Код: c#
1.
2.
3.
4.
5.
var client = new CouchbaseClient();
var item = client.GetJson<Item>("123");
...
var newItem = new Item { name = "Test" };
client.StoreJson(StoreMode.Set, "12345", newItem);



Весьма наплохо. Залил чуток данных в цикле (с десяток млн), подергал асинхронно key-value запросы. Понравилось, всё прозрачно и гладко, приятная админка и мониторинг производительности. Кто что скажет про подводные камни?Так а зачем key-value база данных для обработки логов?
...
Рейтинг: 0 / 0
14.02.2013, 12:08
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #38152111
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
Alexander RyndinТак а зачем key-value база данных для обработки логов?
key: дата лога + id, value: json { текст лога }

Почему нет?
...
Рейтинг: 0 / 0
15.02.2013, 00:13
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #38152165
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
МСУAlexander RyndinТак а зачем key-value база данных для обработки логов?
key: дата лога + id, value: json { текст лога }

Почему нет?А чем это отличается от обычного ротируемого каждый день файла?
...
Рейтинг: 0 / 0
15.02.2013, 02:24
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #38152499
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
Alexander RyndinА чем это отличается от обычного ротируемого каждый день файла?
Мне перечислить все плюсы СУБД по сравнению с файловой помойкой?
...
Рейтинг: 0 / 0
15.02.2013, 11:42
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #38152688
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
МСУAlexander RyndinА чем это отличается от обычного ротируемого каждый день файла?
Мне перечислить все плюсы СУБД по сравнению с файловой помойкой?

Для сценария хранения логов, плюсы Couchbase по сравнению с файлами (+ zgrep, zless, avk) - да, опиши :)
Желательно указав и примерный объем логов :)
...
Рейтинг: 0 / 0
15.02.2013, 13:11
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #38152696
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
МСУAlexander RyndinА чем это отличается от обычного ротируемого каждый день файла?
Мне перечислить все плюсы СУБД по сравнению с файловой помойкой?перечислите. Только не вообще, а применительно к данному кейсу.
Мне кажется, что у вас получается та же самая файловая помойка, но с бинарными файлами. Что затруднит работу с ними, а точнее сделает ее невозможной без программиста
...
Рейтинг: 0 / 0
15.02.2013, 13:14
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #38153091
Фотография МСУ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
МСУ
Участник
Alexander Ryndinперечислите. Только не вообще, а применительно к данному кейсу.
Поддержка IView с пейджингами и т.д. + дополнение новыми json-атрибутами (для задач, которые могут потребоваться в будущем).

Alexander RyndinМне кажется, что у вас получается та же самая файловая помойка, но с бинарными файлами. Что затруднит работу с ними, а точнее сделает ее невозможной без программиста
Программа пишет в bucket. Причем тут затруднение работы, о чем речь вообще?
...
Рейтинг: 0 / 0
15.02.2013, 16:12
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #38158382
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
МСУAlexander Ryndinперечислите. Только не вообще, а применительно к данному кейсу.
Поддержка IView с пейджингами и т.д. + дополнение новыми json-атрибутами (для задач, которые могут потребоваться в будущем).


И какой сценарий работы с логами в данном случае покрывается? И чем использование этих функций удобнее awk или zgrep?
...
Рейтинг: 0 / 0
20.02.2013, 07:59
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #38158822
Winnipuh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Winnipuh
Участник
МСУНарод, а что скажете про новомодную Couchbase 2.0 (Community Edition)?
Скачал, поставил, поигрался на C#:

Код: c#
1.
2.
3.
4.
5.
var client = new CouchbaseClient();
var item = client.GetJson<Item>("123");
...
var newItem = new Item { name = "Test" };
client.StoreJson(StoreMode.Set, "12345", newItem);



Весьма наплохо. Залил чуток данных в цикле (с десяток млн), подергал асинхронно key-value запросы. Понравилось, всё прозрачно и гладко, приятная админка и мониторинг производительности. Кто что скажет про подводные камни?

я сейчас тем же занимаюсь, пытаюсь разобраться в зверинце носкл.
В ней транзакции есть?

Вот кстати мне кажется проще и для тех же задач подходит - Redis.
Или тот же MongoDB.
...
Рейтинг: 0 / 0
20.02.2013, 13:02
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #38237162
edyaN
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
edyaN
Участник
ares4322,

для обработки логов у нас успешно используется graylog2.
...
Рейтинг: 0 / 0
23.04.2013, 18:17
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #38246948
Sergunka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Sergunka
Участник
ares4322А из бесплатных систем что-нибудь посоветуете?

http://www.splunk.com/product
...
Рейтинг: 0 / 0
03.05.2013, 02:52
| Ответить | Цитировать | Написать  
NoSQL база в качестве системы хранения и обработки логов
    #38315096
Фотография DadFred
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DadFred
Участник
Это ли не Big Data ? :)
...
Рейтинг: 0 / 0
30.06.2013, 16:54
| Ответить | Цитировать | Написать  
24 сообщений из 24, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / NoSQL база в качестве системы хранения и обработки логов
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=48&msg=38152696&tid=1856945]:
 0ms
get settings:
 12ms
get forum list:
 16ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 40ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 67ms
get tp. blocked users:
 2ms
others: 241ms
total:  401ms
созд. / загр.: 401ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]