ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Посоветуйте легковесную и быструю СУБД
25 сообщений из 32, страница 1 из 2
  1  все
Посоветуйте легковесную и быструю СУБД
    #34710787
mr.badguy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mr.badguy
Гость
Для следующей задачи: постоянная запись в базу несколькими потоками/процессами (порядка 100), и периодическое чтение (1-2 потока, с меньшим периодом чем запись). Пишущие потоки пишут за 1 транзакцию по одной записи, читающие читают на порядок-два больше. Пробовали SQLite, по скорости устраивает, но запись/чтение одновремено не работает и писать свой механизм синхронизации не очень хочется. Целевая платформа - Линух. Лицензия на СУБД - GPL или что-то подобное. Существует такое вообще?
...
Рейтинг: 0 / 0
07.08.2007, 14:04
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34711544
walking_around
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
walking_around
Гость
Из описания следует, что вам pipe вполне подходит.
Частоту записи, порядок чтения и т.п. озвучьте... что вообще сделать-то хотите?
...
Рейтинг: 0 / 0
07.08.2007, 16:49
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34711867
LittleCat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LittleCat
Участник
mr.badguyЦелевая платформа - Линух. Лицензия на СУБД - GPL или что-то подобное. Существует такое вообще?
GT.M если не стоит задача иметь обязательно SQL-базу :-)
...
Рейтинг: 0 / 0
07.08.2007, 17:53
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34712311
DocAl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DocAl
Участник
BDB, InnoDB. Да, собственно, чем MySQL не устраивает?
...
Рейтинг: 0 / 0
07.08.2007, 20:32
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34712701
mr.badguy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mr.badguy
Гость
walking_aroundИз описания следует, что вам pipe вполне подходит.
Частоту записи, порядок чтения и т.п. озвучьте... что вообще сделать-то хотите?
Частота записи - 10 Гц с одного источника(максимум), планируемое кол-во источников (каналов) для данного проекта порядка 100 (а вообще не ограничено, разумных пределах). Характер появления событий записи - асинхронный (callback). Для каждой процедуры записи - отдельный трэд. Чтение из другого процесса. Чтение по требованию, с гораздо меньшей частотой, но бОльшим объемом. Проблема в том, что чтение блокирует запись на продолжительное время. Полноценный SQL сервер не устраивает по причине требовательности к ресурсам, да и сетевые возможности в данный момент не требуются (хотя приветствуются).
Можно поподробнее про пайпы?
...
Рейтинг: 0 / 0
08.08.2007, 08:33
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34713281
ЛП
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ЛП
Участник
2 mr.badguy
Пишущие потоки пишут за 1 транзакцию по одной записи
...
Частота записи - 10 Гц с одного источника(максимум), планируемое кол-во источников (каналов) для данного проекта порядка 100 (а вообще не ограничено, разумных пределах). Характер появления событий записи - асинхронный (callback). Для каждой процедуры записи - отдельный трэд.
1000 записей в секунду? Т.е. за одни сутки 86 миллионов записей?
Вы уверены, что Вам нужна именно "легковесная" СУБД?

и периодическое чтение (1-2 потока, с меньшим периодом чем запись).
...
Чтение из другого процесса. Чтение по требованию, с гораздо меньшей частотой, но бОльшим объемом.
С какой частотой? Какой объем выборки? Какого типа выборки?
Может там выборки такие, что и вообще СУБД никакая не нужна.

Проблема в том, что чтение блокирует запись на продолжительное время.
Пардон, у кого такая проблема? У SQLLite? Или по условиям задачи?
Уровень изоляции какой нужен?

Полноценный SQL сервер не устраивает по причине требовательности к ресурсам
А какие у Вас ограничения по ресурсам?
И Вы уж как-нибудь определитесь, то ли Вас "полноценный SQL сервер" не устраивает, потому что хоть он и умеет всё, но "слишком много кушать" (с), то ли Вас не устраивают "неполноценные" сервера, которые хоть и менее требовательны, но например читать-писать одновременно не умеют :)

З.Ы. Как всегда, порадовали кашисты. Которые опять уверены в том, что у них все летает - неважно на каких объемах данных, неважно с какой частотой, неважно на каком железе.
...
Рейтинг: 0 / 0
08.08.2007, 11:51
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34713855
MX -- ALEX
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MX -- ALEX
Гость
ЛП
З.Ы. Как всегда, порадовали кашисты. Которые опять уверены в том, что у них все летает - неважно на каких объемах данных, неважно с какой частотой, неважно на каком железе.

требования четко прописаны - что там непонятного ?
CACHE - MSM - GT.M (любой из них)
эту конкретную задачу
потянут однозначно
и еще с запасом по скорости
...
Рейтинг: 0 / 0
08.08.2007, 13:46
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34713908
ЛП
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ЛП
Участник
2 MX -- ALEX
ЛП
З.Ы. Как всегда, порадовали кашисты. Которые опять уверены в том, что у них все летает - неважно на каких объемах данных, неважно с какой частотой, неважно на каком железе.

требования четко прописаны
Гыгыгы.
Что там четко прописано?

авторчто там непонятного
Вам таки все понятно?
Ну ка, разъясните (раз уж Вам всё понятно) - каков объем данных на одну запись, время хранения данных (накапливающихся по восемдесят миллионов записей в сутки), соответственно общий объём данных, характер запросов на выборку, частоту запросов на выборку, характерный объем данных на каждую выборку, и железо, которое должно с этим добром справиться.

авторCACHE - MSM - GT.M (любой из них)
эту конкретную задачу
потянут однозначно
и еще с запасом по скорости
Однозначно. Всё будет летать. На двести двадцать процентов

Два вопроса лично к Вам.
Куда уехал цирк? И почему Вы остались?
...
Рейтинг: 0 / 0
08.08.2007, 14:02
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34715317
LittleCat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LittleCat
Участник
ЛП
авторCACHE - MSM - GT.M (любой из них)
эту конкретную задачу
потянут однозначно
и еще с запасом по скорости
Однозначно. Всё будет летать. На двести двадцать процентов

Два вопроса лично к Вам.
Куда уехал цирк? И почему Вы остались?
Хоть вопрос не ко мне, но поддержу коллегу, напомню пример конкретной РАБОТАЮЩЕЙ системы. Железо, двухпроцессорный (два Xeon 3.0) сервер, 1 гиг ОЗУ, RAID-5 360 Gb. 10 млн. записей в сутки плюс по базе аналитические отчеты (по данным за последние 12 месяцев). А вы, уважаемый ЛП, можете чем-нибудь подобным похвастаться ?-)
...
Рейтинг: 0 / 0
08.08.2007, 20:34
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34715351
Фотография vadiminfo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vadiminfo
Участник
LittleCat
Хоть вопрос не ко мне, но поддержу коллегу, напомню пример конкретной РАБОТАЮЩЕЙ системы. Железо, двухпроцессорный (два Xeon 3.0) сервер, 1 гиг ОЗУ, RAID-5 360 Gb. 10 млн. записей в сутки плюс по базе аналитические отчеты (по данным за последние 12 месяцев). А вы, уважаемый ЛП, можете чем-нибудь подобным похвастаться ?-)
У записей есть еще и размер: две таблы по 10 млн записей могут по объему на диске отличаться в разы.
Да и вообще, без выяснения деталей на месте, всего этого не достаточно. Что там за аналитические отчеты тоже еще смотреть надо: они могут ночью вычисляться, а днем смотри не хочу этих 100 результирующих записей. Или это типа оперативные запросы к 10млн*364?
Но по любому, наверное, есть чем похвастаться РСУБД на TPC как минимум. Там результат фиксируется независимыми экспертами и в соответствии с определенными правилами.
...
Рейтинг: 0 / 0
08.08.2007, 21:30
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34715398
walking_around
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
walking_around
Гость
mr.badguyМожно поподробнее про пайпы?
С ума сойти... вопрос правильный прозвучал:
1. характер запросов на чтение
2. время хранения данных

PS пайпы - это... пайпы... в начало трубы пишешь, из конца трубы тащишь... если в трубе ничего нет - то читать нельзя... если труба заполнена - нельзя писать... чтение не блокирует запись. Читать можно только последовательно, то что записано. Прочитанное не сохраняется. Т.к. задавая вопрос, вы не обусловили вышеописанные пункты 1 и 2, я сделал вывод, что пайпы вам подходят.... догоняете?
...
Рейтинг: 0 / 0
08.08.2007, 22:27
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34715485
MX -- ALEX
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MX -- ALEX
Гость
ЛП
Два вопроса лично к Вам.
Куда уехал цирк? И почему Вы остались?

туточки мы ...
куда тут нахрен денешься - заказчики стоят в очередь - ждут быстроходную CACHE
не успеваем ставить

а насчет задачи - невозможно сформулировать все условия - некоторая
неопределенность остается всегда
в данном случае все достаточно четко оговорено
по контексту можно с большой вероятностью предполагать
записи не длиннее 220 байт :)
пусть автор меня поправит

в жизни часто приходится работать и с более неопределенными
постановками задачи - справляемся
...
Рейтинг: 0 / 0
09.08.2007, 00:29
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34715506
Пьяный Лох
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Пьяный Лох
Участник
2 LittleCat
Хоть вопрос не ко мне, но поддержу коллегу напомню пример конкретной РАБОТАЮЩЕЙ системы.
И чего Вы этим примером хотели сказать???
Какое отношение эта работающая система имеет к задаче автора топика?

Песец. Был один клоун, теперь два.

Один кретинчег практически ничего не зная про условия задачи берется утверждать, что каша с этой задачей справится, да еще и "с запасом по скорости". Ни железо, ни объемы, ни требования к скорости - ваще ничё не известно, однако ж чудо-каша на двести двадцать процентов летать будет.

Второй уже который год куда попало суёт один и тот же пример одной и той же реализации одной и той же задачи - совершенно не обращая внимания на то, что в топике обсуждается.
Скажите, Вы кроме этой системы - ни одной больше не сделали что-ли? Или зачем Вы повсюду суёте этот пример логирования сетевого трафика (для которого вообще говоря не нужна ни каша, ни какая другая СУБД)?

А вы, уважаемый ЛП, можете чем-нибудь подобным похвастаться ?-)
Я не собираюсь "хвастаться" какими-то системами, тем более одними и теми же, и уж тем более не имеющими отношения к топику.
...
Рейтинг: 0 / 0
09.08.2007, 01:38
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34715636
LittleCat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LittleCat
Участник
Пьяный Лох
Я не собираюсь "хвастаться" какими-то системами, тем более одними и теми же, и уж тем более не имеющими отношения к топику.
Кроме растопыривания на форуме хоть чего-то работающего у автора за душой видимо нет. Слив защитан.
...
Рейтинг: 0 / 0
09.08.2007, 08:20
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34715664
Фотография Gluk (Kazan)
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gluk (Kazan)
Участник
LittleCatХоть вопрос не ко мне, но поддержу коллегу, напомню пример конкретной РАБОТАЮЩЕЙ системы. Железо, двухпроцессорный (два Xeon 3.0) сервер, 1 гиг ОЗУ, RAID-5 360 Gb. 10 млн. записей в сутки плюс по базе аналитические отчеты (по данным за последние 12 месяцев). А вы, уважаемый ЛП, можете чем-нибудь подобным похвастаться ?-)

произвольные аналитические отчеты ?

P.S. цырк вернулся
...
Рейтинг: 0 / 0
09.08.2007, 08:39
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34715850
Bogdanov Andrey
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bogdanov Andrey
Участник
LittleCat
Хоть вопрос не ко мне, но поддержу коллегу, напомню пример конкретной РАБОТАЮЩЕЙ системы. Железо, двухпроцессорный (два Xeon 3.0) сервер, 1 гиг ОЗУ, RAID-5 360 Gb. 10 млн. записей в сутки плюс по базе аналитические отчеты (по данным за последние 12 месяцев). А вы, уважаемый ЛП, можете чем-нибудь подобным похвастаться ?-)Пара вопросов.
Первое: Где в вашем примере "10 Гц с одного источника(максимум), планируемое кол-во источников (каналов) для данного проекта порядка 100"?
Второе: 12 месяцев значит? Итого 360Гб/365 дней/10 млн имеем 100 байт на одну запись (это вместе с индесками и прочей лабудой). Я правильно посчитал?
...
Рейтинг: 0 / 0
09.08.2007, 09:58
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34716281
MX -- ALEX
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MX -- ALEX
Гость
не слушайте пьяных
тем более лохов

CACHE или GT.M потянет Вашу задачу без напряга
...
Рейтинг: 0 / 0
09.08.2007, 11:35
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34716474
Фотография tygra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tygra
Участник
MX -- ALEXне слушайте пьяных
тем более лохов

CACHE или GT.M потянет Вашу задачу без напряга
Канэчна! Только сервер 16-процессорный купите, и напряга не будет

Хоть объекты и не в тему
Но настолько наверное полезные, что везде подойдут

-- Tygra's --
Мои фотогалереи тут и тут
...
Рейтинг: 0 / 0
09.08.2007, 12:09
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34716580
LittleCat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LittleCat
Участник
Bogdanov Andrey
Первое: Где в вашем примере "10 Гц с одного источника(максимум), планируемое кол-во источников (каналов) для данного проекта порядка 100"?
Второе: 12 месяцев значит? Итого 360Гб/365 дней/10 млн имеем 100 байт на одну запись (это вместе с индесками и прочей лабудой). Я правильно посчитал?
Я же не решал задачу автора, поэтому искать в моем примере точное соответствие по меньшей мере странно :-) Указанный пример был приведен исключительно для оценки возможностей Cache для решения задач данного класса, а именно массовая запись в базу с одновременной обработкой этих данных. Интенсивность записи до трех сотен в секунду с размером от нескольких байт до нескольких сотен байт. Параллельно эти данные обрабатываются, агрегируются в вид, удобный для работы аналитики, и первоначальные данные стираются, поэтому прямой подсчет объема за 12 месяцев особого смысла также не имеет :-) Ни и как Вы могли заметить, в примере приведены параметры железа, на котором все это работает, что позволяет сделать хотя бы оценку, во что выльется решение аналогичной задачи другого масштаба (это к высказыванию tygra насчет 16-ти процессорного сервера)
...
Рейтинг: 0 / 0
09.08.2007, 12:30
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34716632
Bogdanov Andrey
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Bogdanov Andrey
Участник
LittleCat Параллельно эти данные обрабатываются, агрегируются в вид, удобный для работы аналитики, и первоначальные данные стираются
Таким образом, утверждая, что "аналитические отчеты (по данным за последние 12 месяцев). " вы несколько слукавили. Аналитические отчеты получаются у вас не по исходным данным за 12 месяцев, а по некоторому весьма маленькому заранее аггрегированному массиву.
...
Рейтинг: 0 / 0
09.08.2007, 12:43
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34716678
Фотография Gluk (Kazan)
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gluk (Kazan)
Участник
LittleCat[quot Bogdanov Andrey]
Я же не решал задачу автора

Вы проигнорировали вопрос о том поддерживается ли ПРОИЗВОЛЬНАЯ аналитика или БД заранее построена таким образом, чтобы можно было строить ОПРЕДЕЛЕННЫЕ аналитические отчеты
...
Рейтинг: 0 / 0
09.08.2007, 12:51
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34716829
LittleCat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LittleCat
Участник
Bogdanov Andrey LittleCat Параллельно эти данные обрабатываются, агрегируются в вид, удобный для работы аналитики, и первоначальные данные стираются
Таким образом, утверждая, что "аналитические отчеты (по данным за последние 12 месяцев). " вы несколько слукавили. Аналитические отчеты получаются у вас не по исходным данным за 12 месяцев, а по некоторому весьма маленькому заранее аггрегированному массиву.
Я бы не назвал этот массив "весьма маленьким", за год 100-160 Гб агрегированных данных. Можно было бы и бОльший период обрабатывать, но на этапе проектирования немножко промахнулись с оценкой дискового объема.
Gluk (Kazan) Вы проигнорировали вопрос о том поддерживается ли ПРОИЗВОЛЬНАЯ аналитика или БД заранее построена таким образом, чтобы можно было строить ОПРЕДЕЛЕННЫЕ аналитические отчеты Поддерживается произвольная аналитика, однако под некоторые ключевые параметры анализа естественно была произведена оптимизация индексов :-) Идея была использовать Crystal Reports, чтобы потребитель сам ваял себе необходимые отчеты, однако идея эта оказалась порочной, увы... Не с точки зрения технической, конечно, а с психологической и организационной.
...
Рейтинг: 0 / 0
09.08.2007, 13:21
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34716961
Фотография Gluk (Kazan)
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gluk (Kazan)
Участник
LittleCatНе с точки зрения технической, конечно, а с психологической и организационной.

Слабо верится увы.
...
Рейтинг: 0 / 0
09.08.2007, 13:50
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34717042
LittleCat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
LittleCat
Участник
Gluk (Kazan) LittleCatНе с точки зрения технической, конечно, а с психологической и организационной.

Слабо верится увы.
А чего там не верится ? Пользователь сам отчеты писать не хочет, он хочет чтобы ему принесли готовенькие, но при этом часто не может толком объяснить, а чего же ему надо, с одной стороны, а с другой система вроде уже куплена и функционирует, и ему непонятно, а за что же еще деньги платить , ведь разработчику же раз плюнуть еще десяток отчетиков ему наклепать :-)
...
Рейтинг: 0 / 0
09.08.2007, 14:03
| Ответить | Цитировать | Написать  
Посоветуйте легковесную и быструю СУБД
    #34717092
Фотография Gluk (Kazan)
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gluk (Kazan)
Участник
LittleCat Gluk (Kazan) LittleCatНе с точки зрения технической, конечно, а с психологической и организационной.

Слабо верится увы.
А чего там не верится ? Пользователь сам отчеты писать не хочет, он хочет чтобы ему принесли готовенькие, но при этом часто не может толком объяснить, а чего же ему надо, с одной стороны, а с другой система вроде уже куплена и функционирует, и ему непонятно, а за что же еще деньги платить , ведь разработчику же раз плюнуть еще десяток отчетиков ему наклепать :-)

Угу, особливо если вспомнить, что ему раз плюнуть пару новых счетчиков создать для какого нибудь нового отчета ;)

У нас пользователи сами отчеты рисуют в FR, ничего, не надорвались пока
...
Рейтинг: 0 / 0
09.08.2007, 14:14
| Ответить | Цитировать | Написать  
25 сообщений из 32, страница 1 из 2
  1  все
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Посоветуйте легковесную и быструю СУБД
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&msg=34716580&tid=1553273]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 38ms
get topic data:
 9ms
get forum data:
 3ms
get page messages:
 56ms
get tp. blocked users:
 1ms
others: 246ms
total:  382ms
созд. / загр.: 382ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]