powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Самая быстрая
19 сообщений из 44, страница 2 из 2
Самая быстрая
    #36518925
JaguarGX
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
lockyJaguarGX,

да, эволюция баз данных проходит мимо меня.
Как были флагманы - так и остались
Ну, еще пара-тройка мошкары в год то появляется, то исчезает - и всё.


Что же касается "почему предложил наихудший" - то мне есть что вам сказать
Я предложил наилучший вариант для вашей постановки задачи.
Не менее 3-х раз в год на сим форуме появляется то ли новичек, то ли тролль, с пылким взором, "совершенно нетривиальной задачей", "агромными абъёмами" и "миллиардами запросов в секунду".
И не менее 4-х раз из этих 3-х оказывается, что человеку хватает или OracleXE, или SqlExpress, или, как вариант, текстового файла.
Иногда (если есть к тому предпосылки, как-то - делфин, "не надо установщика") человек выбирает жарптицу.
И, собственно, всё.

Здесь я с вами полностью согласен. Меня всегда устраивала производительность SQL server/ но сейчас я столкнулся с проблемой. Где он начинает мне сильно портить нервы. Я многово в жизни незнаю. Я не люблю спорить. Даже если мы выясним кто круче, у меня все равно проблема останеться((( Спор не очем. Я приношу извинение Вам, если вас задело мои высказывания. Сорри.

locky
Разумеется, если бы мы были более осведомлены о том, что вы собираетесь делать, то, наверное, дали бы более точный ответ.
тут у 50% населения задачи- с очень интенсивной обработкой данных. Правда, размер баз обычно не гигабайты, а сотни гигабайт (а у кое-кого и чуть ли не десятками терабайт меряется), но не будем путать этих мелочей.
зы и еще смущает "не так много оперативки".
Для чего "не много"? Загрузить базу в единицы гигабайт?

Пока из доступной мне базы данных я работаю с примерно 5 Гигабайт. Но в самой центральной базе данных храниться сотни (я не знаю сколько там) террабайт истории движений цунами.
Мне бы с этим разобраться пока.)
...
Рейтинг: 0 / 0
Самая быстрая
    #36518951
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JaguarGX

Пока из доступной мне базы данных я работаю с примерно 5 Гигабайт. Но в самой центральной базе данных храниться сотни (я не знаю сколько там) террабайт истории движений цунами.
Мне бы с этим разобраться пока.)

Фотографии????

Опупенное "описание" задачи. Ну каков вопрос, таков и ответ.
...
Рейтинг: 0 / 0
Самая быстрая
    #36518983
JaguarGX
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Siemargl,

Там не фотографии , там снятые с датчиков параметры в каждой точке цунами пространственно временные характеристики, векторы скоростей, векторы ускорений и еще куча параметров.

Если нет больше вариантов, тогда закрываем тему. Извините что отвлек. Всем большое спасибо.
...
Рейтинг: 0 / 0
Самая быстрая
    #36518992
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JaguarGX
Там не фотографии , там снятые с датчиков параметры в каждой точке
цунами пространственно временные характеристики, векторы скоростей,
векторы ускорений и еще куча параметров.

Скорость загрузки исходных данных из хранилища для моделирования имеет
значение, только если одни и те же данные подкачиваются непрерывно. Как
только Вы избавитесь от непрерывной подкачки и будете данные считывать
одноразово, в начале расчёта или хотя бы последовательно по мере
необходимости - задача станет тривиальной и выбор СУБД сведётся к
стандартной последовательности.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Самая быстрая
    #36519001
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JaguarGX,

Для таких задач действительно, sql сервера подходят плохо. Надо смотреть базы key-value,
например Berkeley
или посмотреть, что есть Google Bigtable итд
...
Рейтинг: 0 / 0
Самая быстрая
    #36519338
locky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JaguarGX,

мне кажется, СУБД вам нафиг не нужны.
Вам и правда нужен или беркли, или уж совсем ручной и самописный индексный доступ к бинарным файлам.
...
Рейтинг: 0 / 0
Самая быстрая
    #36519366
JaguarGX
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Спасибо большое за критику и за предложения Всем участникам))

Я остановился на :

column-based DB

MonetDB x100
Hypertable
Google Bigtable (данные хранятся в сжатом виде)

key-value model

Redis (Stable release 1.2.0 / January 14, 2010) Дышаший проект.
LightCloud:
http://opensource.plurk.com/LightCloud/
http://tokyocabinet.sourceforge.net/benchmark.pdf

in-memory database
Oracle Berkeley DB (can be configured to run in memory only) Интересный вариант, нопрепятствие моя оперативка. Посмотрю, попробую.

//-----------------------------------------------------------------------------------------
Один из факторов конечно был: насколько проект не заброшен в плане релизов.

Как locky правильно сказал. Реально мошкара появляется из ниоткуда и исчезает в никуда!!!


Буду дальше искать, сравнивать, пробовать...
...
Рейтинг: 0 / 0
Самая быстрая
    #36519442
Alexsalog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Еще есть Oracle TimesTen. Исходно существует ТОЛЬКО в оперативке.
Слушайте, цунами уносят сотни ЖИЗНЕЙ. А тут такая проблема - оперативки не хватает!. Может скинемся человеку по 500р на оперативку? :-)
...
Рейтинг: 0 / 0
Самая быстрая
    #36519477
JaguarGX
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
AlexsalogЕще есть Oracle TimesTen. Исходно существует ТОЛЬКО в оперативке.
Слушайте, цунами уносят сотни ЖИЗНЕЙ. А тут такая проблема - оперативки не хватает!. Может скинемся человеку по 500р на оперативку? :-)

)) Конечно я себе сделаю оперативку больше, но со временем.
...
Рейтинг: 0 / 0
Самая быстрая
    #36519479
JaguarGX
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
JaguarGX,

Там где будет работать окончательная модель, там все нормально с оперативкой)).
...
Рейтинг: 0 / 0
Самая быстрая
    #36519520
locky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JaguarGX,

таки подумайте над самописным способом доступа к данным
насколько я понянимаю, исходные данные для расчетов - RO, конкуренции - никакой, транзакции и все прелести ACID - нафиг нужны.
А важен именно максимально быстрый доступ к некой многомерной матрице
...
Рейтинг: 0 / 0
Самая быстрая
    #36519546
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ну и в дополнение купить диск SSD. нынче вроде как 250 гиг уже за 250 баксов.
...
Рейтинг: 0 / 0
Самая быстрая
    #36520232
Ahilles
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Mumps разрабатывался, помоему, изначально для подобных задачь. Использовать систему без селектов, обращением к многомерным массивам непосредственно. Можно загружать многомерный массив в память в томже виде, что хранится на харде. Как этим пользоваться подробнее можете спросить в ветке CACHE
...
Рейтинг: 0 / 0
Самая быстрая
    #36520281
locky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AhillesMumps разрабатывался, помоему, изначально для подобных задачь. Использовать систему без селектов, обращением к многомерным массивам непосредственно. Можно загружать многомерный массив в память в томже виде, что хранится на харде. Как этим пользоваться подробнее можете спросить в ветке CACHE
если мне не изменяет маразма, то М разрабатывался для экспертных систем.
И глобали - это не матрицы а деревья.
...
Рейтинг: 0 / 0
Самая быстрая
    #36520329
Ahilles
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
lockyесли мне не изменяет маразма, то М разрабатывался для экспертных систем.
И глобали - это не матрицы а деревья.
Ну в первом вы правы.
А второе Деревья -это по сути и есть многомерные массивы. матрици - это двумерные массивы , кажется.
...
Рейтинг: 0 / 0
Самая быстрая
    #36520462
Фотография S.G.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
СУБД использовать как хранилище данных, из которой читать данные в соответствующие алгоритму структурам- массивам и проч, при этом работа в памяти. Вообще-то уменьшение времени расчета в таких задачах получается скорее всего улучшением алгоритма: профилирование, оптимизация участков кода которые вызываются чаще всего, или вообще перестройка алгоритма чтобы выполнялся за меньшее кол-во вычислений. Также, если есть необходимость, промежуточные данные можно сбрасывать не в текстовые, а в типизированные файлы, чтение/запись в которые выполняются быстрее.
...
Рейтинг: 0 / 0
Самая быстрая
    #36521983
MBG
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MBG
Гость
У меня sqlite в биллинге миллион селектов в минуту выполняет на одном ядре (нередко в конце месяца заказчик обнаруживает, что не добавил или не удалил какое-либо оборудование и запускает полную перебиллингацию, вот здесь и подсчитал ради интереса число операций; кол-во инсертов с ходу не помню, там число не такое круглое было), чтобы занять все доступные ядра достаточно запустить нужное кол-во процессов-обработчиков. Если вам быстрее надо, делайте хэш-массив на С, СУБД тут уже имхо не помогут.
...
Рейтинг: 0 / 0
Самая быстрая
    #36522023
Konstantin~
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
если база данных не будет использоваться для сортировки/обработки/валидирования данных, то возможно "комбинированное" применение, когда данные хранятся в виде файлов (блоб в своем формате), а мета-данные в базе.

например сами данные датчика/группе датчиков за период времени хранятся файле, а инфа о датчике, периоде времени, месторасположении и проч. хранятся в базе вместе с "ссылкой" на на файл с данными.
...
Рейтинг: 0 / 0
Самая быстрая
    #36522778
Локшин Марк
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JaguarGXСпасибо большое за критику и за предложения Всем участникам))
Я остановился на :
column-based DB
MonetDB x100
Hypertable
Google Bigtable (данные хранятся в сжатом виде)

А для чего Вам нужны column-based DB? Единственный их серьезный плюс, если данные они Вам смогут представить в уже агрегированнном виде по большому массиву данных -т.е. все свои вычисления Вы можете написать в виде SQL запроса, в чем я сомневаюсь. А просто быстро вернуть большой массив данных - единственный вариант - увеличить мощность железа, с чем "флагманы-самосвалы" справляются лучше. По крайней мере авторы MonetDB честно признаюстя что все это у них реализовано плохо.
...
Рейтинг: 0 / 0
19 сообщений из 44, страница 2 из 2
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Самая быстрая
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]