Выбираю самую быструю SQL базу данных. Остановился на column based DB's.

Пока выбор пал на MonetDB x100

1. Хочу узнать, есть еще какая нибудь база данных. Ссылки на бенчмарки пожалуйста или просто свои впечатления))
2. Есть ли база данных, которая делает ставку на multi core,тем самым рвет всех на многоядерных процессорах.

http://www.mysqlperformanceblog.com/2009/10/02/analyzing-air-traffic-performance-with-infobright-and-monetdb/

С уважением, JaguarGX

locky1. самой быстрой нет
С чего Вы это взяли? Сотни людей в мире каждый день заняты над академическими проектами, чтобы увеличить производительность. Тонкая настройка только в путь.

locky никто не делает "ставку на мультикоре"
http://en.wikipedia.org/wiki/Parallel_database
http://storagemojo.com/2010/02/08/a-petascale-parallel-database/

locky 3. флагманы рвут всех. в т.ч. и друг друга
Флагманы отчасти закрывают достойные проекты своими адскими маркетинговыми машинами. Есть много интересных free проектов.

SiemargllockyJaguarGX,
1. самой быстрой нет

+1
Но для определенных задач быстрее будут специализированные СУБД. Для каждого типа - своя. И тюнить ручками.

Здесь бессмысленно спорить, вами вы оба правы. У меня очень очень интенсивная обработка данных в секунду и база на гигабайты. Собственно уперся в скорость select и insert. Думал выбрать database, которая в памяти храниться, но у меня не так много оперативки как на харде)). Поэтому может кто нибудь еще подскажет что нибудь не уступающей monetdb?

Зайцев ФёдорTJ7 самая быстрая

Тестов никаких нету, поэтому это можно поставить под сомнение. Все равно спасибо.

Ggg_oldИсходя из условияй задачи (которые не описаны ;-) ) предложу в качестве субд текстовый файл. :-))

Хм. Интересный вариант, попробую.

Нашел еще MongoDB:

http://www.mongodb.org/display/DOCS/Benchmarks
http://www.snailinaturtleneck.com/blog/2009/06/29/couchdb-vs-mongodb-benchmark/

http://habrahabr.ru/blogs/webdev/74683/

Как вариант: The Hypertable

The Hypertable team has been primarily focused on performance. The code was made available as open source fairly recently.

The HBase team has been focused more on scalability and robustness, as well as building community through participation as a subproject of Hadoop. HBase was developed in a fully open source manner from the start.

Отсюда:
http://www.linkedin.com/answers/technology/information-technology/information-storage/TCH_ITS_IST/200121-1689952


http://www.hypertable.org/index.html
http://code.google.com/p/hypertable/wiki/PerformanceTestAOLQueryLog

lockyЯ бы высказался так
Маловероятно (хотя и не совсем исключено) что задача топикстартера представляет из себя нечто совершенно уникальное, с абсолютно уникальными алгоритмами и требованиями к СУБД
color]

А я бы так. Здесь я топикстартер и это отлично, а на других форумах нет, особенно зарубежных.
Алгоритм - очень интенсивные вычисления на CUDA. Я выбираю место для хранения данных. Массивы данных просто огромны. Скорость на первом месте - стоит.

Я к Вам отношусь с уважением . Если у Вас "Сообщений: 15843 ",то почему вы мне предложили самый наихудший вариант (флагманские базы данных). Изучать одно и тоже из года в год - это путь в никуда. Если Вы думаете, что кроме них нет других, и за то большое кол-во лет которые вы занимаетеь базами данных Вы только их и знаете , то мне вас жаль. Поверьте мне, я не один год занимаюсь базами даннных, чтобы отказаться от "флагманов-самосвалов" . в этой задаче. Эволюция баз данных видимо начала проходить мимо Вас.

locky
И если исходить из таких соображений - то не нужно искать "серебряную пулю", а брать нормальный, надежный инструмент, имеющий хорошую репутацию, хорошую поддержку, имеющий широкий круг использования и массу спецов, готовых помочь в сложной ситуации
[quot locky]Спасибо большое за совет.

[quot locky]There’s no silver bullet!
Если Вы так думаете , то Вы никогда ее не найдете. Может стоит начать думать по другому?
-------------------------

JaguarGX,

Я здесь задаю вопрос, потому-что здесь может быть, тоже есть люди которые отвечали уже себе на этот вопрос. Интересно узнать их мнение. Я не хочу никого обидеть . Мне просто нужны пожелания и советы спецов.

lockyВсе таки интересно, что за задача
уж ли не, упаси господь, очередная биржа с автоторговлей?
-------------------------
There’s no silver bullet!

Спасибо, что вы меня правильно поняли. Не стали серчать на меня. Алгритм для симулирования и подгонки моделей развития цунами. Данных с датчиков после цунами куча от место положения до напрвления , скорости и.т.д. Пока подгонишь модель к полученным данным, очень долго времени проходит. потом еще и симуляция. Короче стараюсь везде выжать. Щас на персоналке работаю, потом буду на кластер переносить рачеты. Но база данных - это пока для меня остается слабым местом. Увеличение увеличения времени выполнения select хотя бы на 0.2 с уже сущесвенно вносит вклад в общее время.

JaguarGX,

Не 0.2 а 0.02 / Порядок - сотые доли секунды, имел ввиду. Сорри.

SergSuperJaguarGXАлгоритм - очень интенсивные вычисления на CUDA. Я выбираю место для хранения данных. Массивы данных просто огромны . Скорость на первом месте - стоит.


Также не хочу никого обидеть, но на мой взгляд несколько странно слышать такие критерии от человека, не один год занимающегося базами данных.

Норм все. У меня решение задачи опредление параметров по модели порядка 7-8 часов занимает. Это зависит от точности решения, конечно. При увеличении скорости select на 0.05 - 0.1 с. уже занимает чуть больше 6 часов. (с той-же точностью.)

lockyJaguarGX,

да, эволюция баз данных проходит мимо меня.
Как были флагманы - так и остались
Ну, еще пара-тройка мошкары в год то появляется, то исчезает - и всё.


Что же касается "почему предложил наихудший" - то мне есть что вам сказать
Я предложил наилучший вариант для вашей постановки задачи.
Не менее 3-х раз в год на сим форуме появляется то ли новичек, то ли тролль, с пылким взором, "совершенно нетривиальной задачей", "агромными абъёмами" и "миллиардами запросов в секунду".
И не менее 4-х раз из этих 3-х оказывается, что человеку хватает или OracleXE, или SqlExpress, или, как вариант, текстового файла.
Иногда (если есть к тому предпосылки, как-то - делфин, "не надо установщика") человек выбирает жарптицу.
И, собственно, всё.

Здесь я с вами полностью согласен. Меня всегда устраивала производительность SQL server/ но сейчас я столкнулся с проблемой. Где он начинает мне сильно портить нервы. Я многово в жизни незнаю. Я не люблю спорить. Даже если мы выясним кто круче, у меня все равно проблема останеться((( Спор не очем. Я приношу извинение Вам, если вас задело мои высказывания. Сорри.

locky
Разумеется, если бы мы были более осведомлены о том, что вы собираетесь делать, то, наверное, дали бы более точный ответ.
тут у 50% населения задачи- с очень интенсивной обработкой данных. Правда, размер баз обычно не гигабайты, а сотни гигабайт (а у кое-кого и чуть ли не десятками терабайт меряется), но не будем путать этих мелочей.
зы и еще смущает "не так много оперативки".
Для чего "не много"? Загрузить базу в единицы гигабайт?

Пока из доступной мне базы данных я работаю с примерно 5 Гигабайт. Но в самой центральной базе данных храниться сотни (я не знаю сколько там) террабайт истории движений цунами.
Мне бы с этим разобраться пока.)

Siemargl,

Там не фотографии , там снятые с датчиков параметры в каждой точке цунами пространственно временные характеристики, векторы скоростей, векторы ускорений и еще куча параметров.

Если нет больше вариантов, тогда закрываем тему. Извините что отвлек. Всем большое спасибо.

Спасибо большое за критику и за предложения Всем участникам))

Я остановился на :

column-based DB

MonetDB x100
Hypertable
Google Bigtable (данные хранятся в сжатом виде)

key-value model

Redis (Stable release 1.2.0 / January 14, 2010) Дышаший проект.
LightCloud:
http://opensource.plurk.com/LightCloud/
http://tokyocabinet.sourceforge.net/benchmark.pdf

in-memory database
Oracle Berkeley DB (can be configured to run in memory only) Интересный вариант, нопрепятствие моя оперативка. Посмотрю, попробую.

//-----------------------------------------------------------------------------------------
Один из факторов конечно был: насколько проект не заброшен в плане релизов.

Как locky правильно сказал. Реально мошкара появляется из ниоткуда и исчезает в никуда!!!


Буду дальше искать, сравнивать, пробовать...

AlexsalogЕще есть Oracle TimesTen. Исходно существует ТОЛЬКО в оперативке.
Слушайте, цунами уносят сотни ЖИЗНЕЙ. А тут такая проблема - оперативки не хватает!. Может скинемся человеку по 500р на оперативку? :-)

)) Конечно я себе сделаю оперативку больше, но со временем.

JaguarGX,

Там где будет работать окончательная модель, там все нормально с оперативкой)).