|
|
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
lockyJaguarGX, да, эволюция баз данных проходит мимо меня. Как были флагманы - так и остались Ну, еще пара-тройка мошкары в год то появляется, то исчезает - и всё. Что же касается "почему предложил наихудший" - то мне есть что вам сказать Я предложил наилучший вариант для вашей постановки задачи. Не менее 3-х раз в год на сим форуме появляется то ли новичек, то ли тролль, с пылким взором, "совершенно нетривиальной задачей", "агромными абъёмами" и "миллиардами запросов в секунду". И не менее 4-х раз из этих 3-х оказывается, что человеку хватает или OracleXE, или SqlExpress, или, как вариант, текстового файла. Иногда (если есть к тому предпосылки, как-то - делфин, "не надо установщика") человек выбирает жарптицу. И, собственно, всё. Здесь я с вами полностью согласен. Меня всегда устраивала производительность SQL server/ но сейчас я столкнулся с проблемой. Где он начинает мне сильно портить нервы. Я многово в жизни незнаю. Я не люблю спорить. Даже если мы выясним кто круче, у меня все равно проблема останеться((( Спор не очем. Я приношу извинение Вам, если вас задело мои высказывания. Сорри. locky Разумеется, если бы мы были более осведомлены о том, что вы собираетесь делать, то, наверное, дали бы более точный ответ. тут у 50% населения задачи- с очень интенсивной обработкой данных. Правда, размер баз обычно не гигабайты, а сотни гигабайт (а у кое-кого и чуть ли не десятками терабайт меряется), но не будем путать этих мелочей. зы и еще смущает "не так много оперативки". Для чего "не много"? Загрузить базу в единицы гигабайт? Пока из доступной мне базы данных я работаю с примерно 5 Гигабайт. Но в самой центральной базе данных храниться сотни (я не знаю сколько там) террабайт истории движений цунами. Мне бы с этим разобраться пока.) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.03.2010, 11:10 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
JaguarGX Пока из доступной мне базы данных я работаю с примерно 5 Гигабайт. Но в самой центральной базе данных храниться сотни (я не знаю сколько там) террабайт истории движений цунами. Мне бы с этим разобраться пока.) Фотографии???? Опупенное "описание" задачи. Ну каков вопрос, таков и ответ. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.03.2010, 11:24 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
Siemargl, Там не фотографии , там снятые с датчиков параметры в каждой точке цунами пространственно временные характеристики, векторы скоростей, векторы ускорений и еще куча параметров. Если нет больше вариантов, тогда закрываем тему. Извините что отвлек. Всем большое спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.03.2010, 11:55 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
JaguarGX Там не фотографии , там снятые с датчиков параметры в каждой точке цунами пространственно временные характеристики, векторы скоростей, векторы ускорений и еще куча параметров. Скорость загрузки исходных данных из хранилища для моделирования имеет значение, только если одни и те же данные подкачиваются непрерывно. Как только Вы избавитесь от непрерывной подкачки и будете данные считывать одноразово, в начале расчёта или хотя бы последовательно по мере необходимости - задача станет тривиальной и выбор СУБД сведётся к стандартной последовательности. Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.03.2010, 12:02 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
JaguarGX, Для таких задач действительно, sql сервера подходят плохо. Надо смотреть базы key-value, например Berkeley или посмотреть, что есть Google Bigtable итд ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.03.2010, 12:09 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
JaguarGX, мне кажется, СУБД вам нафиг не нужны. Вам и правда нужен или беркли, или уж совсем ручной и самописный индексный доступ к бинарным файлам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.03.2010, 16:56 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
Спасибо большое за критику и за предложения Всем участникам)) Я остановился на : column-based DB MonetDB x100 Hypertable Google Bigtable (данные хранятся в сжатом виде) key-value model Redis (Stable release 1.2.0 / January 14, 2010) Дышаший проект. LightCloud: http://opensource.plurk.com/LightCloud/ http://tokyocabinet.sourceforge.net/benchmark.pdf in-memory database Oracle Berkeley DB (can be configured to run in memory only) Интересный вариант, нопрепятствие моя оперативка. Посмотрю, попробую. //----------------------------------------------------------------------------------------- Один из факторов конечно был: насколько проект не заброшен в плане релизов. Как locky правильно сказал. Реально мошкара появляется из ниоткуда и исчезает в никуда!!! Буду дальше искать, сравнивать, пробовать... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.03.2010, 17:15 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
Еще есть Oracle TimesTen. Исходно существует ТОЛЬКО в оперативке. Слушайте, цунами уносят сотни ЖИЗНЕЙ. А тут такая проблема - оперативки не хватает!. Может скинемся человеку по 500р на оперативку? :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.03.2010, 17:55 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
AlexsalogЕще есть Oracle TimesTen. Исходно существует ТОЛЬКО в оперативке. Слушайте, цунами уносят сотни ЖИЗНЕЙ. А тут такая проблема - оперативки не хватает!. Может скинемся человеку по 500р на оперативку? :-) )) Конечно я себе сделаю оперативку больше, но со временем. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.03.2010, 18:16 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
JaguarGX, Там где будет работать окончательная модель, там все нормально с оперативкой)). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.03.2010, 18:19 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
JaguarGX, таки подумайте над самописным способом доступа к данным насколько я понянимаю, исходные данные для расчетов - RO, конкуренции - никакой, транзакции и все прелести ACID - нафиг нужны. А важен именно максимально быстрый доступ к некой многомерной матрице ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.03.2010, 18:52 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
ну и в дополнение купить диск SSD. нынче вроде как 250 гиг уже за 250 баксов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.03.2010, 19:09 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
Mumps разрабатывался, помоему, изначально для подобных задачь. Использовать систему без селектов, обращением к многомерным массивам непосредственно. Можно загружать многомерный массив в память в томже виде, что хранится на харде. Как этим пользоваться подробнее можете спросить в ветке CACHE ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.03.2010, 10:47 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
AhillesMumps разрабатывался, помоему, изначально для подобных задачь. Использовать систему без селектов, обращением к многомерным массивам непосредственно. Можно загружать многомерный массив в память в томже виде, что хранится на харде. Как этим пользоваться подробнее можете спросить в ветке CACHE если мне не изменяет маразма, то М разрабатывался для экспертных систем. И глобали - это не матрицы а деревья. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.03.2010, 11:05 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
lockyесли мне не изменяет маразма, то М разрабатывался для экспертных систем. И глобали - это не матрицы а деревья. Ну в первом вы правы. А второе Деревья -это по сути и есть многомерные массивы. матрици - это двумерные массивы , кажется. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.03.2010, 11:24 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
СУБД использовать как хранилище данных, из которой читать данные в соответствующие алгоритму структурам- массивам и проч, при этом работа в памяти. Вообще-то уменьшение времени расчета в таких задачах получается скорее всего улучшением алгоритма: профилирование, оптимизация участков кода которые вызываются чаще всего, или вообще перестройка алгоритма чтобы выполнялся за меньшее кол-во вычислений. Также, если есть необходимость, промежуточные данные можно сбрасывать не в текстовые, а в типизированные файлы, чтение/запись в которые выполняются быстрее. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.03.2010, 11:59 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
У меня sqlite в биллинге миллион селектов в минуту выполняет на одном ядре (нередко в конце месяца заказчик обнаруживает, что не добавил или не удалил какое-либо оборудование и запускает полную перебиллингацию, вот здесь и подсчитал ради интереса число операций; кол-во инсертов с ходу не помню, там число не такое круглое было), чтобы занять все доступные ядра достаточно запустить нужное кол-во процессов-обработчиков. Если вам быстрее надо, делайте хэш-массив на С, СУБД тут уже имхо не помогут. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.03.2010, 21:19 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
если база данных не будет использоваться для сортировки/обработки/валидирования данных, то возможно "комбинированное" применение, когда данные хранятся в виде файлов (блоб в своем формате), а мета-данные в базе. например сами данные датчика/группе датчиков за период времени хранятся файле, а инфа о датчике, периоде времени, месторасположении и проч. хранятся в базе вместе с "ссылкой" на на файл с данными. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.03.2010, 21:54 |
|
||
|
Самая быстрая
|
|||
|---|---|---|---|
|
#18+
JaguarGXСпасибо большое за критику и за предложения Всем участникам)) Я остановился на : column-based DB MonetDB x100 Hypertable Google Bigtable (данные хранятся в сжатом виде) А для чего Вам нужны column-based DB? Единственный их серьезный плюс, если данные они Вам смогут представить в уже агрегированнном виде по большому массиву данных -т.е. все свои вычисления Вы можете написать в виде SQL запроса, в чем я сомневаюсь. А просто быстро вернуть большой массив данных - единственный вариант - увеличить мощность железа, с чем "флагманы-самосвалы" справляются лучше. По крайней мере авторы MonetDB честно признаюстя что все это у них реализовано плохо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.03.2010, 11:40 |
|
||
|
|

start [/forum/topic.php?fid=35&gotonew=1&tid=1552825]: |
0ms |
get settings: |
8ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
62ms |
get topic data: |
11ms |
get first new msg: |
7ms |
get forum data: |
3ms |
get page messages: |
56ms |
get tp. blocked users: |
1ms |
| others: | 11ms |
| total: | 180ms |

| 0 / 0 |
