|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
Есть алгоритмическая задача, которая хорошо описывается реляционными вычислениями. Есть динамически создаваемые данные, в количестве 10-100 таблиц, в каждой таблице до миллиона записей (реально поменьше в среднем). Задача из совокупности таблиц брать много разных последовательных джойнов. Я попробовал работать с Postgres. Скорость исполнения запросов меня устраивает, но совершенно не устраивает начальная скорость записи всей этой байды на диск. Хочется что-то такое, что работает в оперативной памяти. Основная среда для меня .net, было бы неплохо если бы эта БД с ней нормально стыковалась. Можете что-нибудь посоветовать? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.02.2012, 22:05 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
glebkudr, Как осуществляете вставку данных в Postgres? Все ли оптимизировано? Какова стурктура? Возможно Вам в профильной ветке помогут понять скорость вставки? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2012, 00:40 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
glebkudrЯ попробовал работать с Postgres. Скорость исполнения запросов меня устраивает, но совершенно не устраивает начальная скорость записи всей этой байды на диск. Хочется что-то такое, что работает в оперативной памяти. man tmpfs до просветления.glebkudrОсновная среда для меня .net, было бы неплохо если бы эта БД с ней нормально стыковалась.man mono и уходить от мелкомягких.glebkudrМожете что-нибудь посоветовать?Оставайтесь с PostgreSQL. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2012, 00:40 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
glebkudrЕсть алгоритмическая задача, которая хорошо описывается реляционными вычислениямиЭто чудо. Алгоритмические задачи и теория множеств как бы плохо стыкуются. А уж не говоря о том, как ужасно реляционное исчисление выполняется СУБД. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2012, 09:37 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
Siemargl, думаешь афтер сможет назвать 5 отличий от арифметики?.... ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2012, 10:52 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
Про постгрес - тольком оптимизацией не занимался (гружу транзакциями конечно), но настройки сервера дефолтные. Насчет реляционных вычислений - а где тогда они хорошо выполняются? Моя задача в двух словах: Есть (N^2-N)/2 плоскостей в N-мерном пространстве. На каждой плоскости есть M точек. Нужно найти пересечение плоскостей в конечном пространстве. Только не надо тут про функции, задача численная. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2012, 11:40 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
glebkudrМоя задача в двух словах: Есть (N^2-N)/2 плоскостей в N-мерном пространстве. На каждой плоскости есть M точек. Нужно найти пересечение плоскостей в конечном пространстве. При чем здесь М точек, определяют поверхности или надо проверить точки по наличию их в пересечении? К реляционной математике отношение никакое, задача линейной алгебры. Тему в раздел Программирование по хорошему - там математики живут. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2012, 11:46 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
Siemargl, Именно потому что я не хочу обсуждать решение задачи (поверьте, я потрачу слишком много своего и вашего времени), я тему завел здесь чтобы кто-нибудь знающий порекомендовал быструю СУБД которая работает по принципу временного хранилища в памяти. Другого мне сейчас не надо. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2012, 12:02 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
glebkudrХочется что-то такое, что работает в оперативной памяти. А оно влезет в оперативную память? Если влезет, то зачем вам СУБД? Делайте все на массивах. Джойны не можете запрограммировать? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2012, 12:38 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
glebkudrПро постгрес - тольком оптимизацией не занимался (гружу транзакциями конечно), но настройки сервера дефолтные. 1. И все-таки обратитесь в профильный форум http://www.sql.ru/forum/actualtopics.aspx?bid=7 и напишите КАК именно Вы осуществляете вставку? Используете INSERT или COPY ? в каковом состоянии индексы? план запроса, и т.д. 2. Конфиг по умолчанию? при объемах в миллион конфиг нужно править. glebkudrМоя задача в двух словах: Есть (N^2-N)/2 плоскостей в N-мерном пространстве. На каждой плоскости есть M точек. Нужно найти пересечение плоскостей в конечном пространстве. незнаю, возможно в postgis есть что-то для решения этой задачи ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2012, 12:52 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
glebkudrПро постгрес - тольком оптимизацией не занимался (гружу транзакциями конечно), но настройки сервера дефолтные. Насчет реляционных вычислений - а где тогда они хорошо выполняются? Моя задача в двух словах: Есть (N^2-N)/2 плоскостей в N-мерном пространстве. На каждой плоскости есть M точек. Нужно найти пересечение плоскостей в конечном пространстве. Только не надо тут про функции, задача численная.гложет любопытство - для чего это нужно? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2012, 13:03 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
rfqЕсли влезет, то зачем вам СУБД? Делайте все на массивах. Джойны не можете запрограммировать? Именно так, боюсь джойны написанные мной будут медленнее чем то что есть в БД, там же оптимизации, все такое. авторгложет любопытство - для чего это нужно? Одна прикладная задача из биоинформатики. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2012, 13:40 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
glebkudr, Если родной язык - .Net попробуй MS SQL + такую вставку данных http://habrahabr.ru/blogs/net/96145/ Мы когда перешли на нее на ряде задач - были ОЧЕНЬ довольны. Вообще же Хочется что-то такое, что работает в оперативной памяти. Кто мешает создать дататейбл, дальше же работать с ним через Linq. SQL по сути остается тот же, данные же лежат в памяти. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2012, 14:10 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
glebkudrбоюсь джойны написанные мной будут медленнее чем то что есть в БД, там же оптимизации, все такое. Вряд ли. Магия в СУБД не предусмотрена. Всё что есть там, Вы можете запрограммировать так, что оно будет работать гораздо быстрее из-за специфичной однопользовательности. Чтобы не тратить время на выбор алгоритма, можете посмотреть план Ваших запросов к ПГ, там будет написано как именно он их выполняет, какие методы использует. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2012, 14:13 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
glebkudrтему завел здесь чтобы кто-нибудь знающий порекомендовал быструю СУБД которая работает по принципу временного хранилища в памяти. Другого мне сейчас не надо. Вот тут очень хвалили Н2. Типа, она и быстрая, и в памяти... Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2012, 14:16 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
dvim, У линка быстрый поиск, но крайне тормозные джойны, просто ужасно, я тестировал уже. А вообще, спасибо всем, есть над чем подумать ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2012, 15:17 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
glebkudrrfqЕсли влезет, то зачем вам СУБД? Делайте все на массивах. Джойны не можете запрограммировать? Именно так, боюсь джойны написанные мной будут медленнее чем то что есть в БД, там же оптимизации, все такое. Быстрее массивов в памяти нет ничего. Даже если кусками мапить на диск при нехватке. Готовые ассоциативные массивы есть в D, есть boost multi_index для С++. Но если так решать задачу, человеку ничего не поможет )) ... |
|||
:
Нравится:
Не нравится:
|
|||
06.02.2012, 15:29 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakovочень хвалили Н2. Типа, она и быстрая, и в памяти... ему надо дот нет, а там джава, не подойдет ... |
|||
:
Нравится:
Не нравится:
|
|||
08.02.2012, 10:14 |
|
СУБД для быстрой мат. обработки
|
|||
---|---|---|---|
#18+
Alexey Kuznetsovему надо дот нет, а там джава, не подойдет Да неужели? Когда я там сказал, что эта СУБД только для Явы, мне ответили что я нифига не понимаю в апельсинах. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
08.02.2012, 13:26 |
|
|
start [/forum/topic.php?fid=35&fpage=11&tid=1552587]: |
0ms |
get settings: |
10ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
24ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
59ms |
get tp. blocked users: |
2ms |
others: | 10ms |
total: | 136ms |
0 / 0 |