Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / СУБД для быстрой мат. обработки / 19 сообщений из 19, страница 1 из 1
05.02.2012, 22:05
    #37647875
glebkudr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
Есть алгоритмическая задача, которая хорошо описывается реляционными вычислениями.

Есть динамически создаваемые данные, в количестве 10-100 таблиц, в каждой таблице до миллиона записей (реально поменьше в среднем).

Задача из совокупности таблиц брать много разных последовательных джойнов.

Я попробовал работать с Postgres. Скорость исполнения запросов меня устраивает, но совершенно не устраивает начальная скорость записи всей этой байды на диск. Хочется что-то такое, что работает в оперативной памяти.

Основная среда для меня .net, было бы неплохо если бы эта БД с ней нормально стыковалась.

Можете что-нибудь посоветовать?
...
Рейтинг: 0 / 0
06.02.2012, 00:40
    #37647979
Степан H.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
glebkudr,

Как осуществляете вставку данных в Postgres? Все ли оптимизировано? Какова стурктура? Возможно Вам в профильной ветке помогут понять скорость вставки?
...
Рейтинг: 0 / 0
06.02.2012, 00:40
    #37647980
Warstone
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
glebkudrЯ попробовал работать с Postgres. Скорость исполнения запросов меня устраивает, но совершенно не устраивает начальная скорость записи всей этой байды на диск. Хочется что-то такое, что работает в оперативной памяти. man tmpfs до просветления.glebkudrОсновная среда для меня .net, было бы неплохо если бы эта БД с ней нормально стыковалась.man mono и уходить от мелкомягких.glebkudrМожете что-нибудь посоветовать?Оставайтесь с PostgreSQL.
...
Рейтинг: 0 / 0
06.02.2012, 09:37
    #37648132
Siemargl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
glebkudrЕсть алгоритмическая задача, которая хорошо описывается реляционными вычислениямиЭто чудо. Алгоритмические задачи и теория множеств как бы плохо стыкуются.

А уж не говоря о том, как ужасно реляционное исчисление выполняется СУБД.
...
Рейтинг: 0 / 0
06.02.2012, 10:52
    #37648242
Di_LIne
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
Siemargl, думаешь афтер сможет назвать 5 отличий от арифметики?....
...
Рейтинг: 0 / 0
06.02.2012, 11:40
    #37648321
glebkudr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
Про постгрес - тольком оптимизацией не занимался (гружу транзакциями конечно), но настройки сервера дефолтные.

Насчет реляционных вычислений - а где тогда они хорошо выполняются?

Моя задача в двух словах: Есть (N^2-N)/2 плоскостей в N-мерном пространстве. На каждой плоскости есть M точек. Нужно найти пересечение плоскостей в конечном пространстве.

Только не надо тут про функции, задача численная.
...
Рейтинг: 0 / 0
06.02.2012, 11:46
    #37648333
Siemargl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
glebkudrМоя задача в двух словах: Есть (N^2-N)/2 плоскостей в N-мерном пространстве. На каждой плоскости есть M точек. Нужно найти пересечение плоскостей в конечном пространстве.
При чем здесь М точек, определяют поверхности или надо проверить точки по наличию их в пересечении?

К реляционной математике отношение никакое, задача линейной алгебры.

Тему в раздел Программирование по хорошему - там математики живут.
...
Рейтинг: 0 / 0
06.02.2012, 12:02
    #37648374
glebkudr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
Siemargl,

Именно потому что я не хочу обсуждать решение задачи (поверьте, я потрачу слишком много своего и вашего времени), я тему завел здесь чтобы кто-нибудь знающий порекомендовал быструю СУБД которая работает по принципу временного хранилища в памяти. Другого мне сейчас не надо.
...
Рейтинг: 0 / 0
06.02.2012, 12:38
    #37648453
rfq
rfq
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
glebkudrХочется что-то такое, что работает в оперативной памяти.
А оно влезет в оперативную память? Если влезет, то зачем вам СУБД? Делайте все на массивах. Джойны не можете запрограммировать?
...
Рейтинг: 0 / 0
06.02.2012, 12:52
    #37648478
Степан H.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
glebkudrПро постгрес - тольком оптимизацией не занимался (гружу транзакциями конечно), но настройки сервера дефолтные.

1. И все-таки обратитесь в профильный форум http://www.sql.ru/forum/actualtopics.aspx?bid=7 и напишите КАК именно Вы осуществляете вставку? Используете INSERT или COPY ? в каковом состоянии индексы? план запроса, и т.д.
2. Конфиг по умолчанию? при объемах в миллион конфиг нужно править.

glebkudrМоя задача в двух словах: Есть (N^2-N)/2 плоскостей в N-мерном пространстве. На каждой плоскости есть M точек. Нужно найти пересечение плоскостей в конечном пространстве.
незнаю, возможно в postgis есть что-то для решения этой задачи
...
Рейтинг: 0 / 0
06.02.2012, 13:03
    #37648504
SergSuper
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
glebkudrПро постгрес - тольком оптимизацией не занимался (гружу транзакциями конечно), но настройки сервера дефолтные.

Насчет реляционных вычислений - а где тогда они хорошо выполняются?

Моя задача в двух словах: Есть (N^2-N)/2 плоскостей в N-мерном пространстве. На каждой плоскости есть M точек. Нужно найти пересечение плоскостей в конечном пространстве.

Только не надо тут про функции, задача численная.гложет любопытство - для чего это нужно?
...
Рейтинг: 0 / 0
06.02.2012, 13:40
    #37648584
glebkudr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
rfqЕсли влезет, то зачем вам СУБД? Делайте все на массивах. Джойны не можете запрограммировать?

Именно так, боюсь джойны написанные мной будут медленнее чем то что есть в БД, там же оптимизации, все такое.

авторгложет любопытство - для чего это нужно?

Одна прикладная задача из биоинформатики.
...
Рейтинг: 0 / 0
06.02.2012, 14:10
    #37648643
dvim
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
glebkudr,

Если родной язык - .Net попробуй MS SQL + такую вставку данных
http://habrahabr.ru/blogs/net/96145/

Мы когда перешли на нее на ряде задач - были ОЧЕНЬ довольны.

Вообще же Хочется что-то такое, что работает в оперативной памяти.
Кто мешает создать дататейбл, дальше же работать с ним через Linq.
SQL по сути остается тот же, данные же лежат в памяти.
...
Рейтинг: 0 / 0
06.02.2012, 14:13
    #37648649
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
glebkudrбоюсь джойны написанные мной будут медленнее чем то что есть в БД, там же оптимизации, все
такое.

Вряд ли. Магия в СУБД не предусмотрена. Всё что есть там, Вы можете запрограммировать так,
что оно будет работать гораздо быстрее из-за специфичной однопользовательности. Чтобы не
тратить время на выбор алгоритма, можете посмотреть план Ваших запросов к ПГ, там будет
написано как именно он их выполняет, какие методы использует.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
06.02.2012, 14:16
    #37648655
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
glebkudrтему завел здесь чтобы кто-нибудь знающий порекомендовал быструю СУБД которая работает по
принципу временного хранилища в памяти. Другого мне сейчас не надо.

Вот тут очень хвалили Н2.
Типа, она и быстрая, и в памяти...
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
06.02.2012, 15:17
    #37648745
glebkudr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
dvim,


У линка быстрый поиск, но крайне тормозные джойны, просто ужасно, я тестировал уже.

А вообще, спасибо всем, есть над чем подумать
...
Рейтинг: 0 / 0
06.02.2012, 15:29
    #37648768
Siemargl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
glebkudrrfqЕсли влезет, то зачем вам СУБД? Делайте все на массивах. Джойны не можете запрограммировать?

Именно так, боюсь джойны написанные мной будут медленнее чем то что есть в БД, там же оптимизации, все такое.
Быстрее массивов в памяти нет ничего. Даже если кусками мапить на диск при нехватке.

Готовые ассоциативные массивы есть в D, есть boost multi_index для С++.

Но если так решать задачу, человеку ничего не поможет ))
...
Рейтинг: 0 / 0
08.02.2012, 10:14
    #37651228
Alexey Kuznetsov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
Dimitry Sibiryakovочень хвалили Н2.
Типа, она и быстрая, и в памяти...


ему надо дот нет, а там джава, не подойдет
...
Рейтинг: 0 / 0
08.02.2012, 13:26
    #37651620
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
СУБД для быстрой мат. обработки
Alexey Kuznetsovему надо дот нет, а там джава, не подойдет
Да неужели? Когда я там сказал, что эта СУБД только для Явы, мне ответили что я нифига не
понимаю в апельсинах.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / СУБД для быстрой мат. обработки / 19 сообщений из 19, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]