|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
Добрый день! Подскажите пожалуйста подходящее хранилище для хранения множества очень маленьких типовых связаннных объектов. Требования: неограниченная вложенность возможность циклических ссылок возможность на лету изменять ссылки большая скорость выборки(!), изменения и удаления (вставки не так важно) API под Java или .Net. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.10.2011, 18:41 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
Random_Goodman, Что есть нейронная сеть? Набор связанных нейронов. Сколько нейронов в сети? Один и более. Что есть нейрон? Набор коэффициентов связи (синапсов) и выходная функция. Со сколькими нейронами связан синапс? С одним. Что и как будем хранить? Например, так: TABLE nets net_id INT PK TABLE neurons_links net_id INT neuron_id INT PK (net_id, neuron_id) TABLE neurons neuron_id INT PK func TEXT TABLE synapses neuron_id INT synapse_id INT link_neuron_id INT coef REAL PK (neuron_id, synapse_id) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2011, 13:52 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
В данном случае традиционные SQL не подходят, т. к. связи должны изменяться на лету в зависимости от внутренней логики (да, забыл написать. нейрон должен поддерживать простые изменяющиеся на лету внутренние алгоритмы в зависимости от входных-выходных параметров). Связей может быть больше одной, до 8. Таких нейронов ОЧЕНЬ много. Традиционные СУБД не потянут. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 10:39 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
Random_GoodmanВ данном случае традиционные SQL не подходят, т. к. связи должны изменяться на лету в зависимости от внутренней логики (да, забыл написать. нейрон должен поддерживать простые изменяющиеся на лету внутренние алгоритмы в зависимости от входных-выходных параметров). Связей может быть больше одной, до 8. Таких нейронов ОЧЕНЬ много. Традиционные СУБД не потянут.Потянут, традиционные СУБД ОЧЕНЬ быстро работают ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 10:51 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
Random_Goodman, Чем же они не подходят? Или вы реализуете нейронную сеть прямо в базе? ;) Скорость работы с базой напрямую зависит от того, как вы с ней работаете. Используйте транзакции для сохранения изменений конфигурации - это будет намного быстрее, чем сохранять каждую связь отдельно, в отдельных транзакциях. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 11:37 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
тем не менее, я не имею ни малейшего представления, каким некривым образом зашить изменяющуюся логику поведения в объект нейрона ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 11:38 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
Структурно, нейронная сеть - это граф: набор узлов с их свойствами и направленные ребра со своими свойствами. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 11:39 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
RXLЧем же они не подходят? Или вы реализуете нейронную сеть прямо в базе? ;)что-то близкое к этому. Т. е. требуется некий черный ящик, у которого есть вход и выход и который можно реализовать (поведение) прямо внутри него, не прибегая к различным извращениям снаружи. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 11:40 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
Random_Goodmanтем не менее, я не имею ни малейшего представления, каким некривым образом зашить изменяющуюся логику поведения в объект нейрона Что вы имеете в виду под "изменяющуюся логику поведения в объект нейрона"? Изменение коэффициентов, перекоммутация связей, изменение числа нейронов? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 11:43 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
RXLСтруктурно, нейронная сеть - это граф: набор узлов с их свойствами и направленные ребра со своими свойствами. Да, только вот ребра имеют свойства динамически переопределяться, как и элементы. Т. е. по некоему условию ребро может быть разрушено или создано и направлено на совершенно другой узел (который, в свою очередь, должен иметь набор свойств, определяющих, что он готов принять ребро с конкретными свойствами). ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 11:44 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
RXLЧто вы имеете в виду под "изменяющуюся логику поведения в объект нейрона"? Изменение коэффициентов, перекоммутация связей, изменение числа нейронов? все вместе. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 11:45 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
Random_GoodmanRXLЧем же они не подходят? Или вы реализуете нейронную сеть прямо в базе? ;)что-то близкое к этому. Т. е. требуется некий черный ящик, у которого есть вход и выход и который можно реализовать (поведение) прямо внутри него, не прибегая к различным извращениям снаружи. Реализация прямо в базе - это и есть, извините, извращение. Хотя и реализуемое. Т.ч. пока так и не понятно, в чем у вас трудности и в чем состоит вопрос. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 12:09 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
Может нужно рассмотреть key->value СУБД. Ну там Mongo, Raven ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 12:19 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
RXL Реализация прямо в базе - это и есть, извините, извращение. Хотя и реализуемое. Т.ч. пока так и не понятно, в чем у вас трудности и в чем состоит вопрос. В том что задача здесь вовсе не СУБДшная (SQL вообще не нужен, разве что на этапе доводки - битые сущности подчищать), но нужно некое хранилище с данным функционалом. Глупо натягивать что-то 100% объектно-ориентированное на классическую СУБД, тем более что это "что-то" вообще не содержит никаких данных по сути. AlexsalogМожет нужно рассмотреть key->value СУБД. Ну там Mongo, Raven о, гляну, спасибо. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 12:30 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
Random_Goodman, Оригинальное у вас суждение. Даже белый шум в памяти является данными, а уж свойства объектов и подавно. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 12:33 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
RXL, Имеются ввиду данные в классическом понимании. Функциональность классических СУБД все-таки на это рассчитана. Можно конечно извратиться и сделать на SQL, только тогда при проходе сигнала КАЖДЫЙ элемент и КАЖДОЕ ребро будут лазать в какую-либо внешнюю надстройку для построения алгоритма своего поведения. Очень сомневаюсь, что это вообще будет шевелиться. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 12:38 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
Random_Goodman, У меня вопрос: требования к программе вы составили? А то складывается ощущение, что вы работаете эмпирически, без ТЗ. С одной стороны вы вроде как все уже знаете, а с другой - что-то хотите спросить у сообщества, но толком ничего не говорите. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 12:42 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
Наверное, кроме того что уже сказал, не могу ничего сказать по некоторым причинам, пока рассматривается патент. только общие слова. Считайте что я захотел создать Lawul Evil Chaotic Network, запустить и. потирая лапки, посмотреть что выйдет. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 12:49 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
Грубо говоря, есть некий алгоритм построения конкретной сети. Есть прототип, написанный на .Net вообще без СУБД (все в памяти). Он работает. Но для достижения неких целей объектов должно быть существенно больше, а кроме того надо периодически сохранять состояния, для чего, очевидно, это решение не подходит. Да и скорость в данном случае не особо устраивает. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 12:54 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
Реляционные СУБД для нейронной сети, очевидно, подходят плохо. Да и в целом по её специфике "всё в памяти" есть вариант, близкий к идеалу. Если опираться на СУБД, то очевидная дорога в сторону сетевых/объектных, но всё равно сомневаюсь. Имхо это тот случай, когда базу надо рассматривать только как persistent store. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 13:30 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
Посмотрите на граф-ориентированные базы, например neo4j. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 13:39 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
Random_Goodman , Посмотрите в сторону GlobalsDB или СУБД Caché , которые используют в своей основе многомерные ассоциативные массивы - глобалы . Примеры моделирования данных с использованим глобалов Вы можете посмотреть в документе A Universal NoSQL Engine, Using a Tried and Tested Technology PS: список доступных API (для Java самый быстрый Multidimensional Data Storage API). PPS: пример построения нейросети на архитектуре многослойного персептрона с использованием технологий СУБД Caché. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 13:54 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
О, спасибо, вот это уже что-то ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 13:59 |
|
СУБД (?) для нейронных сетей
|
|||
---|---|---|---|
#18+
Random_Goodmanнадо периодически сохранять состояния А что, тупо сливать структуры из памяти в файл, как это делают все игрушки, ниже Вашего достоинства?.. Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2011, 14:32 |
|
|
start [/forum/topic.php?fid=35&fpage=11&tid=1552568]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
27ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
61ms |
get tp. blocked users: |
2ms |
others: | 269ms |
total: | 405ms |
0 / 0 |