Привет, Всем!


Разработан движек сетевой объектно-ориентированной базы знаний (СООБЗ)
Он обладает следующими возможностями:

- Сохранять текущее состояние графа объектов в СООБЗ между сеансами работы с
пользователем. В том числе хранится текущая топология сети объектов. При
повторном запуске приложения не понадобится создавать сеть объектов заново.
- При большем колличестве экземпляров объектов ограничить объем памяти,
исспользуемый графом объектов. Наиболее часто исспользуемые объекты остаются
в оперативной памяти, остальные вытесняются в файловое хранилище и
загружаются в оперативную память по мере необходимости. При загрузке
экземпляра в оперативную память он вытесняет другие, редко исспользуемые
объекты.
Ограничение объема памяти позволяет избавиться от исспользования файла
подкачки операционной системы, что значительно повышает производительность
моделирования сетей с большим колличеством экземпляров объектов (при
сумарном размере всех экземпляров большем, чем размер текущей свободной
памяти в системе)
В случае, если объем сети объектов меньше чем размер текущей свободной
памяти в системе, вся сеть находится в оперативной памяти и потерь
производительности, связанных с сериализацией-десериализацией .не возникает.
- Применение СООБЗ не накладывает ни каких ограничений на исспользуемую
бизнес логику, которую можно реализовать как методы объектов, находящихся в
СООБЗ. Единственное требование - организовать связи между объектами в сети
не с помощью указателей, а с помощью ID объектов. При этом будет необходимо
получать указатель на объект используя API СООБЗ.

В случае исспользования СООБЗ конечно возникнет некоторая потеря
производительности, связанная с поиском экземпляров объектов по их ID,
Однако, во многих случаях эти потери не превысят потери доступа к данным в
реляционных БД

Скачать пример приложения, иссползующего СООБЗ можно
http://contest2005.gotdotnet.ru/Request/Apps/Other/168720.aspx

Меня как автора интересует мнение участников формума, на сколько может быть
востребован движек объектно-ориентированной сетевой базы?

Критика, идеи по усвоершенствованию и применению приветсвуются.

С уважением, Дмитрий
http://www.shuklin.com

Привет!

Да, я назвал эту систему - системой управления знаний а не данных, так как

- в базе храняться не данные, а объекты .NET. У них могут быть методы, свойства, поля.

- в систему встроена поддержка семантической нейронной сети

- на основе нейронной сети может быть реализована продукционная экспертная система (что и сделано в качестве примера)

- объекты, которые находятся в базе могут обладать собственной активностью - тоесть модифицировать себя на основе состояния других объектов или другие объекты на основе своего состояния.

Предлагаемая система с точки зрения целевой аудитории находится на одном уровне с SQL серверами. Она расчитана на применение разработчиками в своих проектах. Конечные пользователи не будут работать с этой СООБЗ напрямую. В качестве примера исспользования СООБЗ предлагается нейронная экспертная система. Там эксперт может создавать БЗ в виде текстового файла, во многом напоминающего пролог. Затем этот текст компилируется в нейронную сеть и уже она запускается на выполнение.
Пользователь ЭС описывает ситуацию задавая уровни возбуждения входных нейронов и получает результат экспертизы в виде уровней возбуждения выходных нейронов. Но это только пример применения СООБЗ.


С уважением, Дмитрий.

SergSuper
Вобще-то пример как-то далёк от народа. Может приведёте что-то поконкретней? Наверняка Вы же делали её(СУБЗ) не для себя, а под какой-то продукт, может опишите его и как там оно используется? Сколько пользователей, какие объёмы данных (или знаний?),


В том числе предполагается реализовывать в проектах, аналогичных этому http://www.microsoft.ru/offext/details.aspx?id=620


SergSuper
сколько времени эксплуатируется?


Находся в начальной стадии разработки. Не эксплуатируется.

SergSuper
Скачивать чтобы узнать что там мало кто будет - я например зарёкся, сколько ни скачивал - одни разочарования за потраченый трафик.


Согласен. Это не квака с красивыми картинками. Весь юзер интерфейс - пара текстбоксов. Поэтому скачивать имеет смысл только если действительно интересно

- применить в своем проекте
- проанализировать и изучить применяемые подходы и идеи.

StalkerS
а кто обучает эту сеть ? ибо без обучения от нее толку не больше чем от обезьяны за компьютером


Вы много раз SQL обучали ? )) Так же и в этом случае. Эту сеть не обучают, а проектируют. Это сетевая база - аналог реляционной но с другим принципом построения модели данных (таблиц нет)

StalkerS
shuklin
- в базе храняться не данные, а объекты .NET.

что это вообще значит ?

Есть такая штука Microsoft .NET Framework вот в этой БД хранятся экземпляры .NET объектов.

Alexey RovdoПоясните, пожалуйста, в чем состоят основные отличия вашего движка от классических объектных баз данных (Versant, GemStone, Objectivity, O2 ... ). Или, скажем, если говорить конкретно о платформе .NET, то в качестве примера можно рассматривать ООСУБД Versant FastObjects .NET.

Наверное, основное отличие - отсутствие прямой совместимости с реляционной идеологией. К примеру тот же Versant предлагает прослойку между уровнем объектов и обычной реляционной БД. В моем случае БЗ неотделима от объектов. Это не прослойка, а единая система, со своим API и своими принципами организации логики взаимодействия между объектами. Да, я этим теряю множество клиентов, ориентированных на более традиционные методы. Но эта БЗ в первую очередь разработана как базовый уровень для моделирования семантической нейронной сети. Другие БД делались для каких то иных задач, посему эмулировать СНС на их основе не столь эффективно. Фактически объектная база данных явилась побочным результатом а вовсе не главной целью разработки. На данный момент разработка продолжается, продукт не вышел со стадии beta-1 - это второе отличие от упомянутых тобой промышленных систем.

StalkerS Shuklin
Вы много раз SQL обучали ? )) Так же и в этом случае. Эту сеть не обучают, а проектируют.

Все-таки не понятно :) Я не специалист в таких сетях, но насколько мне известно, нейронные сети требуют обучения. Разве не так ?

Некоторые требуют, а некоторые нет. нейронная сеть фон Неймана не требует, семантическая нейронная сеть для которой Cerebrum сделан - тоже не требует. Персептроном все многообразие ИНС не исчерпывается ))

StalkerSВедь в этом весь их смысл.

Те, о которых ты говоришь - да, обсуждаемая - нет ))
Обсуждаемая сеть в том числе может быть ориентирована на решение тех же бизнес задач что и SQL но с упором на сетевую организацию данных. Опять же не все данные исчерпываются бухгалтерскими таблицами. Мне часто приходится сталкиваться с ограничениями табличной архитектуры MS-SQL даже в бухгалтерских проектах. А если речь идет о каком нибудь CAD для схемотехники - то SQL отдыхает по сравнению с сетевой оо бд.

StalkerSЕсли-же спроектирован какой-то алгоритм, то вроде как и не нейронная сеть уже.
Или может "семантическая нейронная сеть" - это что-то особенное ?

Это в первую очередь зависит от точки зрения. Одно можно сказать точно - это не персептрон с обратным распространением ошибки ))

StalkerSКстати, в вашем первом топике сделан упор на работу вашей системы с оперативной памятью, вообще говоря, все указанное там давно реализовано в коммерческих РСУБД, в частости, MS SQL-Server тоже не использует файл подкачки для данных, ну а вытеснение неиспользуемых обьектов базы назад на винт насколько знаю, есть у многих современных системах.

Мда, вот смотрел я на такое изобилие со сторыны БД и смотрел на персептрон. Стало мне завидно, в БД есть а в нейронках нет - вот и совместил нейронку фон Неймана, нечеткую логику Заде и современные алгоритмы управления памятью. Теперь результат мы и обсуждаем )) Имхо получилось интересно и даже в некоторых случаях может быть полезнее обычного MS-SQL

С уважением, Дмитрий.

Alexey RovdoУж вы меня извините, но сегодня я резок ...
Я вижу, вас в соседней ветке потрепали ))

Alexey Rovdo
Создается явное впечатление, что все это очередное пустое сотрясение воздуха, очередное выбрасывание сил на ветер и очередная попытка изобрести то, что уже давно изобретено.
Мои силы - что хочу то с ними и делаю ))

Alexey RovdoВсе, как не редко у нас бывает - изобретаем велосипеды вместо того, чтобы войти в струю мирового развития и попытаться занять там подобающее место, сделав что-то действительно новое.
Хм, и что вы понимаете под "действительно новым"? Любая новая разработка которую вы не продаете окажется для вас примитивной и тупиковой ))) Двайте развернем ситуацию. Допустим я занял вашу позицию. "А докажите мне что версант лучше моей СООБЗ. Изучите мою разработку и приведите список ее недостатков - тогда я обращу внимание на версант" ))) Оценили ?))))

Видите ли, такая разработка, не зависимо от ее технического уровня обоснована хотябы тем, что она не является "струей мирового развития". Нельзя ожидать прогресса если не создавать самим новых технологий. Вот вы продаете ООБД от версанта. Да версант молодцы что разработали такой продукт. И еще они молодцы что теперь подсаживают на него наших разработчиков. Если это удастся - смогут управлять рынком, как это делают MS & Oracle в среде РДБМС. И молодцы они только по одной причине - 15 лет назад не испугавшись критики начали разработку тогда еще молодой своей (не знаю как оно у них тогда называлось ;)) ... ) Я воспринимаю ваши слова не иначе как "долой все национальные разрабоки, даешь превратиться в интеллектуальный придаток запада" )))

Alexey Rovdo
И оправданы такие усилия только в академической среде
Кстати, да, в академической среде очень даже оправданы.

Alexey Rovdo
, да и то, это вовсе не отменяет необходимости изучения всех уже имеющихся разработок и ответа на ряд простых вопросов:
о, а вот с этим я полностью согласен )) вот только не буду же я постить сюда документацию (к тому же находящуюся в начальной стадии написания) с детальным сравнением со всеми возможностями рекламируемой вами бд. А тезисно ответить. вроде отвечал уже. еще раз ниже ))

Alexey Rovdo
чем лучше существующих,
- основное отличие : встроенная поддержка семантических нейронных сетей с колличеством нейронов до 2млрд в одном хранилище.

Alexey Rovdo
чем отличается от них архитектурно,
модель данных представляет собой граф с однонаправленными раскрашенными связями. каждый узел графа представляет собой такой же граф.
Все остальные свойства системы логически вытекают из этого представления. Например любой узел можно интерпретировать как экземпляр любого класса.


Alexey Rovdoкакие может иметь перспективы на рынке.

Бесплатно распространяемое Open Source решение.

Привет, Алексей!

Alexey RovdoНу об отличиях от ООСУБД вы сказали, что ваш продукт отличается пока только тем, что он имеется в beta-версии. И это все.

shuklin
- основное отличие : встроенная поддержка семантических нейронных сетей с колличеством нейронов до 2млрд в одном хранилище.


Т.е. вы просто совместили в одном решении две технологии? Технологию нейроных сетей и технологию ООСУБД.
Я понимаю, что вам черезвычайно хочется чтобы "и это все". Однако буду вас грустить, это вовсе не все.

Вообщето на основе технологии СНС я реализовал СООБЗ. В данном случае ССОБЗ является примером исспользования ядра VNPI. Частным случаем. Это несколько другое техническое решение по сравнению с решнием твоих работодателей. А то что он в бете - так еще пока в бете. А стадия беты - вопрос временный. Дальше будем посмотреть ))

Alexey RovdoНе логичнее ли было присоединить свои усилия и знания к уже ведущимся проектам, а не начинать свой собственный?

Нет, не логичнее - есть такое понятие как владение проектом. Не владея чужим проектом я не смогу менять его идеологию по своему усмотрению.

К тому же для применения чужего решения, не обладающего нужными мне характеристиками, возможно, придется потратить гораздо больше времени на его адаптацию. Взять тот же версант. Почитав по диаганали его спеки я могу уже сейчас быть уверенным, что даже в текущем состоянии СООБЗ Cerebrum для моделирования нейронных сетей исспользовать выгоднее и надежнее чем ваши продукты. Что нужно нейронке прежде всего? Модель поведения нейрона заложенную в каждый нейрон. А у вас нельзя даже метод в объекте на стороне БД исполнять. О чем дальше говорить?

А по остальным, нетехническим вопросам, нас только время рассудит ;)

С уважением, Дмитрий.

2 Alexey

> 1) а допускает ли ваша система наличие выделенного сервера(ов)?

Архитектурно текущая версия СООБЗ Cerebrum предсавляет собой однопользовательскую Desktop базу. Учитывая мнимальный уровень реализации правильнее считать что транзакции не поддреживаются. На данный момент не поддерживается : версионинг объектов, конкурентный доступ, многопользовательский режим, клиент-серверная архитектура. Да, это значительно ограничивает возможную область применения текущей реализации. Но и Рим не в один день строился )))


> 2) а на каком языке пишутся методы?

На данный момент имеется возможность писать методы на C# для Cerebrum и на C & C++ для VNPI.


> 3) а где эти методы исполняются (учитывая распределенный характер системы)?

На стороне движка БД. Интересно отметить, что нейронная сеть обычно характеризуется высоко параллельным режимом работы. Все нейроны работают параллельно и условно независимо друг от друга. Таким образом в БЗ предусмотрена эмуляция колличества threads по колличеству нейронов в слое. Тоесть да, миллионы threads одновременно. Для эмуляции ИНС это гораздо важнее чем транзакции и версионинг с клиент-сервером. Поэтому основное внимание уделено возможности реализации данного поведения а не возможностей из п.1


> 4) а являются ли методы свойствами отдельных объектов или они относятся к метаданным классов?

Метаданных классов в том понимании в котором они есть у версант, в церебрум нет. Модель классов в БЗ не сохраняется. Все экземпляры объектов имеют один тип - VARIANT. В Cerebrum тип объекта определяется 3 факторами. 1 - тип Kernel Object - а, 2 - типом .NET объекта, присоедененным к узлу, 3 - комплектом реализованных в данный момент аттрибутов. Комплект аттрибутов объекта можно менять динамически. Если рассматривать контракт на интерфейс объекта как номенкулатуру поддерживаемых аттрибутов - то любой объект можно рассматривать как экземпляр любого класса. Это очень удобно.


> 5) а какие ограничения накладываются на код методов (что возможно, а что нет)?

1. необходимо следить за pin - unpin объектов в БД. Если этого не делать могут возникнуть неприятности, от потери перформанса до вылета - зависит от конкретного сценария. Для ловли таких жуков предоставляется специальная Debug версия ядра.

2. Не поддерживается механизм делегатов и эвентов между объектами СООБЗ

> 6) а можно ли как-то проводить отбор хранимых объектов на основе результатов вызовов прикрепленных к ним методов ?

Точно так же как и в FastObjects - путем иттерации по этим объектам. Однако большое приемущество Cerebrum - объект имеет право реализовать любой абстрактный интерфейс. Тоесть в cerebrum можно восспользоваться полиморфизмом. каждый объект имеет право реализовать свою собственную версию такого метода.

2 XM

> Говорится вроде о базе знаний, но рассказывается об объектно-
> ориентированной базе данных,

Согласен, несколько запутано. С другой стороны эта "путаница" отражает внутреннюю архитектуру. Делать же архитектуру более понятной - означало бы потерять те свойства ради которых все и затевалось. Так что да, такая путаница имеет место быть.

База знаний продукционной экспертной системы реализована на основе семантической нейронной сети. Семантическая нейронная сеть реализована на основе VNPI. Для общения с .NET Framework семантическая нейронная сеть исспользует теже механизмы, что ии ООБД.

ООБД реализовано на основе VNPI. И фактически представляет собой мост или враппер адаптирующий ядро VNPI к среде .NET.


> где в таблицах, строках, и колонках хранятся
> объекты, которые имеют методы?

Однотипные экземпляры объектов (с совместимыми наборами аттрибутов) удобно представлять таблицами и управлять ими с помощью UI ориентированном на обработку таблиц. Однотипные объекты имеют одинаковый набор аттрибутов. Поэтому возможно представить коллекции однотипных объектов в виде таблицы, в которой сроки являются объектами а колонки - аттрибутами этих объектов. Так как мы говорим об объектах, то разумеется у них есть методы. Да у каждой строки (внутри системы) есть набор методов который определяется классом .NET объекта который сопоставлен с данной строкой.

> Из этих объектов строится семантическая
> нейронная сеть?

Нет. Семантическая нейронная сеть строится не из .NET объектов а из объектов VNPI. Хотя она функционирует совместно с объектами .NET ООБД.

> Сеть не обучается, а только проектируется и сама, без
> дополнительных усилий работает дальше?

Да. Ну надо конечно пимпу надавить, чтоб запустить просчет сети. Остальное сделают сами объекты внутри движка. Затем останется просто забрать результат расчета.

> А, вот интересно, объекты методов могут самомодифицироваться
> (мутировать, так сказать, изменять поведение по мере развития системы )? [шутка]

Почему шутка. Еще как могут )) Только пока я такие модели нейронов не реализовывал - это будет потом. Потенциально уже все API для этого готово.

> И можно вообще тупой вопрос -- что вы понимаете под следующими понятиями:
- объект
Экземпляр какого либо класса (структура на C, класс на C++ или C#)

- данные
Атомарные скалярные величины типа Int32

- знание
Без приставки база - переадресую к философам ))

- база знаний
База некоторых сущностей в которой храняться не только данные (простые типы) но и методы по обработке этих данных. Ну SQL с SP можно только за уши притянуть к такому определению. Так как SP отделены от данных. в БЗ границы между данными и методами более размыты. Объект состоит как из данных так и из методов по обработке этих данных.

- база данных
Чистая БД - это данные без методов. Таким образом MS-SQL можно считать на 100% БД и на 30% БЗ.


- модель знаний
Я такого термина не употреблял, на сколько помню. Если где употреблено - ляп.

- модель данных

Синоним схема данных. В академической среде принято схему называть моделью. Т.к. схема имеет другую смысловую нагрузку.

- модель представления знаний
Схема данных в БЗ (а не в БД)

- модель выведения знаний?
Я такого термина в своей разработке не употребляю.
Это относится к дедуктивным БЗ. На данный момент Elex нельзя считать дедуктивной БЗ. Хотя движек Cerebrum-VNPI может быть с легкостью применен для их реализации. Ну дедуктивные БД, предикаты и тп выходят за рамки моих интересов.

> Вы б в своих статьях давали хоть ссылки на используемую терминологию

Согласен с критикой. Но приходится всеже чем то жертвовать из за недостатка рессурсов. Помните принципы по управлению масштабом проекта? Надо чтоб заказчик понял, что все требования, находящиеся в спецификации не будут реализованы никогда. Важно чтоб были реализованы требования существенные в данном контексте.


С уважением, Дмитрий.

vadiminfo
И совершенно напрасно. Тада бы был бы явный признак СУБЗ. Так как выводить новые знание, скорее всего, главное что оправдывает ее назначение и название.

Однако у меня нет всеобщего рецепта по выведению новых знаний. На сколько мне известно, такого рецепта нет ни у кого. Когда автоматы начнуть выводить действительно новые знания - можно будет считать что они обрели способности к творчеству.

Заявлять что моя СООБЗ может творить я не стану, ибо нет такого.

Про ИИ пока тоже речь нигде не шла. Сделана продукционная экспертная сисетема, она сделана на основе некоторого движка. Этот некоторый движек предлагается вниманию публики даром ))

С мэтрами типа MS-SQL движек не конкурирует, тем более на их территории. Однако я уверен, что он может оказаться более полезным чем MS-SQL в решении некоторых задач.

Проведя дисскуссию с приверженцами ООБД от версант, было выяснено, что модели данных у этих баз отличаются. Следовательно есть задачи, которые более естественно ложаться на БД версант, а есть такие, которые лучше ложаться на базу cerebrum. Я считаю, что одна из таких задач - экспертная система на основе снс.

С уважением, Дмитрий.

vadiminfoПотому, када Вы относите свой продукт к классу СУБЗ, это и вызывает такой интерес. Впрочем, Вы упоминали пролог - ну, он выводит в принципе кое-какие знания.
Я бы сказал, что пролог данные выводит на основе знаний. Конечно эдинбургский стандарт позволяет делать assert не только фактам но и предикатам, сомневаюсь что существуют действительно полезные и эффективные алгоритмы позволяющие создавать новые предикаты. Единственный пример (не пролог) о котором я слышал - это система эуриско. Вроде как она умеет новые знания выводить. Но опять же, системе многие годы а на рынке SQL.

vadiminfo
Нейронные сети в звязке с СУБЗ заставляют думать прежде всего про ИИ.
А про что же еще?


Разумеется вы правы. Это все ради ИИ. Но на форуме по БД врядли будут интересны вопросы построения магазинной грамматики для распознавания прилагательных русского языка. и.т.п. ))

vadiminfo
Возможно, задача про снс лучше подходит для cerebrum, чем для версанта. Хотя было бы интересно приоткрыть завесу этого снс - собственно что это такое. Концепции. Цель его, основные идеи. Без отвлекающих деталей.


Вот цели http://www.shuklin.com/ai/ht/ru/default.aspx
Вот публикации http://www.shuklin.com/ai/ht/ru/cybernetics.aspx
Если линков не достаточно давайте обсуждать.

vadiminfo
Существует клеше, что ядром экспетной системы является БЗ, а БД - ядро информационной системы. А вы сравниваете свой продукт с ООСУБД (версантом). Его относят все еще к СУБД. Он не может иметь явного отношения (как и любая другая СУБД) не тока экспертным системам на основе снс, но и к экспертным системам на любых других основах.

Почемуже, я думаю на версанте сделать БЗ легче чем на SQL. В моей разработке снс реализована как частный случай сериализуемого расскрашенного графа. Если сказать что в моей разработке снс реализована как частный случай ообд - смысл практически не изменится.

serg99 shuklin Да. Ну надо конечно пимпу надавить, чтоб запустить просчет сети. Остальное сделают сами объекты внутри движка. Затем останется просто забрать результат расчета.

Как решается проблема бесконечной рекурсии? Или каждый нейрон отрабатывает один раз?

Проблема недетерменированности порядка вычисления нейронов при их большем колличестве и свободной топологии решается путем введения версионности во внутреннее состояние нейронов и в коллекции связей главных нейронов слоя. Подробнее это описано здесь http://www.shuklin.com/ai/ht/ru/ai00004f.aspx

Проблема обратных связей в нейронной сети может быть решена путем моделирования концепции времени в системе. Понятное дело такт модельного времени не будет совпадать с реальным временем. Я имею в виду, что если в сети есть обратные связи, то пересчет такой сети не будет законченным выполнением одной комманды. В этом случае моделирование будет выглядить как динамический процеес - по аналогии с анимацией в игре жизнь.