Привет.

По статусу. В современных технологиях БД семантические сети - из малоизвестных. Особенно в части
литературы. Намного больше спецификаций чем каких-либо материалов о смыслах и мотивации.

Поэтому я поднимаю тему как некий вопросник.

1. Каковы перспективы AWS:Neptune ? Пока цена его эксплуатации слишком дорога для кастомеров
и они отказываются от него погоняв в тестовых enviromnents и поглазев на выписки из счета.
Возможно причина в том что это In-Memory-Ddbms?

Было-бы неплохо поискать бесплатную альтерноативу AWS:Neptune (пускай даже дисковую) и подняв
в EC2 instance обеспечить тот-же Rest-овский интерфейс предложить более дешевое решение (на обсуждение)
пускай даже более медленное по TPS.

2. GraphDb ? Что это за продукт? Его демонстрационная версия работает у меня локально как веб-приложение.
Каковы цели его создания? Возможности? Как он конкурирует с AWS:Neptune? Какие есть у него ограничения?

3. Apache Jena . SDF. Я потратил несколько безсонных ночей анализируя возможность намапить семантическую
БД на реляционную. В документах Jena это направление считается не-перспективным и его рекомендуют оставить
в пользу более быстрых.

Но для меня направление реляционок кажется пока привлекательным. Это некая большая гетерогенность в AWS
где можно поднимать легко Maria/Postgres и относительно недорого (дешевле чем Neptune).

Добавте пару слов кто вкурсе.

Зачем в SDF три layouts: LayoutTripleNodesHash, LayoutSimple, LayoutTripleNodesIndex ?

Под-направления TDB/TDB2. Планирую на днях их развернуть и разобраться. Если у кого есть инфа - делитесь.

В данном дискурсе вопросы перформанса пока вообще не стоят. Заказчик ничего не озвучивает и не дает NFR.
Предположительно нагрузки не будет. Нужны только принципиальные возможности. Предполагается хранить
- репозитарий. Транзакции будут не поисковые а - точечные.

4. SparQL или Gremlin ? Поверхностно посмотрел уроки. SparQL на примере GraphDB. Мне как старому SQL-щику
SParQL понравился. Он хотя-бы выделен в некий доменный язык. С другой стороны Gremlin похож на JavaScript
но запросы на создание графов выглядят в нем ужасно. Не понимаю пока мотивации. Кто юзал оба - варианта
- велкам. Кидайте 5 копеек.

5. Triple/Quad . Именованные графы. Зачем? Какова цель их создания? Какие RDF-форматы сериализации
наиболее удобны? какие использовали вы? Мне эстетически понравился turtle, на нем в частности
я откатывал учебные tutorials.

6. Прочие графовые Dbms и библиотеки (Guava .e.t.c) я в прошлом году имел наглость
поднять где-то их сравнительный анализ но незакочил. Сейчас могу снова вернуться но
уже в других смыслах а именно - семантический веб. Мне не нужен граф как таковой и
алгоритмы потоков в сетях и разрезы. Мне нужна формальная близость к спекам RDF
и модель хранения пригодная к запросам SparQL.

Keywords: GraphT JUNG Guava Apache Commons Graph GRPH

7. EclipseRDF4j против Apache Jena. Это 2 API для работы с RDF однако Eclipse рекомендован
Amazon в туториалах как основной API для Neptune. Jena с моей точки зрения более привлекательна
как старт опен-сорц решений.

Вобщем тоже поделитесь опытом их использования.

8. Визуализация RDF.

P.S. Я прошу прощения за свое многословие. Возможно я форкну дочерние топики если какая-то тема найдет
отклик. Но пока вот так. Сумбурно.

P.P.S. Основной поинт - отказ от системы AWS:Neptune в пользу Open-SOurce решений но цена
развертывания такого решения в облаке AWS не должна быть дороже Нептуна.

Линки по теме

Jena
https://jena.apache.org

AWS
https://aws.amazon.com/

GraphDb
http://graphdb.ontotext.com/

Rdfj4
http://rdf4j.org/

SparQL
https://www.w3.org/TR/sparql11-overview/

RDF concepts
https://www.w3.org/TR/rdf11-concepts/

Литература по теме:
1. Learning SPARQL: Querying and Updating with SPARQL 1.1
2. Practical RDF

(если вы знаете больше и полезных - докидывайте)

Вышеуказанные книги я не читал пока но заказал в бумажном варианте.

exp98Всё же желаю успехов с заказчиком! интересно будет увидеть некоторые результаты ...
Я вряд-ли смогу вам что-то конкретное рассказать. Мой контракт не подразумевает рассказов.
Но по технологиям которые доступны в книгах и ссылках мы можем спокойно общаться.
Последние пару книг которые я привел в 1-м посту я заказал. Я к сожалению болею букинизмом
и не могу воспринимать электронную литературу. Такой-вот косяк. Тоесть я конечно ее читаю.
Забит весь телефон с Гугл-Драйвом. Но уровень восприятия какой-то другой.

exp98На основе изложенного я фантазирую в нулевом приближении, что якобы
- слойХЭш - ИД триплетов,
- слойИндекс - иерархи-ски организованный слой ссылкок на триплеты,
- слойСимпл - не уверен, возможно это аналог обычной "псевдотекстовой" таблицы. В зачатках моей технологии в такой таблице я хранил "тексты", состоявшие из ссылок верхнего уровня, к-рые интерпретировались на основе индексных таблиц. В инд-х таблицах использовалась единственная, но боле-мене общая модель сети.
В RDF, судя по ссылкам ниже, слойХэш включает отношения, а отношения как и сами сущности могут интерпретироваться с предметной т.зр. В моей версии отношения сидели в индексноых таблицах, интерпретация же непосредственно выполнялась мною самим в "ad hoc"-запросах и прогах.
Ну и мне было не до спецязыка - обычный SQL, я практиволся под конкретный круг задач.

Я пока разбирался с SDB/Jena - дебажил некоторые вызовы в БД в части DDL. И заметил что создается
такая схема.

Simple насколько я понимаю просто отображает список namespaces на одну табличку
а триплеты - на другую.

Прочие модели отказываются от триплетов и нормализуют их (вместо varchar вводят
integer). Схема к сожалению не создавала констрейнтов связности и поэтому приходится
догадываться. Квадры тоже нормализуются. И вводится табличка Nodes. В двух варимантах
с ключом ID+Hash и с ключом Hash. Hash в данном случае - тоже PK. Как это использовать
- непонятно но возможно смысл - в большей консолидации данных вокруг "вершины графа"
или subject. Или в более удобном полнотекстовом поиске.

Я в ближайшее время попробую прогрузить мою учебную RDF-схему во все 3 варианта Layouts и посмотреть
средствами простого SQL как легли данные внутри.

exp98эквивалент в СвистиПедии:
RDF
"субъект - предикат - объект" называется триплетом
визуализация хотелок / интерпретация под хотелки = "Для выражения семантики требуются словари (англ. vocabularies), таксономии (англ. taxonomies) и онтологии (англ. ontologies) и наличие в рассматриваемом графе связей с ними."

Вот таксономия и онтология совершенно меня ошеломляет своим
неуместным (более гуманитарно-философским) смыслом в данном техническом топике.

Я здесь скопи-пащу с вики определения для удобства.
Таксоно́мия (от др.-греч. τάξις — строй, порядок и νόμος — закон) — учение о принципах и практике классификации и систематизации[1] сложноорганизованных иерархически соотносящихся сущностей[2]. Принципы таксономии применяются во многих научных областях знаний, для упорядочивания объектов географии, геологии, языкознания, этнографии и всего многообразия органического мира[2].
Онтоло́гия (новолат. ontologia от др.-греч. ὄν, род. п. ὄντος — сущее, то, что существует + λόγος — учение, наука) — учение о сущем[1]; учение о бытии как таковом; раздел философии, изучающий фундаментальные принципы бытия, его наиболее общие сущности и категории[2], структуру и закономерности[3]. Философское учение об общих категориях и закономерностях бытия, существующее в единстве с теорией познания и логикой[4].

Для полного комплекта здесь не хватает черной магии. И что скажите без таких определений нельзя было обойтись?

exp98Общая схема SPARQL-запроса выглядит так:
............

Я успел уже какое-то время поиграться с GraphDb и запросами и получить некое
поверхностное суждение об этом языке. И меня далее как старого базейщика
конечно-же заинтересовала тема оптимизации перформанса. Возможно
такие сверх умные системы не ставят своей задачей микросекундный отклик
и даже более того - не ставят секундный... но заведомо упеждая свои собственные
будущие вопросы в разработке AWS:Neptune спешу спросить. Какие
методы оптимизации возможны в графо-ориентированных DBMS ?

Даст бох мне это не пригодится но если кастомер захоче что-то эдакое
вроде отчота из терабайтной БД то хотелось-бы знать и понимать принципы
и направления в которых двигаться.

Apache Jena включает в себя список неких предопределённых namespaces которые по всей видимости
описывают т.н. таксономию в некоторой предметной области.

Пример.



Насколько я разобрался foaf (friend-of-a-friend) определяет связи в социуме.

Кто какие таксономии юзал и в каких задачах. Кто создавал свои.
Какие были интересные решения. Best practices.

Особо меня интересует все что выложено в open-source и доступно к повторному использованию
в проектах.

alex55555maytonApache Jena включает в себя...
Это просто список стандартов, в соответствии с которыми йена манипулирует своими данными. То есть может читать owl, может rdf, может туда экспортировать, конвертировать между ними и т.д. Это не таксономия и не онтология. Смысл всем этим манипуляциям придаёт разработчик, а укладывает он свой смысл в некое описание, которое может быть и owl и rdf и xsd и ...

То есть это всё просто форматы данных.
Вы немножко не в теме.

"форматы данных" - это неудачное слово. Форматы - это Turtle/JSON-LD/RDF-XML. Способ сериализации RDF.

А то что я перечислил выше это prefixes/namespaces и их назначение не синтаксическое а структурное.

maytonДля полного комплекта здесь не хватает черной магии. И что скажите без таких определений нельзя было обойтись?
Еще добавлю. Более удачное определение онтологии. Взято из видеолекции о семантическом вебе.

Онтологии - это специальные хранилища знаний которые могут читаться или пониматься людьми
и компьютерами, отчуждаться от разработчика и посторно использоваться.

Онтология и инфо-технологиях - обычно иерархическая система понятий и терминов (структура,
модель) некоторой предметной области.

Хм. Забавно. Английски артикль "a" имеет семантику rdf:type.

Тоесть если к примеру есть утверждение что



То это равносильно. По крайней мере для парсеров turtle из Apache Jena.

Интересно. Существует ли формула перехода от Семантической Сети к EAV ?