Предлагаю обсудить новую интеграционную платформу. Решение предназначено для автоматизации создания сервис ориентированных приложений и любых других приложении, обращающихся к различным источникам данных. В основе – новейшая технология Microsoft – WCF.

http://www.datumnode.com

Критика и замечания принимаются здесь.
Спасибо.

Мой коллега в соседнем топике описал нашу платформу так:

Основа платформа .NET Framework 3.0, WCF.

Единая точка входа для всех приложений, которые взаимодействуют с источниками данных.

Уровень абстракции для доступа к данным.

Хороша проработанная расширяемая система прав доступа.

Приложение для управления сервисом, как для администратора, так и для разработчика.

Автоматический выбор источника данных в зависимости от прав пользователей.

Гибкий механизм кэширования результатов.

Централизованные логи и статистика.

Мониторинг производительности.

Авто генерация кода.

Возможность писать плагины для подключения различных источников данных.

Уровень абстракции для доступа к данным и права доступа храниться в метабазе (СУБД - Oracle или SQL Server). К одной метабазе можно подключить несколько сервисов. Метабаза представляет собой дерево объектов (проекты, сущности, команды, параметры, источники данных и т.д.). У каждого объекта для контроля прав доступа есть свой ACL.

Для внешних пользователей система выглядит набор WCF/Web сервисов.

Процесс разработки выглядит так:


Определение источников данных и создание их в метабазе.

Создание архитектуры приложения в терминах метабазы: проекты, сущности, команды, параметры и привязка к источникам данных.

Создание ролей, пользователей.

Раздача прав для доступа к различным объектам метабазы.

Авто генерация кода: классы на основе описания в метабазе.

Разработка приложения, где для доступа к данным используются классы, сгенерированные напредыдущем этапе.

Программа управления и администрирования сервисами и метабазами написана как раз с использованием этой архитектуры и может служить наглядным примером.

На данный момент это решении успешно используется в одной крупной компании. С помощью него реализовано десятки систем, которые взаимодействуют с огромным количеством разнородных источников данных. Сейчас им пользуются около десятка разработчиков.

Mainframe_старыйКаким образом система реализует распределенный запрос - т.е. когда часть сущности на одном сервере, часть - на другом (в том числе и на другой СУБД) .

Например есть справочник клиентов который хранится в двух местах на Oracle и SQL Server.
Нужно добавить нового клиента:

В сущности клиент заводим команды

1. Добавить клиента в Oracle - command1
2. Добавить клиента в SQL Server - command2
3. Добавить клиента - command3 (вызывает command1 и command2) - реализовать можно с помощью кода на любом из языке C# либо в виде скрипта, в более сложных случаях можно реализовать в отдельной сборке и подключить как источник для command3

Для внешних пользвателей даем права только на command3.

MasterZivИнтересно, посмотрим. Жаль только что Microsoft ...
Почему жаль? WCF сейчас самая продвинутая технология для создания сервисов. К тому же сервисы datumnode можно вызывать из любых платформ которые знают про веб-сервисы. Мы, например, вызываем из Java.

maxlsd
... реализовать можно с помощью кода на любом из языке C# либо в виде скрипта, в более сложных случаях можно реализовать в отдельной сборке и подключить как источник для command3

Опечатка, правильно
... реализовать можно с помощью кода на любом языке .NET (C#, VB# и т.д.) оформленном в виде скрипта, в более сложных случаях можно реализовать в отдельной сборке и подключить как источник для command3

мод maxlsd3. Добавить клиента - command3 (вызывает command1 и command2)
1. Добавить клиента в Oracle - command1 commit - добавили
2. Добавить клиента в SQL Server - command2 abend - не добавили
итого: разсогласование данных
Зачем делать commit после добавления в Oracle? command1 и command2 добавляют данные, но не завершают транзакцию. Транзакциями управляет command3. В следующих версиях мы планируем улучшать/расширять поддержку распределенных транзакций.

Так_забежал_просто maxlsdНа данный момент это решении успешно используется в одной крупной компании. С помощью него реализовано десятки систем, которые взаимодействуют с огромным количеством разнородных источников данных. Сейчас им пользуются около десятка разработчиков.
А поподробнее не расскажете? Кто, с кем и зачем взаимодействует? Потому как многие говорят, как хороша сервис-ориентированная архитектура, некоторые клянутся сделать это у себя, очень небольшое количество людей говорят, что это у них реально работает, но подробности при этом не особо разглашаются...
Например, разрабатывается портал группой разработчиков. Пользователями портала являются клиенты из разных филиалов. База клиентов, услуги, биллинг и т.д. в каждом филиале свои.

В метабазе сервиса описываются источники данных различных филиалов, архитектура приложения: проекты, сущности, команды и их взаимодействия с данными в зависимости от клиента и других параметров. Создаются роли для разработчиков (например разработчик личного кабинета, разработчик интернет-магазина и т.д.) Ролям даются соответствующие права на объекты метабазы. После чего каждый разработчик видит только свою часть. На основе метабазы для каждого проекта генерируются классы которые ходят к данным через сервис. Для разработчиков интерфейса доступ к данным совершенно прозрачен - они оперируют бизнес-операциями сгенерированных классов и понятия не имеют какие данные откуда берутся.

Подробнее рассмотрим такую операцию как получение списка подписанных услуг для клиента:

Клиент заходит на портал и хочет получить список услуг на которые он подписан:

На стороне веб сервера идет вызов к сервису с параметром ip абонента

Все дальнейшие операции идут на стороне сервиса где происходит вызов различных комманд описанных в метабазе сервиса.


По ip адресу определяется из кого филиала клиент.

В зависимости от филиала вызывается соответствующий веб-сервис для идентификации абонента

Из соотвеующего биллинга получаем список подписанных услуг для клиента

Возращаем результат веб-серверу.

мод maxlsd Транзакциями управляет command3.
Не решает проблему: oracle добавил, а SQL не сумел - результат тот же.
А такой вариант command3:

1. начинаем транзакию в oracle
2. вызов command1 (добавляем данные в oracle) - в случае ошибки rollback и выход.
3. начинаем транзакцию в sql server
4. вызов command2 (добавляем данные в sql server) - в случае ошибки rollback для oracle и sql server и выход
5. commit для oracle и sql server.

blindedА как все красиво начиналось, платформа, а закончилось банальным TP монитором на xml протоколе и возможностью генерации кода обращения к хранимым процедурам и операциями над таблицами.
Может все-таки не банальным? Покажите аналогичные продукты?
Генерируется код не обращения к хранимым процедурам и операциями над таблицами, а код обращения сервису. Сервис может ходить куда угодно и не обязательно напрямую к хранимым процедурам и операциями над таблицами, а например, к другим сервисам, к любым сборкам на .NET, также поддерживаются плагины. Плюс гибкая система безопасности. Инфраструктура WCF позовляет работать по любым протоколам и дает огромное количество других возможностей.

blindedТак автор - СТОП! Подмена темы. Все началось с DatumNode , которая предлагает организацию именно доступа к гетерогенным источникам данных, а если конкретнее реляционным базам. И вдруг вот так резко перешло на саму технологию Microsoft WCF.
Ну ладно мы не против. Прекрасная технолоия, правда только для .NET, да и не новая совсем есть к примеру Systinet, который делает все тоже самое на Java и C++ лет 5 как. При этом странно использование WCF вместе с Java, как там SOAP interoperabilty по попке не стукает? Я когда скрещивал - регулярно получал, особенно ежели мобильное устройство...
Я не хотел подменять тему. Просто хотел обратить внимание что DatumNode иметь гибкую плагинов и позволяет ходить не только к реляционным базам, но и к другим источникам данных.
DatumNode отличается не только и сколько тем что использует WCF (с таким же успехом можно было использовать что-то другое). В первую очередь важна его архитектура (метабаза, система безопасности, плагины и.т.д.) и технология разработки которую он предлагает.

ВМоисеев
Пожалуйста, не горячитесь. Не сбивайтесь на ликбез и не стремитесь показать знания общих вопросов. Не обижайтесь, а покажите изюминки именно Вашего подхода к построению информационных систем. Имейте ввиду - среди Ваших коллег уже есть вполне убежденные (и вполне вменяемые ) в том, что системы на основе распределённых сервисов имеют право на существование.
Думаю, что вызов метода удаленного сервиса (располагающегося в локальной и/или глобальной сети) с возвратом результата или ошибки, это то что минимально необходимо для построения подобных систем. Какая инфраструктура предоставляет подобный минимум - вопрос вторичный, правда, если дело не касается взаимодействия гетерогенных инфраструктур. В данном вопросе я определенные надежды возлагаю на моно.
Иногда этот вызов может быть транзитивным (у меня так) - между сервисом, генерирующим сообщение-запрос, и сервисом, генерирующим сообщение-ответ, может находится промежуточный сервис. Сообщения шифруются. Промежуточный сервис не должен иметь воэможности шифрования. Следствие - сообщения (у меня) это byte[]. Работа с защищенными каналами в практическом плане - бо-о-о-льшая возня.
В некоторых задачах, где на нижнем уровне имется локальная сеть или всего один компьютер, а транспортный канал (интернет) работает не стабильно, работа с единой точкой входа не представляется возможной.
С Вашим подходом обязательно ознакомлюсь, очень интересно.

Попробую раскрыть особенности нашей архитектуры:

Основная часть системы - это метабаза. Метабаза представляет собой дерево объектов
(Решение -> Проект -> Сущность -> Команда-> Параметр). Также в метабазе хранятся описание источников данных, роли и пользователи.

По умолчанию, в качестве ролей и пользователей используются группы и пользователи Windows. Но можно настроить свой провайдер, например, хранить пользователей и их роли в какой либо СУБД.

Каждый из объектов метабазы имеет свой ACL.

Источник данных – представляет собой объект, в котором хранятся необходимые данные (Провайдер, Строка соединения и другие параметры) для подключения к СУБД или другим источникам данных.

Для того чтобы, обращаться к данным - каждый из объектов (Решение -> Проект -> Сущность -> Команда) может иметь одну или несколько ссылок на источник данных.

Ссылка на источник данных представляет собой объект в котором помимо самой ссылки на источник может хранится часть строки соединения к источнику данных.

Если, например, у команды нет ссылок на источники данных, то используются ссылки на источники из сущности, если и там нет то из проекта, и в конце если нет нигде то из решения. Если у объекта больше чем одна ссылка на источник и пользователь имеет к ним доступ, то используется ссылка с наибольшим приоритетом.

У ссылки на источник данных может быть одно или несколько соединений. Соединение – объект метабазы которой может храниться часть строки соединения к источнику данных.
Соответственно если их несколько, ты выбирается соединение с наибольшим приоритетом доступное данному пользователю.

Обращение сервису представляет вызов метода Execute где одним из параметров является строку запроса (которая собственно и определяет что мы хотим получить) следующего вида:

[Ссылка на источник данных].[Соединение].[Решение].[Проект].[Сущность].[Команда]

Строка запроса может иметь и такой вид (наиболее часто используемый):

*.*.[Решение].[Проект].[Сущность].[Команда]

- в таком случае источник данных и соединение выбирается автоматически в зависимости от прав пользователя и приоритета объектов. Естественно, чтобы запрос к сервису выполнился у пользователя должен быть права на решение, проект, сущность и команду. А также права и на параметры команды, которые он хочет задать, иначе будут использоваться для значения параметров по умолчанию.

Пример можно посмотреть по ссылке
Мне кажется он, достаточно наглядно показывает преимущества нашего подхода.

blinded maxlsd
Я не хотел подменять тему. Просто хотел обратить внимание что DatumNode иметь гибкую плагинов и позволяет ходить не только к реляционным базам, но и к другим источникам данных.
DatumNode отличается не только и сколько тем что использует WCF (с таким же успехом можно было использовать что-то другое). В первую очередь важна его архитектура (метабаза, система безопасности, плагины и.т.д.) и технология разработки которую он предлагает.
А вот это важное замечание. Дело в том предлагаемый к обсуждению продукт нивелирует разницу между природой источников данных. Будь это реляционная БД, или объектная, или иерархическая - разницы нет. А следовательно невозможно выполнять произвольные запросы к данным и использовать оптимизацию, в чем так сильны реляционные Базы. А значит программист будет ходить только по тропочкам проложенным разработчиком соотвествующего источника данных. Отсюда и проистекает применимость такого продукта - разработать некоторую функциональность с использованием хранимых процедур БД и быстренько представить ее виде набора WebServices. Не больше не меньше. А дальше вступают в действие механизмы архитектуры SOА, как-то спецификации WS-Ыecurity,-Transaction, Reliability, повидимому реализованные в WCF.

Мне кажется Вы ошибаетесь, я не вижу никаких ограничений. Приведите пример, пожалуйста. Или Вы хотите чтобы разработчик клиентской части напрямую ходил к таблицам и к другим объектам СУБД?

blinded
А вот это важное замечание. Дело в том предлагаемый к обсуждению продукт нивелирует разницу между природой источников данных. Будь это реляционная БД, или объектная, или иерархическая - разницы нет. А следовательно невозможно выполнять произвольные запросы к данным и использовать оптимизацию, в чем так сильны реляционные Базы. А значит программист будет ходить только по тропочкам проложенным разработчиком соотвествующего источника данных. Отсюда и проистекает применимость такого продукта - разработать некоторую функциональность с использованием хранимых процедур БД и быстренько представить ее виде набора WebServices. Не больше не меньше. А дальше вступают в действие механизмы архитектуры SOА, как-то спецификации WS-Ыecurity,-Transaction, Reliability, повидимому реализованные в WCF.
Важное замечание не набор сервисов, а один сервис. У нас сейчас работает всего один экземпляр DatumNode Service и он обслуживает несколько десятков систем (~10 источников данных) и обрабатывает примерно 5 млн запросов в день (плюс собираются логи и статистика). И это на Pentium 3 1GHZ правда двухпроцессорный. Нагрузка на сервер в пике не бывает больше 50%. Сейчас мы планируем поднять еще один экземпляр datumnode service на другой машине (будет ходить к той же самой метабазе) и объединим их в кластер, настроем load balancing.

ВМоисеев
Можно ли получить ссылку на данный документ в русскоязычном варианте?
С уважением, Владимир.
На русском пока нет.

chroо какой интеграции идёт речь, если программка работает только на венде?
так и напишите, дескать, сделали программку, помогает из .NET обращаться к MS SQL. причём здесь SOA и пр.?
Вы читать умеете или только писать? И при чем здесь Windows и как может помешать?

AlexTheRaven
На сайте нет "портфолио" платформы. Известно ли хотя бы одно удачное внедрение системы, созданной на основании этой платформы, в которой было бы >1'000 пользователей, из которых постоянно работают >500? Кстати, как обстоят дела с балансировкой нагрузки?
Я спрашиваю потому, что считаю, что высокоуровневые фреймворки, абстракции от БД, расширение стандартных механизмов назначения прав доступа, кэширования и журналирования не способствуют эффективности, а "мельчание" сервисов и их размещение на отдельных серверах с некоторого момента упирается в пропускную способность сети и плохо влияет на архитектуру.

Портфолио пока нет, но обязательно будет. Платформа успешна внедрена и используется в качестве основной для разработки приложений в одной крупной компании. Пользователей значительно больше 1000. В день система обрабатывает около 5 млн. запросов и это количество постоянно увеличивается. Для балансировки нагрузки используется Load Balancing в Windows 2003. Платформа никак не является узким местом, а наоборот значительно увеличила эффективность приложений работающих с данными. Надеюсь, Ваше мнение изменится, если вы поближе познакомитесь с платформой.
AlexTheRaven
maxlsdНа данный момент это решении успешно используется в одной крупной компании. С помощью него реализовано десятки систем, которые взаимодействуют с огромным количеством разнородных источников данных. Сейчас им пользуются около десятка разработчиков.
В какой компании? Какие именно системы?

Компания телекоммуникационная. Разрабатываются: порталы, а также сервисы, веб-армы, гуи-приложения для различных внутренних систем (биллинг, техучет и т.д.) и обеспечения технологических процессов.
AlexTheRaven
10 разработчиков (ничего себе сообщество :) ) на >20 систем... Либо все разработчики с приставкой "супер", либо системы не очень крупные и сложные.

Всего разработчиков ~50. Из них около 10 пишет интерфейсы и взаимодействует DatumNode. Остальные пишут серверную часть на стороне Oracle и других СУБД.
AlexTheRaven
Не слишком ли рано приступили к коммерциализации?

В промышленную эксплуатацию система вышла в феврале. Мне, кажется, коммерциализации приступили во время :)