powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Вопросы интеграции и репликации (мнение ГУРУ)
90 сообщений из 90, показаны все 4 страниц
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598077
Sysobjects
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Здравствуйте.

Сейчас нами разрабатывается некая система на .Net платформе, состоящая из отдельных модулей. Каждый со своей базой. Все базы - скул 2008.
Возникла очевидная потребность по синхронизации каких-то общих данных между модулями.

Вопрос: как это сделать ?

Мои мысли: раз базы разнородные и пересекаются только по некоторому набору данных, то вынести этот набор в отдельную базу с фиксированной структурой (типа "буфер") в которой и будут все импортируемые данные. После этого сделать репликацию между "буферами".

Из альтернатив - бизтолк и ручное создание некой шины данных, которая и будет рулить синхронизацией между модулями. Рассматривается и подход на уровне базы данных, но тут я не силен.

Бизтолк стоит денег, хотя это и самое очевидное решение. Потому рассматриваем альтернативы.

>>Не грози Владимирскому Централу, попивая виски у себя в Лондоне
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598091
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sysobjects
Возникла очевидная потребность по синхронизации каких-то общих данных между модулями.

потребность в чём?
От этого и пляшите.
В общем случае - это извечная проблема (одна КИС или оркестровка\шины\порталы\...).
1С, например, файлы перебрасывает и не парится.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598123
Sysobjects
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Petro123Sysobjects
Возникла очевидная потребность по синхронизации каких-то общих данных между модулями.

потребность в чём?
От этого и пляшите.
В общем случае - это извечная проблема (одна КИС или оркестровка\шины\порталы\...).
1С, например, файлы перебрасывает и не парится.

Потребность в том, что есть скажем модуль заведения клиентов и есть модуль продаж, которому для работы нужны некие данные по клиентам из первого модуля.
Т.е. нужно реплицировать некий набор данных из первого модуля во второй.
При этот нужно обеспечить оперативность репликации и поддержать синхронизацию. Чтобы при изменении паспорта Иванова в первом модуле второй быстро понял, что данные изменились и ему нужно синхронизироваться по Иванову.

Вопрос как лучше организовать такое?
Варианты какие вижу я уже написал: SQL Integration Services(не работал с ними, и не знаю, сможет ли она такое сделать), Бизтолк (дорого стоит), Самописная шина интеграции (много трудов)
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598140
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SysobjectsВарианты какие вижу я уже написал: SQL Integration Services(не работал с ними, и не знаю, сможет ли она такое сделать), Бизтолк (дорого стоит), Самописная шина интеграции (много трудов)
а самый простой и правильный вариант - использование единой БД, не видите разве?
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598145
Sysobjects
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
iscrafmSysobjectsВарианты какие вижу я уже написал: SQL Integration Services(не работал с ними, и не знаю, сможет ли она такое сделать), Бизтолк (дорого стоит), Самописная шина интеграции (много трудов)
а самый простой и правильный вариант - использование единой БД, не видите разве?
)))
Мы сейчас наоборот делаем - есть старая система на единой базе, которую разносим по модулям.

Так что единая база - это не вариант. нужно синхронизировать несколько
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598182
lazovik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
iscrafmа самый простой и правильный вариант - использование единой БД, не видите разве?
+512
а потом опять сводить в единую будите... знаем мы такую гармошку!
чем обусловлено разделение?
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598238
Sysobjects
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Разделение обусловлено тем, что данные в одной базе - вроде как "зоопарк разводим", а если каждый модуль со своей базой - то обеспечиваем независимость систем (Low coupling).
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598322
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SysobjectsРазделение обусловлено тем, что данные в одной базе - вроде как "зоопарк разводим", а если каждый модуль со своей базой - то обеспечиваем независимость систем (Low coupling).
слабая связанность (Low coupling) должна быть уравновешена со свойством High Cohesion. Сейчас вы как раз "зоопарк" и разводите. Если хотите реализовать слабую связанность, то поднимитесь на один уровень выше от базы данных, на уровень сервисов, которые работают с этой БД. Их и разводите.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598338
lazovik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sysobjects,
дык, какая же это независимость, когда у вас данные завязаны друг на друга...?
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598361
Sysobjects
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
lazovikSysobjects,
дык, какая же это независимость, когда у вас данные завязаны друг на друга...?

Так не все же - а только малое подмножество
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598449
lazovik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я не знаю какова типа у вас система, но осмелюсь предположить, по вашему примеру:
[quot Sysobjects]...модуль заведения клиентов и есть модуль продаж...[quot]
есть клиенты и продажи а значит и товары должны быть...
имеем 3 модуля: клиенты, продажи, товары
в один прекрасный момент вас просят сделать отчет в модуле клиенты, по продажам товара клиентам... что вы сделаете???
это чисто тупой пример, для размышления...
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598522
LSV
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
iscrafmа самый простой и правильный вариант - использование единой БД, не видите разве?+500
"База должна быть одна" (с) :)
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598550
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
iscrafmSysobjectsРазделение обусловлено тем, что данные в одной базе - вроде как "зоопарк разводим", а если каждый модуль со своей базой - то обеспечиваем независимость систем (Low coupling).
слабая связанность (Low coupling) должна быть уравновешена со свойством High Cohesion. Сейчас вы как раз "зоопарк" и разводите. Если хотите реализовать слабую связанность, то поднимитесь на один уровень выше от базы данных, на уровень сервисов, которые работают с этой БД. Их и разводите.
+1
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598551
Anti_Hacker
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть такой, сам не пробовал, но смотрел обучалки и презентации.

Microsoft Sync Framework

тынц
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598597
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
баз, объективно, конечно может быть несколько. Для синхронизации и консолидации данных придумываются различные механизмы, от MDM до DWH. Но, при наличии единой базы, умышленно разделять ее по озвученной выше причине, а потом думать о том, как объединить - не совсем логично. имхо.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598728
Sysobjects
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Anti_HackerЕсть такой, сам не пробовал, но смотрел обучалки и презентации.

Microsoft Sync Framework

тынц

Спасиб. Поизучаю.

авторбаз, объективно, конечно может быть несколько. Для синхронизации и консолидации данных придумываются различные механизмы, от MDM до DWH. Но, при наличии единой базы, умышленно разделять ее по озвученной выше причине, а потом думать о том, как объединить - не совсем логично. имхо.
Архитектор тут не я, так что будем синхронизировать.
А потому - можете подробнее рассказать про механизмы синхронизации авторот MDM до DWH
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598889
Panshin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Для SQLserver есть основной механизм синхронизации - это репликация между базами данных на уровне объектов баз данных. Однако не советую им пользоваться так как сама модель публикатор - подписчики плоха (это мое мнение).

При синхронизации баз данных необходимо определиться с уровнем синхронизации: на уровне объектов баз данных или на уровне объектов предметной области. Тогда и поймете что лучше.

Мое мнение.
необходимо писать свое приложение по синхронизации. Да, спецуха. Зато завтра можете внести в него свой функционал, свою преобразующую логику условий и пр. вкусности.

Можете спецуху заказать. Например, мне(igp@redfox.ru).:)
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598920
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Panshinсама модель публикатор - подписчики плоха (это мое мнение).

а альтернатива?
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598954
ART-CODE
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Panshin,
Как человек, лично настраивавший "штатную" MS - репликацию между интернет-банкингом и АБС
Скажу: механизм вполне себе достаточно гибкий и работоспособный. Просто нужно хорошо его понимать.
В одном из проектов (так сложилось исторически) была примерно такая же организация данных - разные базы не только под разные "бизнесы", но даже под разные рабочие места .
Все "скрещивалось" спец. вьюшками и распределенными запросами... и все работало, при этом обходились стандартными возможностями MSSQL.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36598984
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Panshin
необходимо писать свое
любят же у нас велосипеды
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36599055
Фотография Infernal V. Raven
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sysobjects
Архитектор тут не я, так что будем синхронизировать.

А что на этот счет думают архитекторы?
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36599231
severn_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Базу безусловно лучше делать одну.
Ссылочную целостность ту же как ты будешь реализовывать ?
Скажем, удаляется Клиент.
Нельзя удалять Клиента, по которому есть документы - отгрузки, оплаты.
Это уже две подсистемы завязаны с Клиентами.
А дальше у тебя могут появиться еще подсистемы - скажем, выполнение работ.
CRM функционал - еще одна отдельная подсистема.
Когда сущности в этих дополнительных подсистемах сидят в той же БД, легко наладить ссылочную целостность, а когда они будут в отдельных БД - будет бардак.

В частности, придется очень сложно отслеживать - что где удалять.
Скажем, удаляешь из одной БД Клиента - надо проверить, нет ли ссылок на него во ВСЕХ прочих БД, т.е. в Продажах, Кассе, Выполнении работ, CRM... И будут появляться новые.

Так что целиком согласен с предыдущими авторами - зоопарк получается.

Разделение подсистем должно происходить на уровне кода. Т.е. разные подсистемы работают со своими объектами (классами).
Например, в Продажах могут быть описаны классы Накладная, Счет-Фактура.
В Кассе - приходный и расходный кассовые ордера, м/б там же и банковские документы.
В Работах - Заказы и документы о ходе их выполнения.
В CRM - дополнительные данные о днях рождения клиентов, любимой собаке/жене/теще, способы связи, и функционал оповещения - типа послать СМС на стотовый - "Ваш заказ готов, забирайте."
А хранятся данные всех подсистем в одной БД.

ORM-системы типа DataObjects или EntityFramework такую задачу решают на раз, обновляя структуру БД при изменении структуры объектов какой-то из твоих подсистем, или при добавлении новой, и оставляя в неприкосновенности таблицы, используемые другими подсистемами. Вот, кстати, 1С такого не умеет - от того проистекает масса сложностей.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36599263
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну и я тоже поставлю своих пару центов. Хоть и не считаю себя ГУРУ в вашем непонятном вопросе... По опыту скажу:

1. Microsoft BizTalk Server - можете пока не использовать - в среде Microsoft only он никчему; это не значит что его надо сбрасывать со счетов сразу
2. Нужен хороший архитектор котрый прежде всего с БА разберется куда и какие данные представлять
3. Вполне возможно создание отдельной системы покрывающей все перегрузочные и контролирующие аспекты объектов бизнес процессов. и как следствие - создание единой базы март {DataMart} или хранилища {DataWarehouse} против которого будут все отчеты запущены. Не думаю чтобы весь много-системный функционал занимался подобными то есть повторяющимися задачами. Скорее всего Вы на пути интеграционного масштабирования - консолидации. Скорее всего многие базы консолидирются в конце концов и Вы останетесь с двумя тремя супер базами. Поверх которой будет data warehouse. Начните с простого - про реверсируйте {reverse - engineering - SYBASE PowerDesigner v 15.1 Вам в помощь} все Ваши базы и найдите подобные объекты.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36599270
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
severn_Базу безусловно лучше делать одну.
.
я думаю есть еще одна проблема у ТС - Часть продуктов Ентерпрайза - покупные - и их будет не так то просто консолидировать.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36599272
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sysobjects)))
Мы сейчас наоборот делаем - есть старая система на единой базе, которую разносим по модулям.

Так что единая база - это не вариант. нужно синхронизировать несколько
А вот это я пропустила.... Как это???? И главное - ЗАЧЕМ???
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36599278
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SysobjectsРазделение обусловлено тем, что данные в одной базе - вроде как "зоопарк разводим", а если каждый модуль со своей базой - то обеспечиваем независимость систем (Low coupling).
Ой ну да ... что то я совсем сегодня... Сорьки... Иногда имеет смысл - если продукт на продажу. Если свой... Не делайте глупостей. Пользы мало - а головной боли... проще перейти на Модельно Управляемый Процесс тот же PD вам здорово поможет.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36599286
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Мы однажды консолидировали 28 различных систем ентерпрайза - всех вендоров подключили - и в конце концов таки собрали все в две базы - OLAP и OLTP. Это единственно серъезное архитектурное различие между системами.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36599289
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Vika Vinner собрали все в две базы - OLAP и OLTP. Это
Между ними шел воскресный процесс ETL перегрузки - архивирования. Все остальное полностью консолидировано. Если конечно нет условий SOX или HIPPA... там обязательно надо огород городить.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36599302
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Vika Vinner Если конечно нет условий SOX или HIPPA... там обязательно надо огород городить.
да уж..
Hippa to da hoppa and you just don't stoppa (хором) (с) Ol Dirty Bastard
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36599735
Я
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Я
Гость
Если базы физически на одном сервере, проблем быть не должно.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36599960
Sysobjects
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Vika VinnerМы однажды консолидировали 28 различных систем ентерпрайза - всех вендоров подключили - и в конце концов таки собрали все в две базы - OLAP и OLTP. Это единственно серъезное архитектурное различие между системами.

Такой вопрос появился: многие говорят о необходимости единой базы, которую уже разрешать на уровне сервисов.

Пример:
Есть система из двух неких логических модулей "склад" и "продажи". Пусть они пересекаются по данным номенклатур и еще чему то. Мы их объединили в единую базу как и предлагалоь.
Пусть нагрузка на "продажи" несопоставимо выше, чем нагрузка на "склад".

Что может получится на мой взгляд:
1) Повышенная нагрузка на "продажи" также стопорит складскую систему, которая, в случае отдельной базы, спокойно пережила бы это происшествие.

2) Если мы видим, что нагрузка на "продажи" запредельная, то в случае отдельной базы мы спокойно можем вынести его в датацентр, не нарушая работу остальных модулей. В случае единой базы разнести сложно.

Или я не прав?
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36600003
Sysobjects
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Забыл добавить - один из модулей MS Dynamics CRM, который слить не получится с остальными модулями, а клиентов скажем гонять туда-сюда и синхронизировать надо.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36600061
Полковник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sysobjects,

У вас классический случай для SOA архитектуры. В подробности вдаваться не буду, поиском поищите в гугле.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36600351
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sysobjects
2) Если мы видим, что нагрузка на "продажи" запредельная, то в случае отдельной базы мы спокойно можем вынести его в датацентр, не нарушая работу остальных модулей. В случае единой базы разнести сложно.

Или я не прав?
нагрузка за счет чего? Большого числа пользователей или какие-то ресурсоемкие вычисления (что нереально для модуля "продажи")?
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36600353
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sysobjects
1) Повышенная нагрузка на "продажи" также стопорит складскую систему, которая, в случае отдельной базы, спокойно пережила бы это происшествие.

Или я не прав?
не прав.
Т.к. это чисто теоретические выкладки не подкреплённые ничем.
2. Методы решения от "стопорит" есть как горизонтальные, так и вертикальные (архитектура).
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36600500
Sysobjects
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ситуация - мы в одной базе совместили фронт офисную базу и бекофисную.
Фронтофисная часть нагружена явно сильнее ,чем бекофис.

Ну пусть и то и то. Идея что база одна - но в ней одна часть активно используется, другая не так активно, а тормозить будет всё.


2. Методы решения от "стопорит" есть как горизонтальные, так и вертикальные (архитектура).

Приведите примеры решений от "стопорит"
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36600925
Ага
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Имхо задача высосана из пальца.
Тут понимаешь стараешся объединять зоопарки в одну клетку, а некоторые люди специально их строят :).
Непротиворечивое разделение на модули очень трудно реализовать даже на логическом уровне, тем более на физическом.
Некоторые вопросы:
1. Общие справочники и кто и когда их будет заполнять (читай в какой базюльке), что делать при передаче функций ведения из одного отдела (читай базюльке) в другой.
2. Некоторые модули волевым решением очкастых аналитегов разведенные по разным базам в один прекрасный момент захотят слиться в орг.. тьфу жить в одной базе. Типичный пример - учет товарной себестоимости и складские операции. Что делать бум?
3. Архитектура должна поддерживать проверку на валидность, сквозную для нескольких модулей. К примеру при выпуске расходной накладной (простановке галке - "Грузить", Учете - кто на что горазд, тот так и называет) система должна слазить:
а. В модуль Финансы и спросить - скоко клиент на бобов должен? Можно грузить аль нет ишшо? Можно? Ну спасибо.
б. В складской модуль - если товары для меня? Есть? Давай млин резервируй! Чо? Для кого резервировать? Это не все равно? Нет? А почему? Нужно в резерв поставить? Ну давай это я - расходная накладная из модуля Продажи? Чо ждать пять минут? Почему? Нужно еще по 10 модулям слазить и кое че проверить.. мля жду. Не можешь зарезервировать - в модуле Товары нашелся документик который товар вот-вот спишет как потерянный ? А чо сразу то не сказал? А это ты - очередная заглушка которую потом честно поправят - ну превед превед, резервируй что можешь и скажи мне - пойду в Покупки.
с. Покупки - Эй народ мне тут товар нужно грузить через неделю, а на складе нет. Когда появицо? Через 10 минут приходить? А чо так долго? А ... и тебе тоже нужно слазить в финансы и посмотреть когда оплатили поставщику иль нет, потом в Логистику - посмотреть когда сможет доставить, потом куда? В продажи то зачем? Ааа.. посмотреть есть ли резервы от моих соседей? А может я сам? Что значит интерфейсов нет - не знаю что ли как? Ну ладно сам посмотри и доложи........ Чо - не получится чтоли зарезервировать? Ну ладно пойду ругнуть юзерю если еще домой не ушел.


Вощем резюме - в такой постановке не взлетит
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36600996
Полковник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ага,

Грусно, слышать о вашем бардаке, сочуствую.

Вы про SOA что нить слышали? Про интеграцию несвязанных между собой систем посредством сервисов? Нет? Мне вас жаль.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601040
Ага
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ПолковникАга,

Грусно, слышать о вашем бардаке, сочуствую.

Вы про SOA что нить слышали? Про интеграцию несвязанных между собой систем посредством сервисов? Нет? Мне вас жаль.

Сам по себе порой слезки лью.
Про SOA краем уха все ж таки слышал. Использую мало-мало: ECOD, система мобильной торговли, интернет-магазин,с несколькими поставщиками есть взаимодействие. Мало конечно, недорос еще до уровня мегаSOAинтегратора.
Посему считаю, что строить систему посредством расленения целостного продукта на связанные посредством механизма обмена сообщениями модули - бред. Еще ни в одной реализации не видел абсолютно надежного механизма (про прозрачность в реализации для для разработчика вообще молчу) откатывания транзакций даже между двумя системами, куда может привести взаимодействие между десятком модулей, вызванное к примеру учетом счета - трудно даже представить.
Внимаю советам мудрого Полковника, да снизойдет на него благословение OASIS.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601054
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
:Вы про SOA что нить слышали? Про интеграцию несвязанных между собой систем посредством сервисов? Нет? Мне вас жаль.
Я бы не рекомендовала SOA архитектуру для единородной системы (MS SQL Server 2008 - based). Ничего полезного - а сплошные мегрени. Если SQL сам в основе всех модулей/систем - начните с пересмотра и классификации бизнес объектов (Business Intelligence). И сделайте нормальный ре-факторинг. Увидите как все станет проще и в прои3водительности и в логике.
Для справки - BizTalk Сервер - это мощный SOA сервер - но задачи его - это интеграция межплатформенных сообщений: IBM - UNIX - WinTel
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601057
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sysobjects
Идея что база одна - но в ней одна часть активно используется, другая не так активно, а тормозить будет всё.

==== твоя идея - дилетантство. Типа - комп один, а задачи - 2 = будет тормозить

2. Методы решения от "стопорит" есть как горизонтальные, так и вертикальные (архитектура).

Приведите примеры решений от "стопорит"

==== кластеры, балансировка нагрузки и т.д. Спроси у разработчиков серверной части
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601084
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SysobjectsЗабыл добавить - один из модулей MS Dynamics CRM, который слить не получится с остальными модулями, а клиентов скажем гонять туда-сюда и синхронизировать надо.
Так Ваша система вся построена вокруг MS Dynamics CRM? Или нужна интеграция к ней? не могли бы Вы мне помочь разобраться - Вы перепродаете (интегрируете) систему на основе MS Dynamics - или Вы конечный пользователь системы, которая была создана внутри одной организации?
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601117
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Vika Vinner
Я бы не рекомендовала SOA архитектуру для единородной системы (MS SQL Server 2008 - based). Ничего полезного - а сплошные мегрени.
что такое SOA, как арихитектура?
1. все функции системы определены как самодостаточные сервисы, выполняющие ту или иную бизнес-задачу
2. все сервисы связываются между собой в момент исполнения
3. любой сервис для его потребителей - черный ящик, который принимает определенные параметры и реализует конкретный функционал, возможно возвращает конкретный результат
4. любой сервис можно использовать как автономно, так и в связке с другими сервисами, многократно
5. все сервисы "нанизываются" на единый каркас - шину, которая поддерживает их "горячую" замену при необходимости, простое внесение изменений в систему, легкое сопровождение.
6... и т.д. и т.п.

Это - архитектура. А BizTalk просто одна из реализаций принципов SOA, не более. BizTalk действительно ТС не нужен, зачем ему дополнительные головные боли. Но BizTalk и иже с ним - не синонимы SOA. Сама SOA, как архитектура, наоборот избавляет от головной боли.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601193
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SysobjectsПример:
Есть система из двух неких логических модулей "склад" и "продажи".
.....
Что может получится на мой взгляд:
....
Или я не прав?
Посисдите немного со своим БА и Архитектором. Выделите все отчетности - ВСЕ без исключения - и создайте систему архивирования. Определитесь с объемом хранилищ и дискового пространства. Вот тут будет Ваша OLAP. А все - повторюсь ВСЕ остальные модули должны быть в едином боксе в единой базе данных. Обязательно определить "срок жизни" данных - перед архивированием. Все остальные оперативные данные будут жить вне системы OLAP. это будет Ваш OLTP - высокопроизводительный и высоконормализованный блок. Для примера - наше решение имеет один кластерный сервер на единую сеть ретейл - {таких сетей 6} - все высокопроизводительные 8-процессорники с Tier 1 сторадж. В конце недели начинается "перелив" в архив и OLAP - всех шести сетей в единый склад Enterprise Data Warehouse. Он реализован на кластере ITANIUM в несколько терабайт iSCSI который в свою очередь формирует кубы для SSRS - аналитики. Кубы и хранилища (Data sources) форматированы в 158 фаилгрупп - поддерживают 3 года (53+52+53) недели. каждая файл группа - одна неделя работы сети что то около 120 ГБ (120 *158 ~ 20 TB archived) данных в архивном исполнении.. Сюда в эту часть совсем другие пользователи подключаются. Хочу заметить что наша одна сеть - это около 6000 магазинов универмагов по всему миру.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601217
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
iscrafmНо BizTalk и иже с ним - не синонимы SOA. Сама SOA, как архитектура, наоборот избавляет от головной боли.
Дело в том что здесь я с Вами не могу не согласиться, Валера. Но как показала практика SOA для монолитной Microsoft платформы - нерентабелен. Конечно мы повсеместно используем SOA - и как его реализацию MS BizTalk сервер. Но у нас - борщ 35 летней разработки в котором есть все. IBM 390, AS/400, Unix/Lynux, Microsoft ... Если бы мне сейчас поставили задачу переделать ВСЕ - я бы все строила без SOA на единой WCF/WPF платформе. Что в определенном контексте реализации все равно SOA но хоть без страшных слов...
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601247
Ага
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
iscrafm
что такое SOA, как арихитектура?
1. все функции системы определены как самодостаточные сервисы, выполняющие ту или иную бизнес-задачу
2. все сервисы связываются между собой в момент исполнения
3. любой сервис для его потребителей - черный ящик, который принимает определенные параметры и реализует конкретный функционал, возможно возвращает конкретный результат
4. любой сервис можно использовать как автономно, так и в связке с другими сервисами, многократно
5. все сервисы "нанизываются" на единый каркас - шину, которая поддерживает их "горячую" замену при необходимости, простое внесение изменений в систему, легкое сопровождение.
6... и т.д. и т.п.

Это - архитектура. А BizTalk просто одна из реализаций принципов SOA, не более. BizTalk действительно ТС не нужен, зачем ему дополнительные головные боли. Но BizTalk и иже с ним - не синонимы SOA. Сама SOA, как архитектура, наоборот избавляет от головной боли.

Не приведете ли конкретный пример реализации системы чуть выше уровня "считаем продажи и склад"? Если каждый из сервисов будет крутиться на своей базе и общаться посредством SOAP через HTTP - дополнительный плюс SOA и Полковнику. Если опишите механизм, откатывающий транзакции в 20 базах при ошибке проведения в 21 (чур токо несложный и чтобы время блокировки ) - с меня бутылка 12 летнего коньяка или виски на выбор.
Могу облегчить жизнь и выкатить совсем несложную постановку:
Финансы - серверв и база в Германии. 5 баз (гы гы гы) и 100 сервисов.
Склад - сервер и база в Кукуево. 20 сервисов на одной базе.
Бухгалтерия, Продажи, покупки - сервер и база в Москве. 3 базы - покупки, продажи, финансы и куча сервисов.
Что делаем - учитываем расходную накладную и счет.
По условиям игры нужно провести реализацию в русской бухгалтерии и в буржуйских финансах.
Также нужно рассчитать себестоиомость продаж и провести по финансам и разумеется российской бухгалтерии. Разумеется нужно отразить продажу и в базе продаж. Правила игры таковы что баланс клиента проверяется в буржуйских финансах. Наличие товара - на складе в Кукуево. Да и еще себестоимость продаж в базе финансов должна разложиться по составляющим - прямая от поставщика, все виды товарных издержек (вводятся в базе Покупки) ну и до кучи добавим нетоварную в ввиде скажем...процентов представителю покупателя, которые лежат в модуле Продажи.
Улеглось в голове?
Продолжаем...
Поскольку у нас сервисы уж совсем черные ящики, то о логике поведения других сервисов, а тем более их реализации не имеют ни малейшего понятия. Вполне возможна ситуация множественных вызовов, продажи->финансы->продажи->склад->финансы.
Как поддерживать транзакционную целостность при условии минимального времени блокировки записей?
Как избежать бесконеченого цикла?
Как киллять зависшие сессии (в середине транзакции умер сервис в Кукуево) ?

Господа, мне кажется Вы пытаетесь написать мегауниверсальную распределенную базу данных
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601258
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АгаНе приведете ли конкретный пример реализации системы чуть выше уровня "считаем продажи и склад"? Если каждый из сервисов будет крутиться на своей базе и общаться посредством SOAP через HTTP - дополнительный плюс SOA и Полковнику. Если опишите механизм, откатывающий транзакции в 20 базах при ошибке проведения в 21 (чур токо несложный и чтобы время блокировки ) - с меня бутылка 12 летнего коньяка или виски на выбор.
Коллега - Ваша задачка как раз решается BizTalk сервером вполне успешно... Жаль что я не пью...
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601281
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ага,
посмотрите как работает любая система бронирования авиабилетов и т.п. Учасников много, баз тоже. Транзакция - это цепочка вызовов определенных сервисов с определенными параметрами. Транзакция завершается, если все сервисы из этой цепочки выполнят свою функцию и отчитаются об этом.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601285
Ага
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Vika VinnerАгаНе приведете ли конкретный пример реализации системы чуть выше уровня "считаем продажи и склад"? Если каждый из сервисов будет крутиться на своей базе и общаться посредством SOAP через HTTP - дополнительный плюс SOA и Полковнику. Если опишите механизм, откатывающий транзакции в 20 базах при ошибке проведения в 21 (чур токо несложный и чтобы время блокировки ) - с меня бутылка 12 летнего коньяка или виски на выбор.
Коллега - Ваша задачка как раз решается BizTalk сервером вполне успешно... Жаль что я не пью...
Действительно жаль :). Ткните плиз носом в реализацию на Бизтоке системы чуть выше уровня "продажи и склад". Ну хотя бы сравнимую с MS Dynamics NAV или My Sap.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601294
Полковник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ага,

Я к сожалению конкретной реализацией похвастаться не могу у нас такой практики нет (слышал что IBS что то делал в этой области), но такие задачки от заказчиков сыпятся довольно часто. Не беремся потому что у нас спецов нет, а что бы своего вырастить нужно не меньше года, а то и больше. Есть ощущение, что задачи по интеграции различных систем будут востребованы в ближашее время.

Вы еще одно направление затронули - распределенные системы. Это не сервисно-ориентированные системы - эти системы в основном пишутся на java ee с сервером приложений типа weblogic и ему подобных, где за описанные вами транзакции отвечает менеджер транзакций, могут работать с гетерогенными источниками данных - базами данных разных производителей в одном мега приложении, за соединение с базой отвечает сервер приложений, вся логика ложится на сервер приложений, база только хранит данные.

Много есть интересных вещей, жаль что на все нет времени.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601298
Ага
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
iscrafmАга,
посмотрите как работает любая система бронирования авиабилетов и т.п. Учасников много, баз тоже. Транзакция - это цепочка вызовов определенных сервисов с определенными параметрами. Транзакция завершается, если все сервисы из этой цепочки выполнят свою функцию и отчитаются об этом.

Я тоже много примеров знаю:). Тот же вопрос - ткните в носом в реализацию на сервисах системы по функционалу сравнимой с MS Dynamics Nav или My Sap.

Повторюсь - разделение целостного продукта на модули, общающиеся посредством SOA на мой вгляд не дает никаких преимуществ.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601314
Ага
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ПолковникАга,
Я к сожалению конкретной реализацией похвастаться не могу у нас такой практики нет (слышал что IBS что то делал в этой области), но такие задачки от заказчиков сыпятся довольно часто. Не беремся потому что у нас спецов нет, а что бы своего вырастить нужно не меньше года, а то и больше. Есть ощущение, что задачи по интеграции различных систем будут востребованы в ближашее время.
Вы еще одно направление затронули - распределенные системы. Это не сервисно-ориентированные системы - эти системы в основном пишутся на java ee с сервером приложений типа weblogic и ему подобных, где за описанные вами транзакции отвечает менеджер транзакций, могут работать с гетерогенными источниками данных - базами данных разных производителей в одном мега приложении, за соединение с базой отвечает сервер приложений, вся логика ложится на сервер приложений, база только хранит данные.
Много есть интересных вещей, жаль что на все нет времени.

Ну вот. Опять всезнающий мегасервер приложений :).
Намертво убили светлую мечту о возможности реализации корпоративной ERP путем маленьких сервисов, знающих свое маленькое дело и разнесенных по разным уголкам земного шара.
Пойду напьюсь
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601330
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ага Ткните плиз носом в реализацию на Бизтоке системы чуть выше уровня "продажи и склад". Ну хотя бы сравнимую с MS Dynamics NAV или My Sap.
Коллега, Вам знакомо слово Enterprise? Где SAP R/3 - это часть - может быть 30% всего навороченного? там же и PeopleSoft (HR) и Siebel (CRM), и вышеупомянутый Вами NAV... А в основе - самописная система на IBM / COBOL , продажи кстати писались на PowerBuilder 4.0 + SYBASE SQL Server v 90-x Я много бы могла вам порассказать о SOA - мы этим занимаемся без малого 10 лет. BizTalk внедряли еще 2002 - но боюсь ... места и времени не хватит...
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601369
Ага
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Vika VinnerКоллега, Вам знакомо слово Enterprise? Где SAP R/3 - это часть - может быть 30% всего навороченного? там же и PeopleSoft (HR) и Siebel (CRM), и вышеупомянутый Вами NAV... А в основе - самописная система на IBM / COBOL , продажи кстати писались на PowerBuilder 4.0 + SYBASE SQL Server v 90-x Я много бы могла вам порассказать о SOA - мы этим занимаемся без малого 10 лет. BizTalk внедряли еще 2002 - но боюсь ... места и времени не хватит...
С Enterprise к сожалению не знаком....
А Вам как все 10 лет пишется? Всем Biztalk с 2002 сам рулит иль все таки в каждой системе свои шлюзы рисуете с учетом особенностей архитектуры? Вам к Siebel и Nav изнутри удалось прикрутить распределенные транзакции? Боже - Вы девушка моей мечты! (прошу пошлить - обожаю Вику как трудовую единицу).
PS. По предыдущим постам понял что Вы все таки склоняетесь к классической архитектуре построения приложений, а вообще с удовольствием послушал бы про опыт реализации SOA.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601374
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АгаНамертво убили светлую мечту о возможности реализации корпоративной ERP путем маленьких сервисов, знающих свое маленькое дело и разнесенных по разным уголкам земного шара.
Давайте иа попробую чуть чуть осветить мистерию BizTalk и SOA архитектуры. Представьте себе дорогу. По ней едут все - кто то на велосипеде, некоторые на мотоцикле, многие на машинах, есть еще грузовики и авторбусы, а вот еще и самолет приземлился - за неимением ВПП - прямо на шоссе Задача - как всю эту разношерстную массу двигающихся {пусть даже в одном направлении} объектов научить правилам движения? И тем более обеспечить связью друг с другом? Можно ограничить скорость и заставить всех ехать с одинаковой скоростью... Только для самолета будет трудновато перейти на скорость велосипеда... А велосипедисту крутить педали до 255 миль в час... Что делает Biztalk? Позволяет использовать дорогу как средство передачи сообщений. То есть самолет съезжающий с дороги может всем послать сообщение о повороте направо - и все его поймут. Даже те кто его никогда не видел... как то так...
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601406
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АгаПо предыдущим постам понял что Вы все таки склоняетесь к классической архитектуре построения приложений, а вообще с удовольствием послушал бы про опыт реализации SOA.
Дело в том что если платформа едина - SOA теряет свою универсальность - читаем: все едут на одной скорости и следуют своим правилам движения. Передавать XML сообщения становится неинтересно - проще подъехать к соседней машине и кинуть ему камень с запиской в окно
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601417
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Поэтому я и сторонник монолитных решений. Но к сожалению такое случается нечасто. Камень с велосипеда в самолет недокинуть... это работа архитектора - четко понимать что делают каждая из конечных модулей системы. В Enterprise задачи различные - бизнесы сливаются (объединяются) разливаются - переоборудуются... и ввиду этого чаще всего приходится учить различные системы договариваться между собой. Вот здесь мы и переводим стрелки в BizTalk - ну или SOA как обще-потребительский термин. Я сама Системный Аналитик - это к тому что сама BizTalk использую как пользователь.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601474
ВМоисеев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
>Sysobjects, 26.04.2010, 12:31 [8688664]
>Потребность в том, что есть скажем модуль заведения клиентов ...
Реализовать подобное можно, например, так:
1. Используем WCF
2. Создаем сеть WCF-сервисов, таких как Ваши модули продаж и заведения клиентов (но тут надо внимательным и осторожным, каналы связи имеют конечную производительность). Каждый модуль имеет доступ к собственнной базе данных и содержит таблицу адресов связи с другими модулями.
3. Если "модулю А" потребуется что-то от "модуля Б", то выполняется запрос на обслуживание (вызов метода удаленного сервиса) "модуля Б". В теле сообщения должна быть информация о том, что желает А от Б.

Как работает подобная схема, в деталях можно посмотреть http://www.gotdotnet.ru/Forums/Design/488948.aspx
]этих двух статьях. Сложно правда, но если нет крипто, то немного полегче.

С уважением, Владимир.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601504
ВМоисеев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
>Sysobjects, 26.04.2010, 12:31 [8688664]
>Потребность в том, что есть скажем модуль заведения клиентов ...
Реализовать подобное можно, например, так:
1. Используем WCF
2. Создаем сеть WCF-сервисов, таких как Ваши модули продаж и заведения клиентов (но тут надо внимательным и осторожным, каналы связи имеют конечную производительность). Каждый модуль имеет доступ к собственнной базе данных и содержит таблицу адресов связи с другими модулями.
3. Если "модулю А" потребуется что-то от "модуля Б", то выполняется запрос на обслуживание (вызов метода удаленного сервиса) "модуля Б". В теле сообщения должна быть информация о том, что желает А от Б.

Как работает подобная схема, в деталях можно посмотреть http://www.gotdotnet.ru/Forums/Design/488948.aspx
]этих двух статьях. Сложно правда, но если нет крипто, то немного полегче.

С уважением, Владимир.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601580
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АгаЯ тоже много примеров знаю:). Тот же вопрос - ткните в носом в реализацию на сервисах системы по функционалу сравнимой с MS Dynamics Nav или My Sap.

Повторюсь - разделение целостного продукта на модули, общающиеся посредством SOA на мой вгляд не дает никаких преимуществ.
на мой - дает, причем значительные. Увеличение скорости при одновременном снижении стоимости как разработки, так и последующего сопровождения - в разы. И это не взгляд или мнение со стороны, это - проза жизни.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601581
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ага
Ну вот. Опять всезнающий мегасервер приложений :).
Намертво убили светлую мечту о возможности реализации корпоративной ERP путем маленьких сервисов, знающих свое маленькое дело и разнесенных по разным уголкам земного шара.
Пойду напьюсь
напьетесь заслуженно. Потому что путаете понятия. Сервер приложений - это домик, в котором живут сервисы.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601603
пролетевший
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ПолковникSysobjects,

У вас классический случай для SOA архитектуры. В подробности вдаваться не буду, поиском поищите в гугле.
+1024 В таких случаях вообще база данных - внутреннее дело модуля, она может быть и каким-нибудь экзотическим хранилищем типа NoSQL/RDF.... Объединяется все через ESB или аналогичное решение.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601605
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
пролетевшийбаза данных - внутреннее дело модуля, она может быть и каким-нибудь экзотическим хранилищем типа NoSQL/RDF.... Объединяется все через ESB или аналогичное решение.
так и есть, 100%
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601632
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
iscrafmпролетевшийбаза данных - внутреннее дело модуля, она может быть и каким-нибудь экзотическим хранилищем типа NoSQL/RDF.... Объединяется все через ESB или аналогичное решение.
так и есть, 100%

так ведь нет никакой экзотики... Все себе мирно на MS SQL Server 2008:

Topic starterСейчас нами разрабатывается некая система на .Net платформе, состоящая из отдельных модулей. Каждый со своей базой. Все базы - скул 2008.
Возникла очевидная потребность по синхронизации каких-то общих данных между модулями.

И зачем огород? Все можно решить .NET 3.5 и выше без заморочек SOA (вернее не так - там SOA все равно есть только как бы это по-мягче сказать.... в паранже )
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601646
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Мда. Я представляю нашего ТС переделывающего базу на сервисы (без архитектора)
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601791
Ага
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Vika Vinner
на мой - дает, причем значительные. Увеличение скорости при одновременном снижении стоимости как разработки, так и последующего сопровождения - в разы. И это не взгляд или мнение со стороны, это - проза жизни.

Повторюсь - ткните носом в прозу . Не в сервисы использующие базы данных сторонних продуктов в качестве источников для построения отчетов. Приведе пример конечного продукта, целиком построенного на SOA и распределенных базах данных. Пока от Вас слышу только голословные утверждения.

Vika Vinner
Давайте иа попробую чуть чуть осветить мистерию BizTalk и SOA архитектуры. Представьте себе дорогу. По ней едут все - кто то на велосипеде, некоторые на мотоцикле, многие на машинах, есть еще грузовики и авторбусы, а вот еще и самолет приземлился - за неимением ВПП - прямо на шоссе Задача - как всю эту разношерстную массу двигающихся {пусть даже в одном направлении} объектов научить правилам движения? И тем более обеспечить связью друг с другом? Можно ограничить скорость и заставить всех ехать с одинаковой скоростью... Только для самолета будет трудновато перейти на скорость велосипеда... А велосипедисту крутить педали до 255 миль в час... Что делает Biztalk? Позволяет использовать дорогу как средство передачи сообщений. То есть самолет съезжающий с дороги может всем послать сообщение о повороте направо - и все его поймут. Даже те кто его никогда не видел... как то так...

Спасибо за аналогию. Не уверен что удачная, Бизток все же больше смахивает на поворотники.

Vika VinnerПоэтому я и сторонник монолитных решений. Но к сожалению такое случается нечасто. Камень с велосипеда в самолет недокинуть... это работа архитектора - четко понимать что делают каждая из конечных модулей системы. В Enterprise задачи различные - бизнесы сливаются (объединяются) разливаются - переоборудуются... и ввиду этого чаще всего приходится учить различные системы договариваться между собой. Вот здесь мы и переводим стрелки в BizTalk - ну или SOA как обще-потребительский термин. Я сама Системный Аналитик - это к тому что сама BizTalk использую как пользователь.

Ключевое слово "учить". Мера как понимаю вынужденная :). Зоопарк-с.. Стоимость обучения интеграции конечного продукта посредстов SOA в процентах к стоимости самого продукта можете озвучить, а также охватываемый интеграцией процент функционала?
Добровольно себе такой устроите?
На вопрос интегрируетесь Вы посредством средств разработки того же Siebal или Nav или же используете обращение к базе данных ответа так и не услышал :).
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601817
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АгаКлючевое слово "учить". Мера как понимаю вынужденная :). Зоопарк-с.. Стоимость обучения интеграции конечного продукта посредстов SOA в процентах к стоимости самого продукта можете озвучить, а также охватываемый интеграцией процент функционала?
Добровольно себе такой устроите?
На вопрос интегрируетесь Вы посредством средств разработки того же Siebal или Nav или же используете обращение к базе данных ответа так и не услышал :).

Коллега ... Вы от меня требуете невозможного.... Для представления нашей архитектуры даже в общем виде ... нужна будет отдельная база данных... А вот к стоимости пожалуй придется обратиться... Мы имеем дело с миллионами долларов оборота в час. Стоимость простоя системы исчисляется сотнями тысяч ... в минуту. Экономический коеффициент ROI на основе MS SQL Server 2008 составляет всего 3 года - общий бюджет порядка 150 млн в год. Все делается сейчас на MS платформе - ключевые серверы - MS BizTalk и MS SharePoint - количество пользователей OLTP - 30,000 .. OLAP - 1,000 Стоимость лицензий ... порядка 4 млн - стоимость хардвер порядка 10 млн. все остальное - работа.
Когда IBM приходил с WebSphere и DB2 - одни лицензии увеличились до 10 млн. А о разработке ... ну в общем много запросили...
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601818
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Агавопрос интегрируетесь Вы посредством средств разработки того же Siebal или Nav или же используете обращение к базе данных ответа так и не услышал :).
Ой да - забыла - обращения - к объектам систем... Редко - но бывает - к базам... Интеграция - дели тонкое...
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601820
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АгаVika Vinner
на мой - дает, причем значительные. Увеличение скорости при одновременном снижении стоимости как разработки, так и последующего сопровождения - в разы. И это не взгляд или мнение со стороны, это - проза жизни.

Повторюсь - ткните носом в прозу . Не в сервисы использующие базы данных сторонних продуктов в качестве источников для построения отчетов. Приведе пример конечного продукта, целиком построенного на SOA и распределенных базах данных. Пока от Вас слышу только голословные утверждения.

каким образом ткнуть, уточните.
вот несколько систем:




.. и сервисы и распределенных БД достаточно.
здесь описание процесса создания одной
уточните каким образом ткнуть. Или думаете все на ходу придумывается?
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601827
Vika Vinner
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АгаСпасибо за аналогию. Не уверен что удачная, Бизток все же больше смахивает на поворотники
немного не так --- скорее на хорошо и вовремя расчерченные полосы девижения
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601855
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Vika VinnerАгаСпасибо за аналогию. Не уверен что удачная, Бизток все же больше смахивает на поворотники
немного не так --- скорее на хорошо и вовремя расчерченные полосы девижения я бы провел аналогию с суши-баром, когда транспортер по кругу тянет ингредиенты, по бокам стоят суровые японские парни и каждый делает свою часть работы, а в конце, за столиком сидит клиент, который получает порцию. Транспортер, естественно- ESB, парни - сервисы.
p.s. не путать с забегаловками, в которых один "мастер" лепит все, на одном столе (монолитная система)
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36601946
Агу
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
А я бы всётаки сжигал большинство менеджеров от ИТ.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36602252
Ага
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
iscrafm
каким образом ткнуть, уточните.
вот несколько систем:




.. и сервисы и распределенных БД достаточно.
здесь описание процесса создания одной
уточните каким образом ткнуть. Или думаете все на ходу придумывается?.
Спасибо, с удовольствием прочитаю. Надеюсь технические детали в плане реализации распределенных транзакций при интенсивном обращении сервисов друг к другу также не обойдены стороной.

Vika Vinner
Коллега ... Вы от меня требуете невозможного.... Для представления нашей архитектуры даже в общем виде ... нужна будет отдельная база данных... А вот к стоимости пожалуй придется обратиться... Мы имеем дело с миллионами долларов оборота в час. Стоимость простоя системы исчисляется сотнями тысяч ... в минуту. Экономический коеффициент ROI на основе MS SQL Server 2008 составляет всего 3 года - общий бюджет порядка 150 млн в год. Все делается сейчас на MS платформе - ключевые серверы - MS BizTalk и MS SharePoint - количество пользователей OLTP - 30,000 .. OLAP - 1,000 Стоимость лицензий ... порядка 4 млн - стоимость хардвер порядка 10 млн. все остальное - работа.
Когда IBM приходил с WebSphere и DB2 - одни лицензии увеличились до 10 млн. А о разработке ... ну в общем много запросили...

Спасибо, примерно такое отношение к стоимости работы к лицензиям я и ожидал услышать. Срочно берите на работу айскрима - он Вам понизит стоимость владения на порядок :).

Немного офф - как то совместно с экспертами в области ряда программных продуктов ERP (каждый работал с несколькими системами) рисовали графики роста стоимости внедрения и поддержки в зависимости от сложности проекта. За меру сложности проекта взяли как ни странно количество таблиц в первой интерпретации и реализуемый функционал во второй, оценки субъективные приводились на основе реальных проектов и частично воплей - "А вот я в своей проге за час накидаю!!!". В забеге участвовали ряд самописок, 1С еще 7-мой версии, Axapta, Navision и SAP - решения вообщем-то монолитные. Не буду оглашать всех деталей, расскажу лишь об одном выводе с которым согласились практически все участники. Вывод вполне очевидный - по мере роста сложности проекта удобный редактор кода, используемый язык программирования, средства для автоматического рисования форм и отчетов - вся внешняя мишура уходит на второй план. На первое место парадигма построения информационной системы - это и технические ограничения, заложеные вендором - к примеру реализация доступа к данным таблицы только через методы соотвествующего класса (в той же Аксапте или Навижне к примеру), а также методология разработки продукта на платформе - это и реализация фунционала по модульной схеме с выставлением соотвествущих соотвествующих интерфейсов для общения с другими модулями и реализация учета документов по схеме документ-журнал-книга... Ну и ожидалось, стоимость сопровождения и развития дешевых (лицензии не требуются или достаточно дешевы) систем оказалась выше, нежели дорогих.

К чему я распинаюсь? Да все к тому, что разделение ЦЕЛОСТНОГО продукта (не ряда программных продуктов, в совокупности соотвляющих ИТ-инфраструктуру предприятия) на разные сервера и базы данных (см. первые посты ТС - модуль заведения клиентов и модуль продаж в разных базах) должно быть оправдано. Чем же можно оправдать?

Увеличится общее быстродействие?
Сомнительно. Думаю распределенные транзакции не добавят скорости в работе, если же без них можно обойтись - значит и продукт смело можно распилить на совершенно независимые составляющие.

Увеличиться общая отказоустойчивость?
X серверов падают в среднем в X раз чаще, нежели один.

Стоимость владения станет ниже из-за того, что разработка и поддержка станет более удобной? Очень сомневаюсь. Ну может фиксы и версии на отдельные модули можно будет накатывать без остановки остальных.


Агу - здесь взрослые люди ведут разговор. Марш спать в постель.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36602366
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ага стоимость сопровождения и развития дешевых (лицензии не требуются или достаточно дешевы) систем оказалась выше, нежели дорогих.
стоимость сопровождения зависит только от архитектуры системы, ее способности к "сопровождению" образно. В этом аспекте, обсуждаемая концепция SOA конечно на высоте. Но никак не от стоимости лицензий, количества таблиц и пр. Экспертам передайте.


Ага
К чему я распинаюсь? Да все к тому, что разделение ЦЕЛОСТНОГО продукта (не ряда программных продуктов, в совокупности соотвляющих ИТ-инфраструктуру предприятия) на разные сервера и базы данных (см. первые посты ТС - модуль заведения клиентов и модуль продаж в разных базах) должно быть оправдано. Чем же можно оправдать?

ничем. Об этом, в общем-то, в самом начале топика было сказано .


Ага
Стоимость владения станет ниже из-за того, что разработка и поддержка станет более удобной? Очень сомневаюсь. Ну может фиксы и версии на отдельные модули можно будет накатывать без остановки остальных.

если Вы про SOA, то естественно ниже. Если про задачу, придуманную ТС, но конечно стоимость владения только увеличится.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36603892
ВМоисеев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
>iscrafm, 27.04.2010, 23:44 [8699312]
>...p.s. не путать с забегаловками...

Не могу полностью согласиться с Вами.
Если некоемому программному элементу узла сети требуется построить компонент данных (КД), состоящий не только из своих данных, то совсем не обязательно посылать этот КД в плавание по сети для последовательной достройки.
Думаю, что более разумно, строить КД в одном конкретном узле, "надергивая" недостающие данные с других узлов, выполняя методы удаленные сервисов. Я пытаюсь идти этим путём.

С уважением, Владимир.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36603946
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ВМоисеев,

я, к сожалению, не знаю что Вы понимаете под "узел сети" или "компонент данных". Поэтому ответить не представляется возможным. Я говорил о SOA, сервисах и ESB.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36606070
ВМоисеев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
>iscrafm, 28.04.2010, 18:54 [8704774]
>я, к сожалению, не знаю ...
Хорошо.
Узел сети - компьютер (множество компьютеров локальной сети) с множеством сервисов и сервисом данных, хотя бы один из сервисов имеет 1 дуплексный канал или 2 полудуплексных, имеющих выход за пределы локальной сети (Интернет).
Компонет данных - вордовский документ,содержащий две Excel-таблицы, 1-список участников, места и пр. шахматного турнира в Нью-Васюках (в узел сети Нью-Васюки содержит эту информацию), 2-состав турнира в каком нибудь другом месте. Данные по "раскраске" документа лежат в базе данных рассматриваемого узла.
Предпочитаю не посылать "раскраску" по волнам и ждать результата, а собирать документ на месте.
Сие реализуется с использованием толшько вызова методов удаленных сервисов WCF.

С уважением, Владимир
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36606177
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ВМоисеев,
Вы тоже самое и описали.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36606196
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
каждый сервис может быть использован как автономно, так и как комнонент (составная часть) другого сервиса
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36606650
Sysobjects
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну и срач развели )))

В общем прочитав кучу паттернов и бест практикс от различных вендеров по интеграции, сделал SOA на самописной шине согласно паттерну Message Bus
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36606696
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SysobjectsНу и срач развели )))
сделал SOA на самописной шине согласно паттерну
Message Bus
"Захотелось чего-то большого и чистого. Помыл слона. Не то..."
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36606917
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SysobjectsНу и срач развели )))

В общем прочитав кучу паттернов и бест практикс от различных вендеров по интеграции, сделал SOA на самописной шине согласно паттерну Message Bus
думал человек серьезный попался, а оказалось очередной выскочка. Мало того, что помошь ему назвал "срачем", так еще и за два дня все прочитал, понял и даже шину сделал.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36607245
Sysobjects
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
iscrafmSysobjectsНу и срач развели )))

В общем прочитав кучу паттернов и бест практикс от различных вендеров по интеграции, сделал SOA на самописной шине согласно паттерну Message Bus
думал человек серьезный попался, а оказалось очередной выскочка. Мало того, что помощь ему назвал "срачем", так еще и за два дня все прочитал, понял и даже шину сделал.

Уж извините, что не соответствую. А что там читать то - все тексты в итоге сводятся к одной мысли.

По сути:
У меня СВОИ модули, в которых я САМ могу задать контракты обмена, и я заранее знаю процессы обмена - синхронизируются большей частью справочники БЕЗ сложных транзакций.

Что сложного в том, чтобы при таких условиях сделать свою шину и сэкономить компании денег на покупке готового интегратора вроде Бизтолка, Кэмела или Веб Сферы?
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36607513
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sysobjects
Что сложного в том, чтобы при таких условиях сделать свою шину и сэкономить компании денег на покупке готового интегратора вроде Бизтолка, Кэмела или Веб Сферы?
никто не сомневается что программист может всё написать :).
Этому даже название есть - велосипед.
Только на проверку всё блефом заканчивается, который выкидывает на помойку пришедший за тобой "писатель".
Удачи!
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36607516
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SysobjectsПо сути:
У меня СВОИ модули, в которых я САМ могу задать контракты обмена, и я заранее знаю процессы обмена - синхронизируются большей частью справочники БЕЗ сложных транзакций.

Что сложного в том, чтобы при таких условиях сделать свою шину и сэкономить компании денег на покупке готового интегратора вроде Бизтолка, Кэмела или Веб Сферы?
по сути все понятно. Большие сомнения что это сделано за два дня.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36609584
baike2000
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sysobjects
авторНу и срач развели )))
Срач развели вы, начав этот топик.

авторВ общем прочитав кучу паттернов и бест практикс от различных вендеров по интеграции, сделал SOA на самописной шине согласно паттерну Message Bus
Если бы почитали авторкучу паттернов и бест практикс то вам бы попался "некий" Фаулер и там бы вы узнали, что архитектора вашего надо бы уволить, за то, что он разделил модули на уровне базы данных.

PS: Жаль только тех, кто после вас придет... потому как, то что вы говорите по поводу нагрузки, это детский лепет и у вас нет нормального DBA, есть только модный архитектор
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36621929
Sysobjects
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
по сути все понятно. Большие сомнения что это сделано за два дня.
а если так ? ))) То реально сделать ?
то вам бы попался "некий" Фаулер и там бы вы узнали, что архитектора вашего надо бы уволить, за то, что он разделил модули на уровне базы данных.

Знаем такого. Читали, изучали.
Страница 84.

Наши предполагаемые камни для "единой базы" по Фаулеру:
1) Коммерческое ПО со своей базой в которую нельзя лазить руками (MS Dynamics CRM)
2) Возрастающее число запросов, которое может повалить базу дедлоками.

Я согласен, что ГРАМОТНО спроектированная база сняла бы бОльшую часть интеграционных проблем (остаток: CRM + общая база), но для этого компании нужен был хороший архитектор баз, которого на момент проектирования у них не оказалось.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36622218
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sysobjectsпо сути все понятно. Большие сомнения что это сделано за два дня.
а если так ? ))) То реально сделать ?
сомнений еще больше
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36623809
strizh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sysobjects
...1) Коммерческое ПО со своей базой в которую нельзя лазить руками (MS Dynamics CRM)

Кто сказал, что в MS CRM 4 нельзя "лазить руками", т.е. запросами DML ?
Да сколько угодно !
Пишем, читаем - как хотим.
Понятное дело, что надо оглядываться на наличие-отсутствие бизнес-правил для объектов внутри CRM (они внешние относительно БД MS SQL). Поэтому с update, insert, delete - осторожненько, но достаточно просто. Это если влом через стандартную библиотеку объектов идти.
...
Рейтинг: 0 / 0
Вопросы интеграции и репликации (мнение ГУРУ)
    #36625229
Фотография -=*ShamaN*=-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Интересующий вас вопрос относится к MDM
MDM - Wiki и MDM - Открытые системы
...
Рейтинг: 0 / 0
90 сообщений из 90, показаны все 4 страниц
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Вопросы интеграции и репликации (мнение ГУРУ)
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]