|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
SysobjectsРазделение обусловлено тем, что данные в одной базе - вроде как "зоопарк разводим", а если каждый модуль со своей базой - то обеспечиваем независимость систем (Low coupling). Ой ну да ... что то я совсем сегодня... Сорьки... Иногда имеет смысл - если продукт на продажу. Если свой... Не делайте глупостей. Пользы мало - а головной боли... проще перейти на Модельно Управляемый Процесс тот же PD вам здорово поможет. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2010, 19:38 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
Мы однажды консолидировали 28 различных систем ентерпрайза - всех вендоров подключили - и в конце концов таки собрали все в две базы - OLAP и OLTP. Это единственно серъезное архитектурное различие между системами. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2010, 19:41 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
Vika Vinner собрали все в две базы - OLAP и OLTP. Это Между ними шел воскресный процесс ETL перегрузки - архивирования. Все остальное полностью консолидировано. Если конечно нет условий SOX или HIPPA... там обязательно надо огород городить. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2010, 19:43 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
Vika Vinner Если конечно нет условий SOX или HIPPA... там обязательно надо огород городить. да уж.. Hippa to da hoppa and you just don't stoppa (хором) (с) Ol Dirty Bastard ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2010, 19:53 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
Если базы физически на одном сервере, проблем быть не должно. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 06:00 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
Vika VinnerМы однажды консолидировали 28 различных систем ентерпрайза - всех вендоров подключили - и в конце концов таки собрали все в две базы - OLAP и OLTP. Это единственно серъезное архитектурное различие между системами. Такой вопрос появился: многие говорят о необходимости единой базы, которую уже разрешать на уровне сервисов. Пример: Есть система из двух неких логических модулей "склад" и "продажи". Пусть они пересекаются по данным номенклатур и еще чему то. Мы их объединили в единую базу как и предлагалоь. Пусть нагрузка на "продажи" несопоставимо выше, чем нагрузка на "склад". Что может получится на мой взгляд: 1) Повышенная нагрузка на "продажи" также стопорит складскую систему, которая, в случае отдельной базы, спокойно пережила бы это происшествие. 2) Если мы видим, что нагрузка на "продажи" запредельная, то в случае отдельной базы мы спокойно можем вынести его в датацентр, не нарушая работу остальных модулей. В случае единой базы разнести сложно. Или я не прав? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 09:51 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
Забыл добавить - один из модулей MS Dynamics CRM, который слить не получится с остальными модулями, а клиентов скажем гонять туда-сюда и синхронизировать надо. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 10:16 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
Sysobjects, У вас классический случай для SOA архитектуры. В подробности вдаваться не буду, поиском поищите в гугле. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 10:41 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
Sysobjects 2) Если мы видим, что нагрузка на "продажи" запредельная, то в случае отдельной базы мы спокойно можем вынести его в датацентр, не нарушая работу остальных модулей. В случае единой базы разнести сложно. Или я не прав? нагрузка за счет чего? Большого числа пользователей или какие-то ресурсоемкие вычисления (что нереально для модуля "продажи")? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 12:19 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
Sysobjects 1) Повышенная нагрузка на "продажи" также стопорит складскую систему, которая, в случае отдельной базы, спокойно пережила бы это происшествие. Или я не прав? не прав. Т.к. это чисто теоретические выкладки не подкреплённые ничем. 2. Методы решения от "стопорит" есть как горизонтальные, так и вертикальные (архитектура). ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 12:20 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
Ситуация - мы в одной базе совместили фронт офисную базу и бекофисную. Фронтофисная часть нагружена явно сильнее ,чем бекофис. Ну пусть и то и то. Идея что база одна - но в ней одна часть активно используется, другая не так активно, а тормозить будет всё. 2. Методы решения от "стопорит" есть как горизонтальные, так и вертикальные (архитектура). Приведите примеры решений от "стопорит" ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 13:14 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
Имхо задача высосана из пальца. Тут понимаешь стараешся объединять зоопарки в одну клетку, а некоторые люди специально их строят :). Непротиворечивое разделение на модули очень трудно реализовать даже на логическом уровне, тем более на физическом. Некоторые вопросы: 1. Общие справочники и кто и когда их будет заполнять (читай в какой базюльке), что делать при передаче функций ведения из одного отдела (читай базюльке) в другой. 2. Некоторые модули волевым решением очкастых аналитегов разведенные по разным базам в один прекрасный момент захотят слиться в орг.. тьфу жить в одной базе. Типичный пример - учет товарной себестоимости и складские операции. Что делать бум? 3. Архитектура должна поддерживать проверку на валидность, сквозную для нескольких модулей. К примеру при выпуске расходной накладной (простановке галке - "Грузить", Учете - кто на что горазд, тот так и называет) система должна слазить: а. В модуль Финансы и спросить - скоко клиент на бобов должен? Можно грузить аль нет ишшо? Можно? Ну спасибо. б. В складской модуль - если товары для меня? Есть? Давай млин резервируй! Чо? Для кого резервировать? Это не все равно? Нет? А почему? Нужно в резерв поставить? Ну давай это я - расходная накладная из модуля Продажи? Чо ждать пять минут? Почему? Нужно еще по 10 модулям слазить и кое че проверить.. мля жду. Не можешь зарезервировать - в модуле Товары нашелся документик который товар вот-вот спишет как потерянный ? А чо сразу то не сказал? А это ты - очередная заглушка которую потом честно поправят - ну превед превед, резервируй что можешь и скажи мне - пойду в Покупки. с. Покупки - Эй народ мне тут товар нужно грузить через неделю, а на складе нет. Когда появицо? Через 10 минут приходить? А чо так долго? А ... и тебе тоже нужно слазить в финансы и посмотреть когда оплатили поставщику иль нет, потом в Логистику - посмотреть когда сможет доставить, потом куда? В продажи то зачем? Ааа.. посмотреть есть ли резервы от моих соседей? А может я сам? Что значит интерфейсов нет - не знаю что ли как? Ну ладно сам посмотри и доложи........ Чо - не получится чтоли зарезервировать? Ну ладно пойду ругнуть юзерю если еще домой не ушел. Вощем резюме - в такой постановке не взлетит ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 15:46 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
Ага, Грусно, слышать о вашем бардаке, сочуствую. Вы про SOA что нить слышали? Про интеграцию несвязанных между собой систем посредством сервисов? Нет? Мне вас жаль. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 16:07 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
ПолковникАга, Грусно, слышать о вашем бардаке, сочуствую. Вы про SOA что нить слышали? Про интеграцию несвязанных между собой систем посредством сервисов? Нет? Мне вас жаль. Сам по себе порой слезки лью. Про SOA краем уха все ж таки слышал. Использую мало-мало: ECOD, система мобильной торговли, интернет-магазин,с несколькими поставщиками есть взаимодействие. Мало конечно, недорос еще до уровня мегаSOAинтегратора. Посему считаю, что строить систему посредством расленения целостного продукта на связанные посредством механизма обмена сообщениями модули - бред. Еще ни в одной реализации не видел абсолютно надежного механизма (про прозрачность в реализации для для разработчика вообще молчу) откатывания транзакций даже между двумя системами, куда может привести взаимодействие между десятком модулей, вызванное к примеру учетом счета - трудно даже представить. Внимаю советам мудрого Полковника, да снизойдет на него благословение OASIS. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 16:25 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
:Вы про SOA что нить слышали? Про интеграцию несвязанных между собой систем посредством сервисов? Нет? Мне вас жаль. Я бы не рекомендовала SOA архитектуру для единородной системы (MS SQL Server 2008 - based). Ничего полезного - а сплошные мегрени. Если SQL сам в основе всех модулей/систем - начните с пересмотра и классификации бизнес объектов (Business Intelligence). И сделайте нормальный ре-факторинг. Увидите как все станет проще и в прои3водительности и в логике. Для справки - BizTalk Сервер - это мощный SOA сервер - но задачи его - это интеграция межплатформенных сообщений: IBM - UNIX - WinTel ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 16:30 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
Sysobjects Идея что база одна - но в ней одна часть активно используется, другая не так активно, а тормозить будет всё. ==== твоя идея - дилетантство. Типа - комп один, а задачи - 2 = будет тормозить 2. Методы решения от "стопорит" есть как горизонтальные, так и вертикальные (архитектура). Приведите примеры решений от "стопорит" ==== кластеры, балансировка нагрузки и т.д. Спроси у разработчиков серверной части ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 16:30 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
SysobjectsЗабыл добавить - один из модулей MS Dynamics CRM, который слить не получится с остальными модулями, а клиентов скажем гонять туда-сюда и синхронизировать надо. Так Ваша система вся построена вокруг MS Dynamics CRM? Или нужна интеграция к ней? не могли бы Вы мне помочь разобраться - Вы перепродаете (интегрируете) систему на основе MS Dynamics - или Вы конечный пользователь системы, которая была создана внутри одной организации? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 16:35 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
Vika Vinner Я бы не рекомендовала SOA архитектуру для единородной системы (MS SQL Server 2008 - based). Ничего полезного - а сплошные мегрени. что такое SOA, как арихитектура? 1. все функции системы определены как самодостаточные сервисы, выполняющие ту или иную бизнес-задачу 2. все сервисы связываются между собой в момент исполнения 3. любой сервис для его потребителей - черный ящик, который принимает определенные параметры и реализует конкретный функционал, возможно возвращает конкретный результат 4. любой сервис можно использовать как автономно, так и в связке с другими сервисами, многократно 5. все сервисы "нанизываются" на единый каркас - шину, которая поддерживает их "горячую" замену при необходимости, простое внесение изменений в систему, легкое сопровождение. 6... и т.д. и т.п. Это - архитектура. А BizTalk просто одна из реализаций принципов SOA, не более. BizTalk действительно ТС не нужен, зачем ему дополнительные головные боли. Но BizTalk и иже с ним - не синонимы SOA. Сама SOA, как архитектура, наоборот избавляет от головной боли. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 16:43 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
SysobjectsПример: Есть система из двух неких логических модулей "склад" и "продажи". ..... Что может получится на мой взгляд: .... Или я не прав? Посисдите немного со своим БА и Архитектором. Выделите все отчетности - ВСЕ без исключения - и создайте систему архивирования. Определитесь с объемом хранилищ и дискового пространства. Вот тут будет Ваша OLAP. А все - повторюсь ВСЕ остальные модули должны быть в едином боксе в единой базе данных. Обязательно определить "срок жизни" данных - перед архивированием. Все остальные оперативные данные будут жить вне системы OLAP. это будет Ваш OLTP - высокопроизводительный и высоконормализованный блок. Для примера - наше решение имеет один кластерный сервер на единую сеть ретейл - {таких сетей 6} - все высокопроизводительные 8-процессорники с Tier 1 сторадж. В конце недели начинается "перелив" в архив и OLAP - всех шести сетей в единый склад Enterprise Data Warehouse. Он реализован на кластере ITANIUM в несколько терабайт iSCSI который в свою очередь формирует кубы для SSRS - аналитики. Кубы и хранилища (Data sources) форматированы в 158 фаилгрупп - поддерживают 3 года (53+52+53) недели. каждая файл группа - одна неделя работы сети что то около 120 ГБ (120 *158 ~ 20 TB archived) данных в архивном исполнении.. Сюда в эту часть совсем другие пользователи подключаются. Хочу заметить что наша одна сеть - это около 6000 магазинов универмагов по всему миру. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 17:01 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
iscrafmНо BizTalk и иже с ним - не синонимы SOA. Сама SOA, как архитектура, наоборот избавляет от головной боли. Дело в том что здесь я с Вами не могу не согласиться, Валера. Но как показала практика SOA для монолитной Microsoft платформы - нерентабелен. Конечно мы повсеместно используем SOA - и как его реализацию MS BizTalk сервер. Но у нас - борщ 35 летней разработки в котором есть все. IBM 390, AS/400, Unix/Lynux, Microsoft ... Если бы мне сейчас поставили задачу переделать ВСЕ - я бы все строила без SOA на единой WCF/WPF платформе. Что в определенном контексте реализации все равно SOA но хоть без страшных слов... ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 17:06 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
iscrafm что такое SOA, как арихитектура? 1. все функции системы определены как самодостаточные сервисы, выполняющие ту или иную бизнес-задачу 2. все сервисы связываются между собой в момент исполнения 3. любой сервис для его потребителей - черный ящик, который принимает определенные параметры и реализует конкретный функционал, возможно возвращает конкретный результат 4. любой сервис можно использовать как автономно, так и в связке с другими сервисами, многократно 5. все сервисы "нанизываются" на единый каркас - шину, которая поддерживает их "горячую" замену при необходимости, простое внесение изменений в систему, легкое сопровождение. 6... и т.д. и т.п. Это - архитектура. А BizTalk просто одна из реализаций принципов SOA, не более. BizTalk действительно ТС не нужен, зачем ему дополнительные головные боли. Но BizTalk и иже с ним - не синонимы SOA. Сама SOA, как архитектура, наоборот избавляет от головной боли. Не приведете ли конкретный пример реализации системы чуть выше уровня "считаем продажи и склад"? Если каждый из сервисов будет крутиться на своей базе и общаться посредством SOAP через HTTP - дополнительный плюс SOA и Полковнику. Если опишите механизм, откатывающий транзакции в 20 базах при ошибке проведения в 21 (чур токо несложный и чтобы время блокировки ) - с меня бутылка 12 летнего коньяка или виски на выбор. Могу облегчить жизнь и выкатить совсем несложную постановку: Финансы - серверв и база в Германии. 5 баз (гы гы гы) и 100 сервисов. Склад - сервер и база в Кукуево. 20 сервисов на одной базе. Бухгалтерия, Продажи, покупки - сервер и база в Москве. 3 базы - покупки, продажи, финансы и куча сервисов. Что делаем - учитываем расходную накладную и счет. По условиям игры нужно провести реализацию в русской бухгалтерии и в буржуйских финансах. Также нужно рассчитать себестоиомость продаж и провести по финансам и разумеется российской бухгалтерии. Разумеется нужно отразить продажу и в базе продаж. Правила игры таковы что баланс клиента проверяется в буржуйских финансах. Наличие товара - на складе в Кукуево. Да и еще себестоимость продаж в базе финансов должна разложиться по составляющим - прямая от поставщика, все виды товарных издержек (вводятся в базе Покупки) ну и до кучи добавим нетоварную в ввиде скажем...процентов представителю покупателя, которые лежат в модуле Продажи. Улеглось в голове? Продолжаем... Поскольку у нас сервисы уж совсем черные ящики, то о логике поведения других сервисов, а тем более их реализации не имеют ни малейшего понятия. Вполне возможна ситуация множественных вызовов, продажи->финансы->продажи->склад->финансы. Как поддерживать транзакционную целостность при условии минимального времени блокировки записей? Как избежать бесконеченого цикла? Как киллять зависшие сессии (в середине транзакции умер сервис в Кукуево) ? Господа, мне кажется Вы пытаетесь написать мегауниверсальную распределенную базу данных ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 17:14 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
АгаНе приведете ли конкретный пример реализации системы чуть выше уровня "считаем продажи и склад"? Если каждый из сервисов будет крутиться на своей базе и общаться посредством SOAP через HTTP - дополнительный плюс SOA и Полковнику. Если опишите механизм, откатывающий транзакции в 20 базах при ошибке проведения в 21 (чур токо несложный и чтобы время блокировки ) - с меня бутылка 12 летнего коньяка или виски на выбор. Коллега - Ваша задачка как раз решается BizTalk сервером вполне успешно... Жаль что я не пью... ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 17:19 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
Ага, посмотрите как работает любая система бронирования авиабилетов и т.п. Учасников много, баз тоже. Транзакция - это цепочка вызовов определенных сервисов с определенными параметрами. Транзакция завершается, если все сервисы из этой цепочки выполнят свою функцию и отчитаются об этом. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 17:26 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
Vika VinnerАгаНе приведете ли конкретный пример реализации системы чуть выше уровня "считаем продажи и склад"? Если каждый из сервисов будет крутиться на своей базе и общаться посредством SOAP через HTTP - дополнительный плюс SOA и Полковнику. Если опишите механизм, откатывающий транзакции в 20 базах при ошибке проведения в 21 (чур токо несложный и чтобы время блокировки ) - с меня бутылка 12 летнего коньяка или виски на выбор. Коллега - Ваша задачка как раз решается BizTalk сервером вполне успешно... Жаль что я не пью... Действительно жаль :). Ткните плиз носом в реализацию на Бизтоке системы чуть выше уровня "продажи и склад". Ну хотя бы сравнимую с MS Dynamics NAV или My Sap. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 17:28 |
|
Вопросы интеграции и репликации (мнение ГУРУ)
|
|||
---|---|---|---|
#18+
Ага, Я к сожалению конкретной реализацией похвастаться не могу у нас такой практики нет (слышал что IBS что то делал в этой области), но такие задачки от заказчиков сыпятся довольно часто. Не беремся потому что у нас спецов нет, а что бы своего вырастить нужно не меньше года, а то и больше. Есть ощущение, что задачи по интеграции различных систем будут востребованы в ближашее время. Вы еще одно направление затронули - распределенные системы. Это не сервисно-ориентированные системы - эти системы в основном пишутся на java ee с сервером приложений типа weblogic и ему подобных, где за описанные вами транзакции отвечает менеджер транзакций, могут работать с гетерогенными источниками данных - базами данных разных производителей в одном мега приложении, за соединение с базой отвечает сервер приложений, вся логика ложится на сервер приложений, база только хранит данные. Много есть интересных вещей, жаль что на все нет времени. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2010, 17:31 |
|
|
start [/forum/topic.php?fid=33&msg=36599278&tid=1548307]: |
0ms |
get settings: |
10ms |
get forum list: |
11ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
51ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
55ms |
get tp. blocked users: |
1ms |
others: | 12ms |
total: | 156ms |
0 / 0 |