|
|
|
Механизмы асинхронной репликации
|
|||
|---|---|---|---|
|
#18+
Есть задача проектирования системы подобной той, которая рассмотрена статье http://habrahabr.ru/blogs/sql/66920/. В качестве сервера BI используется MS SQL 2008. Данные в него попадают из нескольких различных БД (FireBird, Postgres...). Структура целевой БД отражает структуры БД-источников (различные). Особенность в том, что все эти БД физически не могут взаимодействовать по сети напрямую. Только на уровне обмена файлами. Как можно организовать асинхронную репликацию для двух полярных подходов. 1. Высокая частота обновления (до 1 раза в минуту) и минимальный объем данных (единицы МБ). 2. Невысокая частота обновления (несколько раз в сутки) и максимальный объем данных (сотни МБ) Наверняка эта задача уже решалась. Буду признателен за любые сведения о подходах к решению этой задачи (отсутствие прямого взаимодействия, асинхронная репликация разнородных СУБД с использованием файлового обмена). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.06.2010, 10:15 |
|
||
|
Механизмы асинхронной репликации
|
|||
|---|---|---|---|
|
#18+
Данные накапливаются, их обновление маловероятно (данные мониторинга). Если оно необходимо, то не чаще чем 1-2 раз в сутки. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.06.2010, 10:23 |
|
||
|
Механизмы асинхронной репликации
|
|||
|---|---|---|---|
|
#18+
Alexandre_T , вопрос больше подойдёт для этого раздела ... Не совсем понятно... По составу и структуре табличек БД источники совпадают с целевой БД? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.06.2010, 10:30 |
|
||
|
Механизмы асинхронной репликации
|
|||
|---|---|---|---|
|
#18+
krvsa, Согласен, возможно ошибся с разделом. Структура БД источников различна. Структура целевой БД отражает структуру БД-источников (но не на 100%, а только в части интересующих сведений) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.06.2010, 10:41 |
|
||
|
Механизмы асинхронной репликации
|
|||
|---|---|---|---|
|
#18+
Alexandre_TСтруктура БД источников различна. Вот и расскажи, насколько она различна? Alexandre_TСтруктура целевой БД отражает структуру БД-источников (но не на 100%, а только в части интересующих сведений) Т.е. передаются на все таблички, а часть... Да и поля могут передаваться не все, а часть... Так? Или еще хуже? Данные их N таблиц источников одной структуры полей, будут попадать в M таблиц целевой со своей структурой полей? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.06.2010, 11:13 |
|
||
|
Механизмы асинхронной репликации
|
|||
|---|---|---|---|
|
#18+
Alexandre_T, почему бы не организовать обмен однотипных СУБД? догадываюсь ;), но все же ИМХО репликация бы делалась проще ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.06.2010, 11:28 |
|
||
|
Механизмы асинхронной репликации
|
|||
|---|---|---|---|
|
#18+
krvsaAlexandre_TСтруктура БД источников различна. Вот и расскажи, насколько она различна? Alexandre_TСтруктура целевой БД отражает структуру БД-источников (но не на 100%, а только в части интересующих сведений) Т.е. передаются на все таблички, а часть... Да и поля могут передаваться не все, а часть... Так? Или еще хуже? Данные их N таблиц источников одной структуры полей, будут попадать в M таблиц целевой со своей структурой полей? часть данных из N таблиц источников одной структуры полей попадают в N таблиц целевой с такой же структурой полей а часть данных из N таблиц источников одной структуры полей попадают в M таблиц целевой со своей структурой полей Главный вопрос - как физически реализовать перенос данных. Можно ли можно рассматривать для такой задачи обмен текстовыми файлами с вызовом хранимой процедуры? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.06.2010, 15:01 |
|
||
|
Механизмы асинхронной репликации
|
|||
|---|---|---|---|
|
#18+
Alexandre_Tа часть данных из N таблиц источников одной структуры полей попадают в M таблиц целевой со своей структурой полей Вот это уже фигово... Как вариант... - Передавать все "действия" с таблицами БД источника... - На целевой БД анализировать "действия", распихивать по нужным таблицам и полям ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.06.2010, 15:35 |
|
||
|
Механизмы асинхронной репликации
|
|||
|---|---|---|---|
|
#18+
Alexandre_T, Во-первых, у Вас как мне кажется путаница с терминологией. Скорее не "асинхронная репликация", а "гетерогенная оффлайн репликация". Во-вторых, маловато данных. Вы собираетесь устроить некий "слив" данных из разнородных БД. А есть ли возможность вносить изменения в структуру источников данных? Например, подозреваю, что PK в разных базах имеют причудливо-различные типы и потребуется ввести столбцы типа GUID. И много чего неизвестно. Лучше на конкретных примерах обсуждать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.06.2010, 19:16 |
|
||
|
Механизмы асинхронной репликации
|
|||
|---|---|---|---|
|
#18+
Скорее, придется городить собственную схему. Хорошо, если есть возможность создать во всех базах - в синхронизируемых таблицах служебные атрибуты с одинаковыми именами, - служебные таблицы с одинаковыми именами. ("Одинаковыми" несмотря на разные СУБД.) Имелся личный опыт посроения репликатора, основанного на трёх служебных атрибутах (REP_ORIGID, REP_AGE, REP_RESIDENCE), с обменом файлами в формата mdb (Access) или текстового (CSV, TSV). Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.06.2010, 20:57 |
|
||
|
Механизмы асинхронной репликации
|
|||
|---|---|---|---|
|
#18+
Senya_LAlexandre_T, Во-первых, у Вас как мне кажется путаница с терминологией. Скорее не "асинхронная репликация", а "гетерогенная оффлайн репликация". Во-вторых, маловато данных. Вы собираетесь устроить некий "слив" данных из разнородных БД. А есть ли возможность вносить изменения в структуру источников данных? Например, подозреваю, что PK в разных базах имеют причудливо-различные типы и потребуется ввести столбцы типа GUID. И много чего неизвестно. Лучше на конкретных примерах обсуждать. GUID, кстате, лучше не использовать в хранилище для олап системы. потом в кубе его придеться в varchar конвертить. А ключ на varchar это не очень "красиво" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.06.2010, 11:01 |
|
||
|
Механизмы асинхронной репликации
|
|||
|---|---|---|---|
|
#18+
Как я правильно понял - вопрос состоит не в структурах, а в том, как организовать обмен между БД если нет сети!!! Изначально именно так и ставился вопрос. Так что структуры тут видимо ни при чем. В связи с этим вариант видимо только один - XML докумены на основе единой схемы обмена XSD. Для каждого сервера (различные платформы ) пишутся соответсвующие парсеры, к стати в BI этот функционал уже предусмотрен. Раз нет сетевого взаимодействия - значит курьер ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.06.2010, 09:21 |
|
||
|
|

start [/forum/topic.php?fid=32&msg=36687076&tid=1542649]: |
0ms |
get settings: |
10ms |
get forum list: |
11ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
162ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
38ms |
get tp. blocked users: |
1ms |
| others: | 242ms |
| total: | 481ms |

| 0 / 0 |
