powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Механизмы асинхронной репликации
12 сообщений из 12, страница 1 из 1
Механизмы асинхронной репликации
    #36687021
Alexandre_T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Есть задача проектирования системы подобной той, которая
рассмотрена статье http://habrahabr.ru/blogs/sql/66920/.
В качестве сервера BI используется MS SQL
2008. Данные в него попадают из нескольких различных БД (FireBird,
Postgres...).
Структура целевой БД отражает структуры БД-источников (различные).
Особенность в том, что все эти БД физически не могут
взаимодействовать по сети напрямую. Только на уровне обмена файлами.
Как можно организовать асинхронную репликацию для двух полярных подходов.
1. Высокая частота обновления (до 1 раза в минуту) и минимальный объем данных (единицы МБ).
2. Невысокая частота обновления (несколько раз в сутки) и максимальный объем данных (сотни МБ)

Наверняка эта задача уже решалась. Буду признателен за любые сведения о подходах к решению этой задачи (отсутствие прямого взаимодействия, асинхронная репликация разнородных СУБД с использованием файлового обмена).
...
Рейтинг: 0 / 0
Механизмы асинхронной репликации
    #36687038
Alexandre_T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Данные накапливаются, их обновление маловероятно (данные мониторинга). Если оно необходимо, то не чаще чем 1-2 раз в сутки.
...
Рейтинг: 0 / 0
Механизмы асинхронной репликации
    #36687053
Фотография krvsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexandre_T , вопрос больше подойдёт для этого раздела ...

Не совсем понятно... По составу и структуре табличек БД источники совпадают с целевой БД?
...
Рейтинг: 0 / 0
Механизмы асинхронной репликации
    #36687076
Alexandre_T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
krvsa,

Согласен, возможно ошибся с разделом.

Структура БД источников различна. Структура целевой БД отражает структуру БД-источников (но не на 100%, а только в части интересующих сведений)
...
Рейтинг: 0 / 0
Механизмы асинхронной репликации
    #36687147
Фотография krvsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexandre_TСтруктура БД источников различна.
Вот и расскажи, насколько она различна?

Alexandre_TСтруктура целевой БД отражает структуру БД-источников (но не на 100%, а только в части интересующих сведений)
Т.е. передаются на все таблички, а часть... Да и поля могут передаваться не все, а часть... Так?
Или еще хуже?
Данные их N таблиц источников одной структуры полей, будут попадать в M таблиц целевой со своей структурой полей?
...
Рейтинг: 0 / 0
Механизмы асинхронной репликации
    #36687189
Фотография roden
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexandre_T,

почему бы не организовать обмен однотипных СУБД? догадываюсь ;), но все же ИМХО репликация бы делалась проще
...
Рейтинг: 0 / 0
Механизмы асинхронной репликации
    #36687882
Alexandre_T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
krvsaAlexandre_TСтруктура БД источников различна.
Вот и расскажи, насколько она различна?

Alexandre_TСтруктура целевой БД отражает структуру БД-источников (но не на 100%, а только в части интересующих сведений)
Т.е. передаются на все таблички, а часть... Да и поля могут передаваться не все, а часть... Так?
Или еще хуже?
Данные их N таблиц источников одной структуры полей, будут попадать в M таблиц целевой со своей структурой полей?

часть данных из N таблиц источников одной структуры полей попадают в N таблиц целевой с такой же структурой полей
а часть данных из N таблиц источников одной структуры полей попадают в M таблиц целевой со своей структурой полей

Главный вопрос - как физически реализовать перенос данных. Можно ли можно рассматривать для такой задачи обмен текстовыми файлами с вызовом хранимой процедуры?
...
Рейтинг: 0 / 0
Механизмы асинхронной репликации
    #36687975
Фотография krvsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexandre_Tа часть данных из N таблиц источников одной структуры полей попадают в M таблиц целевой со своей структурой полей
Вот это уже фигово...

Как вариант...
- Передавать все "действия" с таблицами БД источника...
- На целевой БД анализировать "действия", распихивать по нужным таблицам и полям
...
Рейтинг: 0 / 0
Механизмы асинхронной репликации
    #36688500
Senya_L
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexandre_T,

Во-первых, у Вас как мне кажется путаница с терминологией. Скорее не "асинхронная репликация", а "гетерогенная оффлайн репликация".

Во-вторых, маловато данных. Вы собираетесь устроить некий "слив" данных из разнородных БД. А есть ли возможность вносить изменения в структуру источников данных? Например, подозреваю, что PK в разных базах имеют причудливо-различные типы и потребуется ввести столбцы типа GUID. И много чего неизвестно. Лучше на конкретных примерах обсуждать.
...
Рейтинг: 0 / 0
Механизмы асинхронной репликации
    #36691137
Dmitriy Ivanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Скорее, придется городить собственную схему.

Хорошо, если есть возможность создать во всех базах
- в синхронизируемых таблицах служебные атрибуты с одинаковыми именами,
- служебные таблицы с одинаковыми именами.
("Одинаковыми" несмотря на разные СУБД.)

Имелся личный опыт посроения репликатора, основанного на трёх служебных
атрибутах (REP_ORIGID, REP_AGE, REP_RESIDENCE), с обменом файлами в формата
mdb (Access) или текстового (CSV, TSV).


Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Механизмы асинхронной репликации
    #36694248
Vitaly86
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Senya_LAlexandre_T,

Во-первых, у Вас как мне кажется путаница с терминологией. Скорее не "асинхронная репликация", а "гетерогенная оффлайн репликация".

Во-вторых, маловато данных. Вы собираетесь устроить некий "слив" данных из разнородных БД. А есть ли возможность вносить изменения в структуру источников данных? Например, подозреваю, что PK в разных базах имеют причудливо-различные типы и потребуется ввести столбцы типа GUID. И много чего неизвестно. Лучше на конкретных примерах обсуждать.
GUID, кстате, лучше не использовать в хранилище для олап системы. потом в кубе его придеться в varchar конвертить. А ключ на varchar это не очень "красиво"
...
Рейтинг: 0 / 0
Механизмы асинхронной репликации
    #36704916
Фотография Мирончик Игорь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Как я правильно понял - вопрос состоит не в структурах, а в том, как организовать обмен между БД если нет сети!!!
Изначально именно так и ставился вопрос. Так что структуры тут видимо ни при чем.
В связи с этим вариант видимо только один - XML докумены на основе единой схемы обмена XSD.
Для каждого сервера (различные платформы ) пишутся соответсвующие парсеры, к стати в BI этот функционал уже предусмотрен.
Раз нет сетевого взаимодействия - значит курьер
...
Рейтинг: 0 / 0
12 сообщений из 12, страница 1 из 1
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Механизмы асинхронной репликации
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]