Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / агрегация данных из таблиц нескольких БД в центральной БД / 7 сообщений из 7, страница 1 из 1
20.01.2014, 21:12:16
    #38532416
fabler
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
агрегация данных из таблиц нескольких БД в центральной БД
Добрый день!

Подскажите, пожалуйста, есть ли готовое решение, подходящее для моего случая: есть N баз данных на удаленных серверах, есть центральная БД.
Необходимо из всех удаленных БД сливать данные из одной таблицы в центральную БД.

Структура таблиц одинакова, никакой логики, кроме переноса данных (select * from table@remotedb / insert selected into rootdb / delete selected from remotedb) нет.

Чтобы не говорить огород из dblink'ов.

Благодарю!
...
Рейтинг: 0 / 0
20.01.2014, 21:28:41
    #38532435
sterewert
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
агрегация данных из таблиц нескольких БД в центральной БД
fabler,

Londiste говорят умеет. Я городил огород, только файлами гонял, специфика приложения больше подходила к такой реализации
...
Рейтинг: 0 / 0
21.01.2014, 12:10:52
    #38532906
qwwq
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
агрегация данных из таблиц нескольких БД в центральной БД
fabler,

londiste умеет режим merge,
если у вас есть пк на таблице
и пк разделены по нодам (не перекрываются)

но не умеет это дело корректно и быстро восстанавливать после сбоя только одной ноды. Поскольку это пк-репликация, изначально не предусматривающая хранения id ноды, то выяснить, какое подмножество отреплицированных ранее записей нужно сравнивать с результатом снепшотного COPY (ноды) при рестарте (ресинк) репликации только одной ноды оно не может.

но можно над ним надстроить что-хотите (используя его ивент-репликацию и встроенный pgq), хоть свою "трансформирующую репликацию" -- в таблицу даже другой структуры (при том же наличии пк в таблицах на нодах).

PS:
просто собирать данные с нод (даже не раскладывая в центре в таблицы) можно посредством plproxy.
...
Рейтинг: 0 / 0
21.01.2014, 13:49:32
    #38533027
Sasha Alias
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
агрегация данных из таблиц нескольких БД в центральной БД
Нужно только определиться, нужна репликация (ноды посылают данные в центральную базу по мере возникновения) или таки нужен сбор данных (центральная база сама инициализирует сбор данных).
И уточнить условие, обязательно ли удалять данные с нод после копирования.
...
Рейтинг: 0 / 0
21.01.2014, 22:41:53
    #38533776
fabler
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
агрегация данных из таблиц нескольких БД в центральной БД
удалять из локальных баз нужно,
PK в таблице нет в принципе (он там не нужен в принципе)
кто инициирует - не особо важно.

похоже, что сращу ничего на ум не пришло из имеющегося инструментария? надо пилить свой
...
Рейтинг: 0 / 0
21.01.2014, 23:36:55
    #38533811
хехех
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
агрегация данных из таблиц нескольких БД в центральной БД
fabler удалять из локальных баз нужно ,
PK в таблице нет в принципе (он там не нужен в принципе)
кто инициирует - не особо важно.

похоже, что сращу ничего на ум не пришло из имеющегося инструментария? надо пилить свойгм. ваша задача на порядок проще.
телепортация проще репликации тем, что не надо следить за состоянием исходника.
его надо затереть и забыть.
лондайст (к примеру) вам в руки (если нужна автономность и асинхронность близкая у синхронности). -- могу дать наводку на трюк, но воздержусь
скрипач пк не нужен
...
Рейтинг: 0 / 0
22.01.2014, 15:38:26
    #38534488
fabler
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
агрегация данных из таблиц нескольких БД в центральной БД
хехех,

благодарю, буду разбираться
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / агрегация данных из таблиц нескольких БД в центральной БД / 7 сообщений из 7, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]