ReSQL.ru
     
powered by simpleCommunicator - 2.0.52     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Механизм репликации/синхронизации БД с витриной КХД
12 сообщений из 12, страница 1 из 1
Механизм репликации/синхронизации БД с витриной КХД
    #39051427
Miriy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Miriy
Гость
Задача: Реализовать универсальный механизм синхронизации/репликации БД приложения с витриной КХД / (БД организации (разные: oracle, ms sql, mysql)).
Реализация . На данный момент синхронизация реализована топорно: создаем копию нашей таблицы, качаем новую из витрины и если найдена ошибка, то откат всего и восстановление из копии. Процесс долгий и занимает до 3-4 часов при откате. БД на данный момент (тестовое взаимодействие) = 120 гигов, при переходе на прод будет ~400 гигов. Копирование данных одностороннее, синхронизация ежедневная (запуск в 8:00 (особенности заказчика), работа с 10:00).
Вопрос:
1) Какой механизм синхронизации/ репликации посоветуете?
2) Что/где почитать?

Спасибо за любую информацию.
...
Рейтинг: 0 / 0
15.09.2015, 08:53
| Ответить | Цитировать | Написать  
Механизм репликации/синхронизации БД с витриной КХД
    #39051805
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
Miriy,
разработчик БД обычно знает все методы репликации. Их несколько. В том числе ручная.
Т.е. изучить свои инструменты (СУБД)
...
Рейтинг: 0 / 0
15.09.2015, 13:52
| Ответить | Цитировать | Написать  
Механизм репликации/синхронизации БД с витриной КХД
    #39052051
Miriy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Miriy
Гость
Petro123, спасибо за ответ, но проблема в том, что я не разработчик, а аналитик и хочу услышать/почитать возможные варианты, так как от разработчиков можно узнать только то что они могут и готовы делать, а если им не хватает компетенций или просто желания/времени делать правильно, то получать по шапке буду я.
...
Рейтинг: 0 / 0
15.09.2015, 16:45
| Ответить | Цитировать | Написать  
Механизм репликации/синхронизации БД с витриной КХД
    #39052110
реальность
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
реальность
Участник
вариант реализации:
приложение, которое выполняет осмысленное чтение и преобразование данных для КХД по установленному расписанию или при изменении исходных данных. Поищите по ключевым словам ETL, ESB... Вариантов много. Если есть хороший архитектор, то можно и самостоятельно попробовать построить такую инфраструктуру. Только перестаньте бессмысленно гонять тонны данных, только изменения.
...
Рейтинг: 0 / 0
15.09.2015, 17:20
| Ответить | Цитировать | Написать  
Механизм репликации/синхронизации БД с витриной КХД
    #39052222
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
Miriy Задача: Реализовать универсальный механизм синхронизации/репликации БД приложения с витриной КХД / (БД организации (разные: oracle, ms sql, mysql)).
в ТЗ же так не пишут.
Это задача для программистов, а цель то какая?
Всегда свежие данные можно по веб получать.
...
Рейтинг: 0 / 0
15.09.2015, 19:21
| Ответить | Цитировать | Написать  
Механизм репликации/синхронизации БД с витриной КХД
    #39052344
biwed.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
biwed.ru
Гость
Miriy Задача: Реализовать универсальный механизм синхронизации/репликации БД приложения с витриной КХД / (БД организации (разные: oracle, ms sql, mysql)).
Реализация . На данный момент синхронизация реализована топорно: создаем копию нашей таблицы, качаем новую из витрины и если найдена ошибка, то откат всего и восстановление из копии. Процесс долгий и занимает до 3-4 часов при откате. БД на данный момент (тестовое взаимодействие) = 120 гигов, при переходе на прод будет ~400 гигов. Копирование данных одностороннее, синхронизация ежедневная (запуск в 8:00 (особенности заказчика), работа с 10:00).
Вопрос:
1) Какой механизм синхронизации/ репликации посоветуете?
2) Что/где почитать?

Спасибо за любую информацию.

Miriy, Добрый день.
Напиши свой вопрос в форум "OLAP и DWH". Там народ этим каждый день занимается.

PS А пока правильно сказали, смотреть в сторону ETL или ELT и пытаться догружать данные.

С уважением,
...
Рейтинг: 0 / 0
16.09.2015, 02:20
| Ответить | Цитировать | Написать  
Механизм репликации/синхронизации БД с витриной КХД
    #39052371
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
biwed.ruв форум "OLAP и DWH"
совершенно верно. Перегружать и разделять данные на несколько хранилищ туда.
Стараться уйти от зоопарка БД - сюда и в ветку по ЯП.
...
Рейтинг: 0 / 0
16.09.2015, 06:47
| Ответить | Цитировать | Написать  
Механизм репликации/синхронизации БД с витриной КХД
    #39052375
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mad_nazgul
Участник
Miriy Задача: Реализовать универсальный механизм синхронизации/репликации БД приложения с витриной КХД / (БД организации (разные: oracle, ms sql, mysql)).
Реализация . На данный момент синхронизация реализована топорно: создаем копию нашей таблицы, качаем новую из витрины и если найдена ошибка, то откат всего и восстановление из копии. Процесс долгий и занимает до 3-4 часов при откате. БД на данный момент (тестовое взаимодействие) = 120 гигов, при переходе на прод будет ~400 гигов. Копирование данных одностороннее, синхронизация ежедневная (запуск в 8:00 (особенности заказчика), работа с 10:00).
Вопрос:
1) Какой механизм синхронизации/ репликации посоветуете?
2) Что/где почитать?

Спасибо за любую информацию.

Ну посоветовать можно только одно - везде поставить СУБД одного типа и настроить репликацию.

А так...
Нужно "заморачиваться" с инкрементным обновлением.
Что-то вроде "лога транзакций" только сделанным "вручную".

О таких решениях я не слышал, но возможно они есть.
...
Рейтинг: 0 / 0
16.09.2015, 07:04
| Ответить | Цитировать | Написать  
Механизм репликации/синхронизации БД с витриной КХД
    #39052379
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
Miriy,
вариант:
Oracl XE на витринах бесплатная. На центральном сервере платная.
...
Рейтинг: 0 / 0
16.09.2015, 07:22
| Ответить | Цитировать | Написать  
Механизм репликации/синхронизации БД с витриной КХД
    #39052530
реальность
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
реальность
Участник
mad_nazgulА так...
Нужно "заморачиваться" с инкрементным обновлением.
Что-то вроде "лога транзакций" только сделанным "вручную".

О таких решениях я не слышал, но возможно они есть.
ты просто не читаешь, когда тебе на описание таких решений дают ссылки, даже документы в PDF. Шпециалист в общем... Хотя "не слышал" - это правда. PDF не разговариавает.
...
Рейтинг: 0 / 0
16.09.2015, 10:39
| Ответить | Цитировать | Написать  
Механизм репликации/синхронизации БД с витриной КХД
    #39053416
Экс-трактор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Экс-трактор
Гость
реальностьmad_nazgulА так...
Нужно "заморачиваться" с инкрементным обновлением.
Что-то вроде "лога транзакций" только сделанным "вручную".

О таких решениях я не слышал, но возможно они есть.
ты просто не читаешь, когда тебе на описание таких решений дают ссылки, даже документы в PDF. Шпециалист в общем... Хотя "не слышал" - это правда. PDF не разговариавает.А ты можешь дать тынц на решения , делающие "лог транзакций вручную", умник?
...
Рейтинг: 0 / 0
17.09.2015, 05:59
| Ответить | Цитировать | Написать  
Механизм репликации/синхронизации БД с витриной КХД
    #39054691
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
Miriy Задача: Реализовать универсальный механизм синхронизации/репликации БД приложения с витриной КХД / (БД организации (разные: oracle, ms sql, mysql)).
Реализация . На данный момент синхронизация реализована топорно: создаем копию нашей таблицы, качаем новую из витрины и если найдена ошибка, то откат всего и восстановление из копии. Процесс долгий и занимает до 3-4 часов при откате. БД на данный момент (тестовое взаимодействие) = 120 гигов, при переходе на прод будет ~400 гигов. Копирование данных одностороннее, синхронизация ежедневная (запуск в 8:00 (особенности заказчика), работа с 10:00).
Вопрос:
1) Какой механизм синхронизации/ репликации посоветуете?
2) Что/где почитать?

Спасибо за любую информацию.
чего-то я не понял кто на ком стоял, автор качаем новую из витрины кого и куда качаете???
...
Рейтинг: 0 / 0
18.09.2015, 09:35
| Ответить | Цитировать | Написать  
12 сообщений из 12, страница 1 из 1
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Механизм репликации/синхронизации БД с витриной КХД
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=33&msg=39051427&tid=1547443]:
 0ms
get settings:
 9ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 46ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 43ms
get tp. blocked users:
 1ms
others: 14ms
total:  148ms
созд. / загр.: 148ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]