Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Какой механизм обмена данными лучше использовать в этом случае? / 11 сообщений из 11, страница 1 из 1
17.01.2018, 20:33
    #39586073
uaggster
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой механизм обмена данными лучше использовать в этом случае?
Коллеги, помогите концептуальным, т.с., советом!
На центральном сервере имеется БД, которая содержит одну большую секционированную таблицу.
Имеется N периферийных серверов, каждый из которых тоже содержит БД с такой же таблицей, но в этой таблице заполнена, фактически, только одна секция таблицы, относящиеся к другим серверам, можно игнорировать.
Изменения производятся только на периферийных серверах.
Необходимо организовать восходящий обмен от периферии в центр.
Положение сильно осложняется тем, что табличка содержит блоб поля, и одна запись может весит сотни мегабайт, а связь с периферией - иногда очень не быстрая (т.е. тупо выгружать секцию в csv и гнать ее в центр, чтобы заменить секцию - не вариант).
Я так понимаю, что стандартные механизмы, как то репликация, миррор и т.д. применить не получится?
Как выйти из положения?
...
Рейтинг: 0 / 0
17.01.2018, 20:57
    #39586077
Lepsik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой механизм обмена данными лучше использовать в этом случае?
доставлять блобы размером > 100K отдельно чере ftp.

Достаточно будет 1-way replication.
...
Рейтинг: 0 / 0
18.01.2018, 07:35
    #39586168
Massa52
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой механизм обмена данными лучше использовать в этом случае?
uaggster,

7z, в зависимости от данных существенно может сократить объем передаваемых данных.
...
Рейтинг: 0 / 0
18.01.2018, 09:34
    #39586223
uaggster
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой механизм обмена данными лучше использовать в этом случае?
Massa52uaggster,

7z, в зависимости от данных существенно может сократить объем передаваемых данных.
Они уже хранятся зазипленные в виде varbinary(max).
...
Рейтинг: 0 / 0
18.01.2018, 09:35
    #39586225
uaggster
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой механизм обмена данными лучше использовать в этом случае?
Lepsikдоставлять блобы размером > 100K отдельно чере ftp.

Достаточно будет 1-way replication.
Не понимаю, как это можно реализовать.
Поясните, если возможно, на пальцах!
...
Рейтинг: 0 / 0
18.01.2018, 09:56
    #39586235
Massa52
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой механизм обмена данными лучше использовать в этом случае?
uaggster,
У нас, примерно, такая задача решается в два этапа,
На первом этапе скидывается запись за записью с csv/xml формате в определенную папку и заворачивается 7z.
На втором этапе скриптом(bat/cmd), который использует клиентf FTP/SFTP отправляется в пункт назначения(FTP/SFTP server).
Ну а там все разворачивается и пузырится в центральный SQL.
...
Рейтинг: 0 / 0
18.01.2018, 12:29
    #39586354
uaggster
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой механизм обмена данными лучше использовать в этом случае?
Massa52uaggster,
У нас, примерно, такая задача решается в два этапа,
На первом этапе скидывается запись за записью с csv/xml формате в определенную папку и заворачивается 7z.
На втором этапе скриптом(bat/cmd), который использует клиентf FTP/SFTP отправляется в пункт назначения(FTP/SFTP server).
Ну а там все разворачивается и пузырится в центральный SQL.
Ага, понятно.
Т.е. "репликацию" вы делаете самостоятельно.
А как решаете какие записи отправлять?
Присылаете с "центрального" сервера таблицу "ключ - хэшсумма", или ведете такую табличку на на периферийном сервере?

И, кстати, если сразу выливать данные "по записи, в формате xml" в filetable?
Я так думаю, что средствами 2016 их можно и паковать на лету.
... а отправлять на центральный сервер - натравив на виртуальную папку filetable что-нибудь типа btsync или sinting.

Вроде, складывается с минимальными вложениями в программирование, как Вы считаете?
...
Рейтинг: 0 / 0
18.01.2018, 12:48
    #39586366
Massa52
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой механизм обмена данными лучше использовать в этом случае?
uaggster,

Это не совсем репликация. Данные рождаются на Remote Site и там собираются в локальной базе.
И каждая запись уникальна по времени. Так что мы не используем суррогатные ключи и используем естественный - типа datetime.
Все вновь родившиеся/сформировавшиеся записи тупо отправляются на центральный сервер.
И там по ключу(datetime) либо update при совпадении либо insert. Вот такова специфика данных.
Так как это все у нас уже много лет эксплутируется - и проблем нет, то у нас никто не заморачивается чтот обновлять.
...
Рейтинг: 0 / 0
18.01.2018, 13:03
    #39586379
Massa52
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой механизм обмена данными лучше использовать в этом случае?
Да - забыл написать - скрипты, которые это все выполняют небольшие - их непроблем состряпать.
Как FTP сервер исползуется Filezilla, а клиенский FTP(я уже не помню какое приложение мы использовали).
На одном из сайтов вроде сделали RestAPI и там по HTTP JSONы гонят.
...
Рейтинг: 0 / 0
18.01.2018, 19:35
    #39586695
Lepsik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой механизм обмена данными лучше использовать в этом случае?
uaggsterLepsikдоставлять блобы размером > 100K отдельно чере ftp.

Достаточно будет 1-way replication.
Не понимаю, как это можно реализовать.
Поясните, если возможно, на пальцах!


https://www.linkedin.com/learning/microsoft-sql-server-2016-installation-and-administration/database-replication
...
Рейтинг: 0 / 0
19.01.2018, 16:00
    #39587198
uaggster
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Какой механизм обмена данными лучше использовать в этом случае?
Lepsikuaggsterпропущено...

Не понимаю, как это можно реализовать.
Поясните, если возможно, на пальцах!


https://www.linkedin.com/learning/microsoft-sql-server-2016-installation-and-administration/database-replication
Битая ссылка :-(
...
Рейтинг: 0 / 0
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Какой механизм обмена данными лучше использовать в этом случае? / 11 сообщений из 11, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]