Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Какой механизм обмена данными лучше использовать в этом случае?
|
|||
|---|---|---|---|
|
#18+
Коллеги, помогите концептуальным, т.с., советом! На центральном сервере имеется БД, которая содержит одну большую секционированную таблицу. Имеется N периферийных серверов, каждый из которых тоже содержит БД с такой же таблицей, но в этой таблице заполнена, фактически, только одна секция таблицы, относящиеся к другим серверам, можно игнорировать. Изменения производятся только на периферийных серверах. Необходимо организовать восходящий обмен от периферии в центр. Положение сильно осложняется тем, что табличка содержит блоб поля, и одна запись может весит сотни мегабайт, а связь с периферией - иногда очень не быстрая (т.е. тупо выгружать секцию в csv и гнать ее в центр, чтобы заменить секцию - не вариант). Я так понимаю, что стандартные механизмы, как то репликация, миррор и т.д. применить не получится? Как выйти из положения? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 20:33 |
|
||
|
Какой механизм обмена данными лучше использовать в этом случае?
|
|||
|---|---|---|---|
|
#18+
доставлять блобы размером > 100K отдельно чере ftp. Достаточно будет 1-way replication. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2018, 20:57 |
|
||
|
Какой механизм обмена данными лучше использовать в этом случае?
|
|||
|---|---|---|---|
|
#18+
uaggster, 7z, в зависимости от данных существенно может сократить объем передаваемых данных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2018, 07:35 |
|
||
|
Какой механизм обмена данными лучше использовать в этом случае?
|
|||
|---|---|---|---|
|
#18+
Massa52uaggster, 7z, в зависимости от данных существенно может сократить объем передаваемых данных. Они уже хранятся зазипленные в виде varbinary(max). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2018, 09:34 |
|
||
|
Какой механизм обмена данными лучше использовать в этом случае?
|
|||
|---|---|---|---|
|
#18+
Lepsikдоставлять блобы размером > 100K отдельно чере ftp. Достаточно будет 1-way replication. Не понимаю, как это можно реализовать. Поясните, если возможно, на пальцах! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2018, 09:35 |
|
||
|
Какой механизм обмена данными лучше использовать в этом случае?
|
|||
|---|---|---|---|
|
#18+
uaggster, У нас, примерно, такая задача решается в два этапа, На первом этапе скидывается запись за записью с csv/xml формате в определенную папку и заворачивается 7z. На втором этапе скриптом(bat/cmd), который использует клиентf FTP/SFTP отправляется в пункт назначения(FTP/SFTP server). Ну а там все разворачивается и пузырится в центральный SQL. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2018, 09:56 |
|
||
|
Какой механизм обмена данными лучше использовать в этом случае?
|
|||
|---|---|---|---|
|
#18+
Massa52uaggster, У нас, примерно, такая задача решается в два этапа, На первом этапе скидывается запись за записью с csv/xml формате в определенную папку и заворачивается 7z. На втором этапе скриптом(bat/cmd), который использует клиентf FTP/SFTP отправляется в пункт назначения(FTP/SFTP server). Ну а там все разворачивается и пузырится в центральный SQL. Ага, понятно. Т.е. "репликацию" вы делаете самостоятельно. А как решаете какие записи отправлять? Присылаете с "центрального" сервера таблицу "ключ - хэшсумма", или ведете такую табличку на на периферийном сервере? И, кстати, если сразу выливать данные "по записи, в формате xml" в filetable? Я так думаю, что средствами 2016 их можно и паковать на лету. ... а отправлять на центральный сервер - натравив на виртуальную папку filetable что-нибудь типа btsync или sinting. Вроде, складывается с минимальными вложениями в программирование, как Вы считаете? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2018, 12:29 |
|
||
|
Какой механизм обмена данными лучше использовать в этом случае?
|
|||
|---|---|---|---|
|
#18+
uaggster, Это не совсем репликация. Данные рождаются на Remote Site и там собираются в локальной базе. И каждая запись уникальна по времени. Так что мы не используем суррогатные ключи и используем естественный - типа datetime. Все вновь родившиеся/сформировавшиеся записи тупо отправляются на центральный сервер. И там по ключу(datetime) либо update при совпадении либо insert. Вот такова специфика данных. Так как это все у нас уже много лет эксплутируется - и проблем нет, то у нас никто не заморачивается чтот обновлять. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2018, 12:48 |
|
||
|
Какой механизм обмена данными лучше использовать в этом случае?
|
|||
|---|---|---|---|
|
#18+
Да - забыл написать - скрипты, которые это все выполняют небольшие - их непроблем состряпать. Как FTP сервер исползуется Filezilla, а клиенский FTP(я уже не помню какое приложение мы использовали). На одном из сайтов вроде сделали RestAPI и там по HTTP JSONы гонят. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2018, 13:03 |
|
||
|
Какой механизм обмена данными лучше использовать в этом случае?
|
|||
|---|---|---|---|
|
#18+
uaggsterLepsikдоставлять блобы размером > 100K отдельно чере ftp. Достаточно будет 1-way replication. Не понимаю, как это можно реализовать. Поясните, если возможно, на пальцах! https://www.linkedin.com/learning/microsoft-sql-server-2016-installation-and-administration/database-replication ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.01.2018, 19:35 |
|
||
|
Какой механизм обмена данными лучше использовать в этом случае?
|
|||
|---|---|---|---|
|
#18+
Lepsikuaggsterпропущено... Не понимаю, как это можно реализовать. Поясните, если возможно, на пальцах! https://www.linkedin.com/learning/microsoft-sql-server-2016-installation-and-administration/database-replication Битая ссылка :-( ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.01.2018, 16:00 |
|
||
|
|

start [/forum/topic.php?fid=46&msg=39586225&tid=1690470]: |
0ms |
get settings: |
11ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
37ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
67ms |
get tp. blocked users: |
2ms |
| others: | 250ms |
| total: | 400ms |

| 0 / 0 |
