Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Windows [игнор отключен] [закрыт для гостей] / Синхронизация большой папки / 15 сообщений из 15, страница 1 из 1
10.01.2014, 09:20
    #38521320
Максим Н
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синхронизация большой папки
Есть большие папки (в них набито куча других папок (вложенность 3-5 уровня) и еще больше файлов, все ровно по 2 кб, это тайлы).
Размер таких папок составляет от 20 до 400 Мб.
Задача в том, чтобы синхронизировать эти папки на других серваках, причем с минимальным временем рассинхронизации (когда новые файлы копируются, но не все старые еще заменены).
Сейчас делаю так: распаковываю архив на обновляемый сервер во временную папку, затем переименовываю текущую папку, а затем переименовываю временную папку в текущую. Соответственно нет никакой рассинхронизации: папка либо переименовалась либо нет, все файлы либо новые, либо старые.

Но что то мне подсказывает что это не лучшее решение (в частности иногда возникают проблемы с переименованием, приходится ставить таймаут и выполнять несколько попыток).
Что здесь можно придумать?
...
Рейтинг: 0 / 0
10.01.2014, 09:28
    #38521329
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синхронизация большой папки
Что за система, какого рода? некий сайт, десктопное ПО, что-то еще?

Я бы распаковывал в новый каталог рядом, а потом менял бы настройку на новый каталог без переименования. Тогда новые сессии работали бы с новым каталогом, старые - со старым, а не со старым, в котором внезапно изменилась половина содержимого.
...
Рейтинг: 0 / 0
10.01.2014, 09:36
    #38521341
Максим Н
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синхронизация большой папки
miksoft,

картографическое web-приложение, в папках хранятся тайловые нарезки.
Папка обновляется не целиком (т.к. это не требуется, и занимает она десятки Гб), а по частям, поэтому сессии наврядли получится переключать (хотя идея хорошая).
...
Рейтинг: 0 / 0
10.01.2014, 10:22
    #38521391
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синхронизация большой папки
Максим Нкартографическое web-приложение, в папках хранятся тайловые нарезки.
Папка обновляется не целиком (т.к. это не требуется, и занимает она десятки Гб), а по частямТут уже надо смотреть что это за части. Если это некие макрорегионы, структура которых фиксирована, то можно иметь отдельные настройки для этих макрорегионов. Если фиксированной структуры регионов нет, то, наверное, текущий вариант с переименованием каталога лучше всего.
...
Рейтинг: 0 / 0
10.01.2014, 10:25
    #38521400
Максим Н
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синхронизация большой папки
miksoftМаксим Нкартографическое web-приложение, в папках хранятся тайловые нарезки.
Папка обновляется не целиком (т.к. это не требуется, и занимает она десятки Гб), а по частямТут уже надо смотреть что это за части. Если это некие макрорегионы, структура которых фиксирована, то можно иметь отдельные настройки для этих макрорегионов. Если фиксированной структуры регионов нет, то, наверное, текущий вариант с переименованием каталога лучше всего.
Спасибо.
...
Рейтинг: 0 / 0
10.01.2014, 10:34
    #38521421
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синхронизация большой папки
Максим Н,

Да не за что...

Еще приходят некоторые мысли, но они сильно зависят от способов распределения нагрузки по серверам.

Еще переименование каталогов (или смена путей в настройках) мне нравится тем, что можно достаточно легко откатиться на предыдущую версию в случае, если в новой версии обнаружились баги.
...
Рейтинг: 0 / 0
10.01.2014, 10:54
    #38521471
Максим Н
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синхронизация большой папки
miksoftЕще приходят некоторые мысли, но они сильно зависят от способов распределения нагрузки по серверам.


нет никакого распределения, есть геосервер, в одном экземпляре, на одной машине, он кушает файлы с диска (так же одного, либо сетевого, либо локального).



miksoftЕще переименование каталогов (или смена путей в настройках) мне нравится тем, что можно достаточно легко откатиться на предыдущую версию в случае, если в новой версии обнаружились баги.

с переименованием вариант более менее устраивает, но напрягают иногда появляющиеся access denied при переименовании папок (проблема пропадает после таймаутов).
...
Рейтинг: 0 / 0
10.01.2014, 11:00
    #38521482
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синхронизация большой папки
Максим НЗадача в том, чтобы синхронизировать эти папки на других сервакахМаксим Ннет никакого распределения, есть геосервер, в одном экземпляре, на одной машинеЭто как?
...
Рейтинг: 0 / 0
10.01.2014, 11:52
    #38521622
Максим Н
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синхронизация большой папки
miksoftМаксим НЗадача в том, чтобы синхронизировать эти папки на других сервакахМаксим Ннет никакого распределения, есть геосервер, в одном экземпляре, на одной машинеЭто как?

главный сервер и синхронизируемые сервера изолированы друг от друга, не в одной сети. Просто доставляется запакованный архив с файлами и его нужно аккуратно распаковать на обновляемых машинах.
...
Рейтинг: 0 / 0
10.01.2014, 11:52
    #38521624
Максим Н
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синхронизация большой папки
Максим Нmiksoftпропущено...
пропущено...
Это как?

главный сервер и синхронизируемые сервера изолированы друг от друга, не в одной сети. Просто доставляется запакованный архив с файлами и его нужно аккуратно распаковать на обновляемых машинах.

а уже на каждом таком сервере работает геосервер со своим собственным экземпляром файлов.
...
Рейтинг: 0 / 0
10.01.2014, 12:03
    #38521654
bga83
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синхронизация большой папки
репликацию средствами DFS?
...
Рейтинг: 0 / 0
10.01.2014, 12:16
    #38521680
Максим Н
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синхронизация большой папки
bga83репликацию средствами DFS?

было бы здорово, но на серверах открыт только 80-й и 443-й порты, и они заняты веб-сервером.
...
Рейтинг: 0 / 0
10.01.2014, 12:31
    #38521718
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синхронизация большой папки
bga83репликацию средствами ...?Существует ли механизм репликации, который позволит обновлять файлы консистентно, т.е. чтобы не было смеси из новых и старых файлов в течение заметно длительного времени?
...
Рейтинг: 0 / 0
10.01.2014, 15:28
    #38522114
bga83
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синхронизация большой папки
Максим Нbga83репликацию средствами DFS?

было бы здорово, но на серверах открыт только 80-й и 443-й порты, и они заняты веб-сервером.
а открыть дополнительные порты проблема?
...
Рейтинг: 0 / 0
10.01.2014, 15:44
    #38522147
Максим Н
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Синхронизация большой папки
bga83Максим Нпропущено...


было бы здорово, но на серверах открыт только 80-й и 443-й порты, и они заняты веб-сервером.
а открыть дополнительные порты проблема?

к сожалению да.
...
Рейтинг: 0 / 0
Форумы / Windows [игнор отключен] [закрыт для гостей] / Синхронизация большой папки / 15 сообщений из 15, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]