powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Windows [игнор отключен] [закрыт для гостей] / Синхронизация большой папки
15 сообщений из 15, страница 1 из 1
Синхронизация большой папки
    #38521320
Максим Н
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть большие папки (в них набито куча других папок (вложенность 3-5 уровня) и еще больше файлов, все ровно по 2 кб, это тайлы).
Размер таких папок составляет от 20 до 400 Мб.
Задача в том, чтобы синхронизировать эти папки на других серваках, причем с минимальным временем рассинхронизации (когда новые файлы копируются, но не все старые еще заменены).
Сейчас делаю так: распаковываю архив на обновляемый сервер во временную папку, затем переименовываю текущую папку, а затем переименовываю временную папку в текущую. Соответственно нет никакой рассинхронизации: папка либо переименовалась либо нет, все файлы либо новые, либо старые.

Но что то мне подсказывает что это не лучшее решение (в частности иногда возникают проблемы с переименованием, приходится ставить таймаут и выполнять несколько попыток).
Что здесь можно придумать?
...
Рейтинг: 0 / 0
Синхронизация большой папки
    #38521329
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Что за система, какого рода? некий сайт, десктопное ПО, что-то еще?

Я бы распаковывал в новый каталог рядом, а потом менял бы настройку на новый каталог без переименования. Тогда новые сессии работали бы с новым каталогом, старые - со старым, а не со старым, в котором внезапно изменилась половина содержимого.
...
Рейтинг: 0 / 0
Синхронизация большой папки
    #38521341
Максим Н
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoft,

картографическое web-приложение, в папках хранятся тайловые нарезки.
Папка обновляется не целиком (т.к. это не требуется, и занимает она десятки Гб), а по частям, поэтому сессии наврядли получится переключать (хотя идея хорошая).
...
Рейтинг: 0 / 0
Синхронизация большой папки
    #38521391
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Максим Нкартографическое web-приложение, в папках хранятся тайловые нарезки.
Папка обновляется не целиком (т.к. это не требуется, и занимает она десятки Гб), а по частямТут уже надо смотреть что это за части. Если это некие макрорегионы, структура которых фиксирована, то можно иметь отдельные настройки для этих макрорегионов. Если фиксированной структуры регионов нет, то, наверное, текущий вариант с переименованием каталога лучше всего.
...
Рейтинг: 0 / 0
Синхронизация большой папки
    #38521400
Максим Н
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoftМаксим Нкартографическое web-приложение, в папках хранятся тайловые нарезки.
Папка обновляется не целиком (т.к. это не требуется, и занимает она десятки Гб), а по частямТут уже надо смотреть что это за части. Если это некие макрорегионы, структура которых фиксирована, то можно иметь отдельные настройки для этих макрорегионов. Если фиксированной структуры регионов нет, то, наверное, текущий вариант с переименованием каталога лучше всего.
Спасибо.
...
Рейтинг: 0 / 0
Синхронизация большой папки
    #38521421
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Максим Н,

Да не за что...

Еще приходят некоторые мысли, но они сильно зависят от способов распределения нагрузки по серверам.

Еще переименование каталогов (или смена путей в настройках) мне нравится тем, что можно достаточно легко откатиться на предыдущую версию в случае, если в новой версии обнаружились баги.
...
Рейтинг: 0 / 0
Синхронизация большой папки
    #38521471
Максим Н
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoftЕще приходят некоторые мысли, но они сильно зависят от способов распределения нагрузки по серверам.


нет никакого распределения, есть геосервер, в одном экземпляре, на одной машине, он кушает файлы с диска (так же одного, либо сетевого, либо локального).



miksoftЕще переименование каталогов (или смена путей в настройках) мне нравится тем, что можно достаточно легко откатиться на предыдущую версию в случае, если в новой версии обнаружились баги.

с переименованием вариант более менее устраивает, но напрягают иногда появляющиеся access denied при переименовании папок (проблема пропадает после таймаутов).
...
Рейтинг: 0 / 0
Синхронизация большой папки
    #38521482
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Максим НЗадача в том, чтобы синхронизировать эти папки на других сервакахМаксим Ннет никакого распределения, есть геосервер, в одном экземпляре, на одной машинеЭто как?
...
Рейтинг: 0 / 0
Синхронизация большой папки
    #38521622
Максим Н
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoftМаксим НЗадача в том, чтобы синхронизировать эти папки на других сервакахМаксим Ннет никакого распределения, есть геосервер, в одном экземпляре, на одной машинеЭто как?

главный сервер и синхронизируемые сервера изолированы друг от друга, не в одной сети. Просто доставляется запакованный архив с файлами и его нужно аккуратно распаковать на обновляемых машинах.
...
Рейтинг: 0 / 0
Синхронизация большой папки
    #38521624
Максим Н
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Максим Нmiksoftпропущено...
пропущено...
Это как?

главный сервер и синхронизируемые сервера изолированы друг от друга, не в одной сети. Просто доставляется запакованный архив с файлами и его нужно аккуратно распаковать на обновляемых машинах.

а уже на каждом таком сервере работает геосервер со своим собственным экземпляром файлов.
...
Рейтинг: 0 / 0
Синхронизация большой папки
    #38521654
Фотография bga83
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
репликацию средствами DFS?
...
Рейтинг: 0 / 0
Синхронизация большой папки
    #38521680
Максим Н
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
bga83репликацию средствами DFS?

было бы здорово, но на серверах открыт только 80-й и 443-й порты, и они заняты веб-сервером.
...
Рейтинг: 0 / 0
Синхронизация большой папки
    #38521718
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
bga83репликацию средствами ...?Существует ли механизм репликации, который позволит обновлять файлы консистентно, т.е. чтобы не было смеси из новых и старых файлов в течение заметно длительного времени?
...
Рейтинг: 0 / 0
Синхронизация большой папки
    #38522114
Фотография bga83
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Максим Нbga83репликацию средствами DFS?

было бы здорово, но на серверах открыт только 80-й и 443-й порты, и они заняты веб-сервером.
а открыть дополнительные порты проблема?
...
Рейтинг: 0 / 0
Синхронизация большой папки
    #38522147
Максим Н
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
bga83Максим Нпропущено...


было бы здорово, но на серверах открыт только 80-й и 443-й порты, и они заняты веб-сервером.
а открыть дополнительные порты проблема?

к сожалению да.
...
Рейтинг: 0 / 0
15 сообщений из 15, страница 1 из 1
Форумы / Windows [игнор отключен] [закрыт для гостей] / Синхронизация большой папки
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]