Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Синхронизация большой папки
|
|||
|---|---|---|---|
|
#18+
Есть большие папки (в них набито куча других папок (вложенность 3-5 уровня) и еще больше файлов, все ровно по 2 кб, это тайлы). Размер таких папок составляет от 20 до 400 Мб. Задача в том, чтобы синхронизировать эти папки на других серваках, причем с минимальным временем рассинхронизации (когда новые файлы копируются, но не все старые еще заменены). Сейчас делаю так: распаковываю архив на обновляемый сервер во временную папку, затем переименовываю текущую папку, а затем переименовываю временную папку в текущую. Соответственно нет никакой рассинхронизации: папка либо переименовалась либо нет, все файлы либо новые, либо старые. Но что то мне подсказывает что это не лучшее решение (в частности иногда возникают проблемы с переименованием, приходится ставить таймаут и выполнять несколько попыток). Что здесь можно придумать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 09:20 |
|
||
|
Синхронизация большой папки
|
|||
|---|---|---|---|
|
#18+
Что за система, какого рода? некий сайт, десктопное ПО, что-то еще? Я бы распаковывал в новый каталог рядом, а потом менял бы настройку на новый каталог без переименования. Тогда новые сессии работали бы с новым каталогом, старые - со старым, а не со старым, в котором внезапно изменилась половина содержимого. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 09:28 |
|
||
|
Синхронизация большой папки
|
|||
|---|---|---|---|
|
#18+
miksoft, картографическое web-приложение, в папках хранятся тайловые нарезки. Папка обновляется не целиком (т.к. это не требуется, и занимает она десятки Гб), а по частям, поэтому сессии наврядли получится переключать (хотя идея хорошая). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 09:36 |
|
||
|
Синхронизация большой папки
|
|||
|---|---|---|---|
|
#18+
Максим Нкартографическое web-приложение, в папках хранятся тайловые нарезки. Папка обновляется не целиком (т.к. это не требуется, и занимает она десятки Гб), а по частямТут уже надо смотреть что это за части. Если это некие макрорегионы, структура которых фиксирована, то можно иметь отдельные настройки для этих макрорегионов. Если фиксированной структуры регионов нет, то, наверное, текущий вариант с переименованием каталога лучше всего. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 10:22 |
|
||
|
Синхронизация большой папки
|
|||
|---|---|---|---|
|
#18+
miksoftМаксим Нкартографическое web-приложение, в папках хранятся тайловые нарезки. Папка обновляется не целиком (т.к. это не требуется, и занимает она десятки Гб), а по частямТут уже надо смотреть что это за части. Если это некие макрорегионы, структура которых фиксирована, то можно иметь отдельные настройки для этих макрорегионов. Если фиксированной структуры регионов нет, то, наверное, текущий вариант с переименованием каталога лучше всего. Спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 10:25 |
|
||
|
Синхронизация большой папки
|
|||
|---|---|---|---|
|
#18+
Максим Н, Да не за что... Еще приходят некоторые мысли, но они сильно зависят от способов распределения нагрузки по серверам. Еще переименование каталогов (или смена путей в настройках) мне нравится тем, что можно достаточно легко откатиться на предыдущую версию в случае, если в новой версии обнаружились баги. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 10:34 |
|
||
|
Синхронизация большой папки
|
|||
|---|---|---|---|
|
#18+
miksoftЕще приходят некоторые мысли, но они сильно зависят от способов распределения нагрузки по серверам. нет никакого распределения, есть геосервер, в одном экземпляре, на одной машине, он кушает файлы с диска (так же одного, либо сетевого, либо локального). miksoftЕще переименование каталогов (или смена путей в настройках) мне нравится тем, что можно достаточно легко откатиться на предыдущую версию в случае, если в новой версии обнаружились баги. с переименованием вариант более менее устраивает, но напрягают иногда появляющиеся access denied при переименовании папок (проблема пропадает после таймаутов). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 10:54 |
|
||
|
Синхронизация большой папки
|
|||
|---|---|---|---|
|
#18+
Максим НЗадача в том, чтобы синхронизировать эти папки на других сервакахМаксим Ннет никакого распределения, есть геосервер, в одном экземпляре, на одной машинеЭто как? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 11:00 |
|
||
|
Синхронизация большой папки
|
|||
|---|---|---|---|
|
#18+
miksoftМаксим НЗадача в том, чтобы синхронизировать эти папки на других сервакахМаксим Ннет никакого распределения, есть геосервер, в одном экземпляре, на одной машинеЭто как? главный сервер и синхронизируемые сервера изолированы друг от друга, не в одной сети. Просто доставляется запакованный архив с файлами и его нужно аккуратно распаковать на обновляемых машинах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 11:52 |
|
||
|
Синхронизация большой папки
|
|||
|---|---|---|---|
|
#18+
Максим Нmiksoftпропущено... пропущено... Это как? главный сервер и синхронизируемые сервера изолированы друг от друга, не в одной сети. Просто доставляется запакованный архив с файлами и его нужно аккуратно распаковать на обновляемых машинах. а уже на каждом таком сервере работает геосервер со своим собственным экземпляром файлов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 11:52 |
|
||
|
Синхронизация большой папки
|
|||
|---|---|---|---|
|
#18+
репликацию средствами DFS? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 12:03 |
|
||
|
Синхронизация большой папки
|
|||
|---|---|---|---|
|
#18+
bga83репликацию средствами DFS? было бы здорово, но на серверах открыт только 80-й и 443-й порты, и они заняты веб-сервером. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 12:16 |
|
||
|
Синхронизация большой папки
|
|||
|---|---|---|---|
|
#18+
bga83репликацию средствами ...?Существует ли механизм репликации, который позволит обновлять файлы консистентно, т.е. чтобы не было смеси из новых и старых файлов в течение заметно длительного времени? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 12:31 |
|
||
|
Синхронизация большой папки
|
|||
|---|---|---|---|
|
#18+
Максим Нbga83репликацию средствами DFS? было бы здорово, но на серверах открыт только 80-й и 443-й порты, и они заняты веб-сервером. а открыть дополнительные порты проблема? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.01.2014, 15:28 |
|
||
|
|

start [/forum/topic.php?fid=26&msg=38521680&tid=1494995]: |
0ms |
get settings: |
8ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
24ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
47ms |
get tp. blocked users: |
1ms |
| others: | 257ms |
| total: | 367ms |

| 0 / 0 |
