Нужно делать бэкап веб-сервера.
Есть какой-то софт, способный постоянно отслеживать измененные файлы и передавать их в другое хранилище?
Из того что я знаю, больше подходит RSync, но умеет ли он именно отслеживать постоянно, или же его нужно запускать по крону каждые N-минут, не скажется ли тогда это пагубно на нагрузке неоправданной нагрузке на дисковую систему?

С0ВЕСТЬHett...
Cron все равно каждую минуту просыпается.
Не понял к чему это...

Вопрос скорее в том, если я буду запускать очень часто rsync по крону или по какому-то событию, не создаст ли это дополнительную нагрузку? Ведь я так понимаю он каждый раз будет делать фуллскан файловой системы?

авторТо есть если он (cron) у вас не загружает систему без запущенного rsync, то и сзапущенным не загрузит.
Ничего не понял.
Сам крон без задач каким образом будет грузить систему?
А если я туда запихаю на каждую минуту какую-то ресурсоемку задачу то и нагрузка появится.

Каким образом он тогда делает дифф?

авторНу, это уж сами регулируйте или проверяйте при старте критические параметры системы.
Так в том то как раз и вопрос.
Если я буду таким образом синхронизировать 1ТБ диск забитый мелкими файлами ,например, каждый час, не будет ли он каждый раз нагружать систему, в частности жесткий диск.

Точнее понятно, что нагружать то он будет.
Но если он каждый раз будет пробегать по всем файлам, это будет создавать узкие места в работе сервера, ведь возможно в тот момент когда нужно будет активно использовать файловую систему окажется что выполняется задача синхронизации и все пойдет еще медленнее?

Вроде нашел, он смотрит время изменения корневой директории, если оно не совпадает, то заходит в нее и т.д., т.о. фуллскана и не происходит.

Теперь пытаюсь написать скрипт, если честно мой первый скрипт:





Не пойму что не так

Dimitry SibiryakovСофтовый RAID1 на iSCSI тут ещё, вроде бы, не предлагали...

Как вам поможет RAID1 от rm -f * ?

Это если в датацентре жить)

Да, я там букавку i не приметил сначала.
Но будет делаться каждый раз полный бэкап все же, что будет давать большую нагрузку на сеть да и на диск все же тоже, если бэкапить пару терабайт, да и на каждый день нужно иметь еще по такому же диску, тоесть получается хотя бы 2, чтобы бэкапить на них по очереди. Нету возможности бэкапить только нужные данные (например исключить логи). Нету возможности сжать данные, как я предполагаю. Если подытожить, то в итоге RSYNC будет удобнее.

ИМХО, конечно...

Не всегда возможно, например используя тот же плеск не удастся разбить данные так, чтобы логи были на отдельном разделе...

netwindHettНе всегда возможно, например используя тот же плеск не удастся разбить данные так, чтобы логи были на отдельном разделе...
И слава алллаху. Не один сервер я видел с /var/log "по заветам настоящих карпаративных админов" на пару гигабайт.
Стоит забыть что логин нужно ротировать и вот при перезагрузке уже не стартуют апачи всякие.

Да может я уже просто придираюсь, это все понятно. Плеск в общем-то делает ротацию, я говорю о том, что всю эту ротацию он будет тоже бэкапить, причем логи в ротации переименовываются, хоть и сжаты, но весят сколько то, а если еще используется какая-то веб-статистикческая приблуда (не знаю зачем они кому нужные нынче) то еще миллионы файлов будут. Каждый день гонять по сетке террабайты - накладно, особенно если сетевой интерфейс 100мегабит, да и даже если больше, прочитать пару террабайт данных - лишнее занятие. Я не говорю, что этот метод все же плохой.
Да и вот вроде щас думаю, что теневое копирование в той же винде делает все как раз инкрементно).

У меня же задача - делать бэкапы серверов на другие машины с возможностью минимализировать расходы на хранение данных (самих бэкапов) и не загружать мейн серверы лишней нагрузкой для сжатия террабайт данных.

Сейчас смотрю в сторону rdiff...

Big Andy

Перед $DEST_DIR нет двух двоеточий. Как второй параметр не воспринимается.

Дело было в ключе --remove-older-than, эту операцию надо запускать отдельно.

Как направить вывод команды в sh скритпе в файл дописать? Что-то типа echo 'adf' > filname, но не заменить а добавить в конец?

И все таки я не пойму.
Делаю бэкап, несколько минут уходит, потом запускаю еще раз повторно - он возится полторы минуты чего-то.

Что он делает столько времени?

2 сервера на гигабите в одном ДЦ
Файлов не так уж много, к тому же логи все исключил.

Не могу врубица, мне надо исключить файлы.
2 звездочки, как я понял из мануала сверяет только имя файла (не путь).

**.log
**.tmp
Это работает.

Не могу понять как написать паттерн, который позволил бы исключить пути включающие в себя "yii/framework" ?

up...
чет я так и не въехал
как исключить все файлы в пути которых содержится staticstic/logs например?