HettНужно делать бэкап веб-сервера.
Есть какой-то софт, способный постоянно отслеживать измененные файлы и передавать их в другое хранилище?
Есть. inotify,bnotify, kqueue, filemon

авторИз того что я знаю, больше подходит RSyn. c, Rsync делает только бекап, но ни разу не отслеживает изменение файлов. *nix построены по принципу KISS. Одна программа - она задача.

авторно умеет ли он именно отслеживать постоянно, или же его нужно запускать по крону каждые N-минут
Ответ смотрите выше. Запускать можете как хотите. Хоть по крону, хоть по событиям dbus, хоть вручную
автор, не скажется ли тогда это пагубно на нагрузке неоправданной нагрузке на дисковую систему?
ОтветавторCron все равно каждую минуту просыпается Правильный. То есть если он (cron) у вас не загружает систему без запущенного rsync, то и сзапущенным не загрузит. Хотя сами можете проверить при помощи ps, top. htop.


Есть подозрение, что вам необходим не полный бекап, а инкрементный бекап. Его также можно делать при помощи rsync.
Для запуска cron по событиям файловой системы принято использовать incron.

Я предпочитаю rdiff-backup

Обзор софта для бекапа

HettА если я туда запихаю на каждую минуту какую-то ресурсоемку задачу то и нагрузка появится.
Ну, это уж сами регулируйте или проверяйте при старте критические параметры системы. Если вы каждую секунду будете запускать экземпляр rsync и они будут конкурировать за ресурсы, то есть ненулевая вероятность того, что при определённых условиях вы асимптотически приблизитесь к исчерпанию како-гонть системного ресурса. В некоторых случаях (таких как максимально открытое кол-во файлов, дескрипторов и пр ) их можно увеличить, в нектороых (таких как процессорные ресурсы, память и пр ) - нет
В общем, всё в ваших руках. Кроме того я не знаю причин, чтобы настолько часто запускать крон, чтобы он убивал систему, но в линуксе вы всегда можете добиться любого стресс-состояния. Систему не убъете, но повеселитесь.

авторВедь я так понимаю он каждый раз будет делать фуллскан файловой системы?
С чего бы это? rsync ничего не сканит. Он просто выполняет вашу волю.

Hett,

почему он должен "пробегать" по всем файлам?


авторбудет создавать узкие места в работе сервера
Либо сами отслеживайте загрузку, либо создавайте квоты. Типо nice, ionice... Утилит полно. Только работайте.

Если боитесь, чтобудет сканить, используйте средства, которые я предлагал выше.

авторКаким образом он тогда делает дифф?
Слушайте! Какой смысл начинать повствование, когда вы даже man rsnc не прочитали!
Не хотите использовать rsync напрямую, используйте обёртки типа rdiff-backup, suplicity или одну из вышеуказанных тридцати более сложных утилит.

Кстати, забыл, tar тоже делает инкрементный бекап.


авторЕсли я буду таким образом синхронизировать 1ТБ диск забитый мелкими файлами ,
Для этого составляется политика бекапа, делается периодически один полный бекап, потом инкреметальные бекапы. Частоту и время подбирайте самостоятельно.
Если же у вас за час измеяются весь терабайт диска, то стоит посмотреть в сторону raid10 и стандартные методы бекапа становятся не очень нужны.

Big Andy,

Пример инкрементного бекапа:
авторrsync --force --ignore-errors --delete --delete-excluded --exclude-from=exclude_file --backup --backup-dir=`date +%Y-%m-%d` -av

Перед использованием читаем литературу и man rsync
например http://www.sanitarium.net/golug/rsync_backups_2010.html

Перед $DEST_DIR нет двух двоеточий. Как второй параметр не воспринимается.

netwind,

автор а для медленных устройств ввода-вывода нет
ionice в init 3 и init 5 работает прекрасно. Лишь бы кеша хватило.

автор Ну, а хотя, если покопаться можно заставить rsync и tar работать почти незаметно.
Даже копаться не надо. inotify вполне достаточно для подавляющего числа случаев (если нет винтажных скриптов, отслеживающих именованные каналы).

netwindА первый полный бекап всех файлов делать разве не нужно?

Не поверите! До установки ОС вполне возможно даже придётся отформатировать терабайтный диск!



авторНо это не значит, что выхода нет.
Я специально дал ссылки на более сложные системы бекапа, которые, втом числе сами индексируют изменения. В частности BAcula Аманда. Но стоит ли из-за примитвной задачи бекапаодного диска разворачивать этих монстров?

netwind и бакула умеют читать данные тихонько и без вымывания кеша ?
Бакула - точно. Я, конечно не следил за первоначалной индексацией и первоначальным бекапом, но в iotop от bacula+дочки не превышал 5%.
Аманду давно не ставил.