ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Синхронизация файлов
20 сообщений из 45, страница 2 из 2
  2  все
Синхронизация файлов
    #37694643
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Dimitry SibiryakovСофтовый RAID1 на iSCSI тут ещё, вроде бы, не предлагали...

Как вам поможет RAID1 от rm -f * ?
...
Рейтинг: 0 / 0
07.03.2012, 07:38
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37694988
Big Andy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Big Andy
Участник
Hett,

Так сдуру можно и мягкую часть тела сломать. Защита от дураков - это несколько иное.
...
Рейтинг: 0 / 0
07.03.2012, 12:03
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37695003
Big Andy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Big Andy
Участник
[quot netwind]Big Andyпропущено...
Вы вообще поняли о чем я ? iotop показывает скорость обмена, но не показывает вымывается ли кеш.
Мониторинг дискового кеша - занятие неблагодарное и немасштабируемое , ибо аппаратнозавсимое.
...
Рейтинг: 0 / 0
07.03.2012, 12:07
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37695011
Big Andy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Big Andy
Участник
По крайней мере с rdiff-backup, и бакулой проблем никогда не возникало. И надосбности мониторить хардверный дисковый кеш не было.
Софтверный настраивается динамически.
...
Рейтинг: 0 / 0
07.03.2012, 12:11
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37695052
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
Big Andy, хардварный кеш контроллеров слишком маленький чтобы на что-то повлиять.
Разумеется, речь о кеше нужных файлов в памяти, которые при чтении ненужных файлов замещаются.


HettDimitry SibiryakovСофтовый RAID1 на iSCSI тут ещё, вроде бы, не предлагали...

Как вам поможет RAID1 от rm -f * ?
очень просто :
подключаете еще диск.
запускаете синхронизацию raid. она делается в фоне, медленно и не засирая дисковый кеш.
дожидаетесь конца синхронизации.
вынимаете диск и кладете на полочку - бекап готов.
...
Рейтинг: 0 / 0
07.03.2012, 12:36
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37695199
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Это если в датацентре жить)
...
Рейтинг: 0 / 0
07.03.2012, 13:34
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37695258
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
HettЭто если в датацентре жить)
iscsi подразумевает что диск для бекапа подключается по сети удаленно
...
Рейтинг: 0 / 0
07.03.2012, 13:58
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37695261
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
netwindHettЭто если в датацентре жить)
iscsi подразумевает что диск для бекапа подключается по сети удаленно
хотя тут есть проблема - во время интенсивной работы записываемые данные по сети будут гонятся на другой диск.
но вы же не домой копируете ?
...
Рейтинг: 0 / 0
07.03.2012, 14:00
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37695288
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Да, я там букавку i не приметил сначала.
Но будет делаться каждый раз полный бэкап все же, что будет давать большую нагрузку на сеть да и на диск все же тоже, если бэкапить пару терабайт, да и на каждый день нужно иметь еще по такому же диску, тоесть получается хотя бы 2, чтобы бэкапить на них по очереди. Нету возможности бэкапить только нужные данные (например исключить логи). Нету возможности сжать данные, как я предполагаю. Если подытожить, то в итоге RSYNC будет удобнее.
...
Рейтинг: 0 / 0
07.03.2012, 14:12
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37695289
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
ИМХО, конечно...
...
Рейтинг: 0 / 0
07.03.2012, 14:13
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37695313
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
Hett Нету возможности бэкапить только нужные данные (например исключить логи)
Можно разбить диск на разделы и только нужные разделы бекапить.
...
Рейтинг: 0 / 0
07.03.2012, 14:20
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37695516
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Не всегда возможно, например используя тот же плеск не удастся разбить данные так, чтобы логи были на отдельном разделе...
...
Рейтинг: 0 / 0
07.03.2012, 15:56
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37695568
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
netwind
Участник
HettНе всегда возможно, например используя тот же плеск не удастся разбить данные так, чтобы логи были на отдельном разделе...
И слава алллаху. Не один сервер я видел с /var/log "по заветам настоящих карпаративных админов" на пару гигабайт.
Стоит забыть что логин нужно ротировать и вот при перезагрузке уже не стартуют апачи всякие.
...
Рейтинг: 0 / 0
07.03.2012, 16:30
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37695802
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
http://gooddev.ru/g/images/photos/original/94e11325875989a57a05f0ca3611eb0f.jpg
...
Рейтинг: 0 / 0
07.03.2012, 19:33
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37695809
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
netwindHettНе всегда возможно, например используя тот же плеск не удастся разбить данные так, чтобы логи были на отдельном разделе...
И слава алллаху. Не один сервер я видел с /var/log "по заветам настоящих карпаративных админов" на пару гигабайт.
Стоит забыть что логин нужно ротировать и вот при перезагрузке уже не стартуют апачи всякие.

Да может я уже просто придираюсь, это все понятно. Плеск в общем-то делает ротацию, я говорю о том, что всю эту ротацию он будет тоже бэкапить, причем логи в ротации переименовываются, хоть и сжаты, но весят сколько то, а если еще используется какая-то веб-статистикческая приблуда (не знаю зачем они кому нужные нынче) то еще миллионы файлов будут. Каждый день гонять по сетке террабайты - накладно, особенно если сетевой интерфейс 100мегабит, да и даже если больше, прочитать пару террабайт данных - лишнее занятие. Я не говорю, что этот метод все же плохой.
Да и вот вроде щас думаю, что теневое копирование в той же винде делает все как раз инкрементно).

У меня же задача - делать бэкапы серверов на другие машины с возможностью минимализировать расходы на хранение данных (самих бэкапов) и не загружать мейн серверы лишней нагрузкой для сжатия террабайт данных.

Сейчас смотрю в сторону rdiff...
...
Рейтинг: 0 / 0
07.03.2012, 19:38
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37703547
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Big Andy
Код: python
1.
 $REMOTE_HOST::$REMOTE_DIR $DEST_DIR


Перед $DEST_DIR нет двух двоеточий. Как второй параметр не воспринимается.

Дело было в ключе --remove-older-than, эту операцию надо запускать отдельно.

Как направить вывод команды в sh скритпе в файл дописать? Что-то типа echo 'adf' > filname, но не заменить а добавить в конец?
...
Рейтинг: 0 / 0
13.03.2012, 19:22
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37703553
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
И все таки я не пойму.
Делаю бэкап, несколько минут уходит, потом запускаю еще раз повторно - он возится полторы минуты чего-то.

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
--------------[ Session statistics ]--------------
StartTime 1331652188.00 (Tue Mar 13 16:23:08 2012)
EndTime 1331652270.42 (Tue Mar 13 16:24:30 2012)
ElapsedTime 82.42 (1 minute 22.42 seconds)
SourceFiles 91655
SourceFileSize 4809100093 (4.48 GB)
MirrorFiles 91653
MirrorFileSize 4809098766 (4.48 GB)
NewFiles 2
NewFileSize 1327 (1.30 KB)
DeletedFiles 0
DeletedFileSize 0 (0 bytes)
ChangedFiles 6
ChangedSourceSize 0 (0 bytes)
ChangedMirrorSize 0 (0 bytes)
IncrementFiles 8
IncrementFileSize 0 (0 bytes)
TotalDestinationSizeChange 1327 (1.30 KB)
Errors 0
--------------------------------------------------
Что он делает столько времени?
...
Рейтинг: 0 / 0
13.03.2012, 19:27
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37703555
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
2 сервера на гигабите в одном ДЦ
Файлов не так уж много, к тому же логи все исключил.
...
Рейтинг: 0 / 0
13.03.2012, 19:28
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37709167
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
Не могу врубица, мне надо исключить файлы.
2 звездочки, как я понял из мануала сверяет только имя файла (не путь).

**.log
**.tmp
Это работает.

Не могу понять как написать паттерн, который позволил бы исключить пути включающие в себя "yii/framework" ?
...
Рейтинг: 0 / 0
16.03.2012, 20:27
| Ответить | Цитировать | Написать  
Синхронизация файлов
    #37733086
Фотография Hett
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hett
Участник
up...
чет я так и не въехал
как исключить все файлы в пути которых содержится staticstic/logs например?
...
Рейтинг: 0 / 0
31.03.2012, 21:34
| Ответить | Цитировать | Написать  
20 сообщений из 45, страница 2 из 2
  2  все
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Синхронизация файлов
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]