Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
12.10.2011, 15:13
|
|||
---|---|---|---|
Восстановление на файловую систему |
|||
#18+
Делаю периодическое тестирование восстановления бэкапов, и обратил внимание что медленно происходит восстановление, в части создания чанков перед началом восстановления. Весь процесс начинается так: 1. после команды начать физ.восстановление информикс создает на диске на файловой системы файлы (чанки) необходимого размера (не пишет в них данные а именно создает файлы конкретного объема) 2. после создания файлов он начинает непосредственно процесс восстановления данных в эти файлы - пишет в них из бэкапа Для файлов (чанков) размером в 25 Gb на создание (не восстановление данных!) каждого файла уходит примерно по 10 мин, а чанков таких много. Как ускорить выделение места под файлы на файловой системе? raw device не использую. ОС AIX, файловая система смонтирована с concurrent IO, включен журнал (мб тут затык?), по умолчанию используется group commit Informix 11.50.FC8, включен DIRECT_IO = 2 ... |
|||
:
Нравится:
Не нравится:
|
|||
|
12.10.2011, 16:23
|
|||
---|---|---|---|
Восстановление на файловую систему |
|||
#18+
Внесу уточнение: чанки (файлы) на ФС я создаю вручную с помощью touch. Информикс после запуска команды на физ. восстановление увеличивает файлы до необходимого объема, и только после этого начинает писать в них из бэкапа данные, это видно с помощью onstat -D (пока файлы расширяются в выводе onstat -D для поля "page Wr" нули для этих чанков). После того как все чанки увеличены до необходимого размера, начинается непосредственно процесс физ.восстановления, это опять таки видно в поле "page Wr". ... |
|||
:
Нравится:
Не нравится:
|
|||
|
12.10.2011, 18:04
|
|||
---|---|---|---|
|
|||
Восстановление на файловую систему |
|||
#18+
перед восстановлением создайте файлы нужного размера (mkfile, dd, ....). каждый раз на новое место восстанавливаете? если на одно и тоже самое - не удаляйте файлы перед восстановлением. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
12.10.2011, 20:54
|
|||
---|---|---|---|
Восстановление на файловую систему |
|||
#18+
яфшуеікаждый раз на новое место восстанавливаете? если на одно и тоже самое - не удаляйте файлы перед восстановлением. вот-вот, тоже хотел спросить - если это только для проверки бекапов на одном и том же массиве, зачем тогда постоянно удалять старые файлы? ... |
|||
:
Нравится:
Не нравится:
|
|||
|
13.10.2011, 08:37
|
|||
---|---|---|---|
Восстановление на файловую систему |
|||
#18+
Конечно оставлять файлы можно, но проблема в том что тестируются бэкапы с разных серверов, размера ФС не хватает, поэтому файлы приходится удалять после тестирования. Но я кое что нашел, называется это "sparse files" , кажется это то что надо: A sparse file is a file with empty space, or gaps, left open for future addition of data. If the empty spaces are filled with the ASCII null character and the spaces are large enough, the file will be sparse, and disk blocks will not be allocated to it. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
13.10.2011, 09:19
|
|||
---|---|---|---|
|
|||
Восстановление на файловую систему |
|||
#18+
я тоже хотел предложить, но вряд-ли это поможет den@denzh:~> dd if=/dev/zero of=test bs=1M seek=10000 count=0 0+0 записей считано 0+0 записей написано скопировано 0 байт (0 B), 3,3168e-05 c, 0,0 kB/c den@denzh:~> ll -h test -rw-r--r-- 1 den users 9,8G Окт 13 09:18 test ... |
|||
:
Нравится:
Не нравится:
|
|||
|
13.10.2011, 09:53
|
|||
---|---|---|---|
|
|||
Восстановление на файловую систему |
|||
#18+
яфшуеіперед восстановлением создайте файлы нужного размера (mkfile, dd, ....). ... кстати, пробовал когда-то на 9.4 такое делать, но в файлы ненулевого размера IDS не хотел чанки помещать, ругался. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
13.10.2011, 12:32
|
|||
---|---|---|---|
Восстановление на файловую систему |
|||
#18+
Ура ! Получилось использовать sparse files, т.е. теперь процесс восстановления не ждет, пока файлы создадутся, а начинает восстановление сразу. Конечно аллокация блоков на ФС происходит в процессе восстановления, но все равно сессия в storage manager не висит в ожидании, как это происходит при восстановлении в обычный файл. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
13.10.2011, 15:07
|
|||
---|---|---|---|
Восстановление на файловую систему |
|||
#18+
AndronУра ! Получилось использовать sparse files, т.е. теперь процесс восстановления не ждет, пока файлы создадутся, а начинает восстановление сразу. Конечно аллокация блоков на ФС происходит в процессе восстановления, но все равно сессия в storage manager не висит в ожидании, как это происходит при восстановлении в обычный файл. Использовать-то получилось, но мне непонятно: ведь в результате общее время восстановления уменьшилось? Чем тебя смущает, что "сессия в storage manager висит в ожидании"? ... |
|||
:
Нравится:
Не нравится:
|
|||
|
13.10.2011, 16:26
|
|||
---|---|---|---|
Восстановление на файловую систему |
|||
#18+
АнатоЛой, Насчет общего времени восстановления: общее время восстановления при использовании sparse files не увеличилось. Т.е. стало даже немного быстрее. Что касается ожидания сессии в Storage Manager (у меня TSM), я не знаю всех нюансов работы TSM, но предполагаю что не есть гуд когда TSM готов отдавать данные Информиксу, а в это время идет обычное создание файлов и сессия в TSM банально висит, занимая ресурсы (дисковый пул например). Указанный способ позволяет начать восстановление сразу, не ожидая полного создания файлов на диске. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
13.10.2011, 16:55
|
|||
---|---|---|---|
|
|||
Восстановление на файловую систему |
|||
#18+
AndronАнатоЛой, Насчет общего времени восстановления: общее время восстановления при использовании sparse files не увеличилось. Т.е. стало даже немного быстрее. ты интересно понимаешь "общее время" ... |
|||
:
Нравится:
Не нравится:
|
|||
|
13.10.2011, 17:18
|
|||
---|---|---|---|
Восстановление на файловую систему |
|||
#18+
АнатоЛойИспользовать-то получилось, но мне непонятно: ведь в результате общее время восстановления уменьшилось? Я ошибся в вопросе. Я предполагал, что в результате использования спарс-файлов общее время восстановления НЕ уменьшилось. Поэтому и хотел спросить: "А в чём тогда смысл их использовать?". ... |
|||
:
Нравится:
Не нравится:
|
|||
|
14.10.2011, 08:48
|
|||
---|---|---|---|
Восстановление на файловую систему |
|||
#18+
Журавлев Денис, В контексте данного топика общее время восстановления = время создания файлов + время физ.восстановления данных в них Подводя итоги - если создаем файлы нулевого размера, сессия восстановления ждет, пока они не будут расширены до нужного объема, и только потом начинается восстановление. Минусы: блокируются некоторые ресурсы на TSM сервере на время увеличения файлов, админ TSM тоже иногда нервничает, что сессия на TSM что-то висит и ничего не передает :) - если создаем sparse files, плюсы: восстановление начинается сразу, нет ожиданий на TSM сервере. Минусы: надо вручную указывать сколько блоков выделять для такого файла. Общее время восстановления в обоих случаях примерно одинаковое. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
|
start [/forum/topic.php?fid=44&tablet=1&tid=1607253]: |
0ms |
get settings: |
25ms |
get forum list: |
16ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
58ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
359ms |
get tp. blocked users: |
2ms |
others: | 320ms |
total: | 800ms |
0 / 0 |