powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Map
Форумы / Informix [игнор отключен] [закрыт для гостей] / Восстановление на файловую систему
13 сообщений из 13, страница 1 из 1
Восстановление на файловую систему
    #37478905
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Делаю периодическое тестирование восстановления бэкапов, и обратил внимание что медленно происходит восстановление, в части создания чанков перед началом восстановления. Весь процесс начинается так:
1. после команды начать физ.восстановление информикс создает на диске на файловой системы файлы (чанки) необходимого размера (не пишет в них данные а именно создает файлы конкретного объема)
2. после создания файлов он начинает непосредственно процесс восстановления данных в эти файлы - пишет в них из бэкапа

Для файлов (чанков) размером в 25 Gb на создание (не восстановление данных!) каждого файла уходит примерно по 10 мин, а чанков таких много. Как ускорить выделение места под файлы на файловой системе?
raw device не использую.

ОС AIX, файловая система смонтирована с concurrent IO, включен журнал (мб тут затык?), по умолчанию используется group commit
Informix 11.50.FC8, включен DIRECT_IO = 2
...
Рейтинг: 0 / 0
Восстановление на файловую систему
    #37479067
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Внесу уточнение: чанки (файлы) на ФС я создаю вручную с помощью touch. Информикс после запуска команды на физ. восстановление увеличивает файлы до необходимого объема, и только после этого начинает писать в них из бэкапа данные, это видно с помощью onstat -D (пока файлы расширяются в выводе onstat -D для поля "page Wr" нули для этих чанков). После того как все чанки увеличены до необходимого размера, начинается непосредственно процесс физ.восстановления, это опять таки видно в поле "page Wr".
...
Рейтинг: 0 / 0
Восстановление на файловую систему
    #37479300
яфшуеі
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
перед восстановлением создайте файлы нужного размера (mkfile, dd, ....).
каждый раз на новое место восстанавливаете?
если на одно и тоже самое - не удаляйте файлы перед восстановлением.
...
Рейтинг: 0 / 0
Восстановление на файловую систему
    #37479550
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
яфшуеікаждый раз на новое место восстанавливаете?
если на одно и тоже самое - не удаляйте файлы перед восстановлением.
вот-вот, тоже хотел спросить - если это только для проверки бекапов на одном и том же массиве, зачем тогда постоянно удалять старые файлы?
...
Рейтинг: 0 / 0
Восстановление на файловую систему
    #37479916
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Конечно оставлять файлы можно, но проблема в том что тестируются бэкапы с разных серверов, размера ФС не хватает, поэтому файлы приходится удалять после тестирования. Но я кое что нашел, называется это "sparse files" , кажется это то что надо:

A sparse file is a file with empty space, or gaps, left open for future addition of data. If the empty spaces are filled with the ASCII null character and the spaces are large enough, the file will be sparse, and disk blocks will not be allocated to it.
...
Рейтинг: 0 / 0
Восстановление на файловую систему
    #37479967
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
я тоже хотел предложить, но вряд-ли это поможет

den@denzh:~> dd if=/dev/zero of=test bs=1M seek=10000 count=0
0+0 записей считано
0+0 записей написано
скопировано 0 байт (0 B), 3,3168e-05 c, 0,0 kB/c
den@denzh:~> ll -h test
-rw-r--r-- 1 den users 9,8G Окт 13 09:18 test
...
Рейтинг: 0 / 0
Восстановление на файловую систему
    #37480013
svat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
яфшуеіперед восстановлением создайте файлы нужного размера (mkfile, dd, ....).


... кстати, пробовал когда-то на 9.4 такое делать, но в файлы ненулевого размера IDS не хотел чанки помещать, ругался.
...
Рейтинг: 0 / 0
Восстановление на файловую систему
    #37480438
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ура ! Получилось использовать sparse files, т.е. теперь процесс восстановления не ждет, пока файлы создадутся, а начинает восстановление сразу. Конечно аллокация блоков на ФС происходит в процессе восстановления, но все равно сессия в storage manager не висит в ожидании, как это происходит при восстановлении в обычный файл.
...
Рейтинг: 0 / 0
Восстановление на файловую систему
    #37480863
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AndronУра ! Получилось использовать sparse files, т.е. теперь процесс восстановления не ждет, пока файлы создадутся, а начинает восстановление сразу. Конечно аллокация блоков на ФС происходит в процессе восстановления, но все равно сессия в storage manager не висит в ожидании, как это происходит при восстановлении в обычный файл.

Использовать-то получилось, но мне непонятно: ведь в результате общее время восстановления уменьшилось? Чем тебя смущает, что "сессия в storage manager висит в ожидании"?
...
Рейтинг: 0 / 0
Восстановление на файловую систему
    #37481118
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АнатоЛой,

Насчет общего времени восстановления: общее время восстановления при использовании sparse files не увеличилось. Т.е. стало даже немного быстрее.
Что касается ожидания сессии в Storage Manager (у меня TSM), я не знаю всех нюансов работы TSM, но предполагаю что не есть гуд когда TSM готов отдавать данные Информиксу, а в это время идет обычное создание файлов и сессия в TSM банально висит, занимая ресурсы (дисковый пул например). Указанный способ позволяет начать восстановление сразу, не ожидая полного создания файлов на диске.
...
Рейтинг: 0 / 0
Восстановление на файловую систему
    #37481222
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AndronАнатоЛой,

Насчет общего времени восстановления: общее время восстановления при использовании sparse files не увеличилось. Т.е. стало даже немного быстрее.
ты интересно понимаешь "общее время"
...
Рейтинг: 0 / 0
Восстановление на файловую систему
    #37481279
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АнатоЛойИспользовать-то получилось, но мне непонятно: ведь в результате общее время восстановления уменьшилось?
Я ошибся в вопросе. Я предполагал, что в результате использования спарс-файлов общее время восстановления НЕ уменьшилось. Поэтому и хотел спросить: "А в чём тогда смысл их использовать?".
...
Рейтинг: 0 / 0
Восстановление на файловую систему
    #37481808
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Журавлев Денис,

В контексте данного топика общее время восстановления = время создания файлов + время физ.восстановления данных в них

Подводя итоги
- если создаем файлы нулевого размера, сессия восстановления ждет, пока они не будут расширены до нужного объема, и только потом начинается восстановление. Минусы: блокируются некоторые ресурсы на TSM сервере на время увеличения файлов, админ TSM тоже иногда нервничает, что сессия на TSM что-то висит и ничего не передает :)
- если создаем sparse files, плюсы: восстановление начинается сразу, нет ожиданий на TSM сервере. Минусы: надо вручную указывать сколько блоков выделять для такого файла.
Общее время восстановления в обоих случаях примерно одинаковое.
...
Рейтинг: 0 / 0
13 сообщений из 13, страница 1 из 1
Форумы / Informix [игнор отключен] [закрыт для гостей] / Восстановление на файловую систему
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]