ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Informix [игнор отключен] [закрыт для гостей] / Ограничения ISM
25 сообщений из 27, страница 1 из 2
  1  все
Ограничения ISM
    #34018710
defocus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defocus
Участник
Всем привет !
Пробую решить задачу бэкапа информиксовых баз с разных серверов на выделенный сервер.

Решение мне видится таким :
ISM сервер, на нем 4 (поддерживаемый максимум в нашем случае) "устройства" - два дисковые - бэкап баз и логов, два ленточные для сливания дисковой инфы ( cloning) на ленты соответственно.

Внимание вопрос : на какие грабли я могу наступить если :
OS=OpenServer 5.0.7 (max размер файла=2Gb)
Informix 7.31.UC7 (чанки не более 2Gb)
Много разных баз на разных серверах c размерами до 20Gb

Смогу ли я бэкапить onbar-ом на такой file-type device ? Если нет, то решится ли проблема установкой операционки с файловой системой поддерживающей файлы более 2Gb ?

Как работает установка параметра ISM_COMPRESSION=TRUE в скрипте onbar - Данные передаются некомпрессованными, а ISM сервер их жмет ? во сколько раз обычно ужимаются данные на ISM сервере ?

Как правильно настроить onbar и ISM чтобы максимизировать скорость бэкапов (делать много параллельных или настроить по расписанию на серверах чтобы они бэкапили примерно один за другим) ?

Да, количество вопросов зашкаливает, но они в большей части не освещенны ни на нашем форуме ни в документации, поэтому пожалуйста не ленитесь - ответьте - будет хорошее дополнение нашим факам faq :)

Всем заранее огромное спасибо за отклики.
...
Рейтинг: 0 / 0
28.09.2006, 13:20
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34019173
Фотография Тан
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тан
Участник
defocusВнимание вопрос : на какие грабли я могу наступить если :
OS=OpenServer 5.0.7 (max размер файла=2Gb)
Informix 7.31.UC7 (чанки не более 2Gb)
Много разных баз на разных серверах c размерами до 20Gb

Смогу ли я бэкапить onbar-ом на такой file-type device ? Если нет, то решится ли проблема установкой операционки с файловой системой поддерживающей файлы более 2Gb ?

ISM создает один файл для каждого dbspace.
Жмет по-разному. У нас, например, два dbspace примерно по 3600 мб - один файл в ISM получается 900 мб, другой 1500 мб.
Так что никто вам не скажет, упретесь вы в 2 гб или нет
...
Рейтинг: 0 / 0
28.09.2006, 14:56
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34019645
defocus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defocus
Участник
>>ISM создает один файл для каждого dbspace.
Значит я 100% упираюсь в 2Gb и схема с OpenServer не работает... Придется ставить Linux и на него 9.40uc6 . Кстати какая там версия ism ? будет бэкапить с серверов с 7.31UC7 ?
...
Рейтинг: 0 / 0
28.09.2006, 16:24
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34019912
Фотография Тан
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тан
Участник
defocusВсем привет !
Пробую решить задачу бэкапа информиксовых баз с разных серверов на выделенный сервер.
Я вообще-то не понимаю, какую конфигурацию вы собираетесь реализовать. Что значит "бэкап информиксовых баз с разных серверов на выделенный сервер"?
Несколько компьютеров с информиксом и один с ISM?
Или один компьютер, на котором несколько инстансов информикса и один ISM?
И насколько эта задача реализуема, я не знаю.
Я вот знаю, что информиксу надо в онконфиге указать библиотеку, которая у онбара данные забирать будет. И в общем не важно, от какого storage manager'a эта библиотека и какой она версии, главное чтобы стандарт XBSA поддерживала.
А онбар у каждого информикса свой.
...
Рейтинг: 0 / 0
28.09.2006, 17:26
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34020202
defocus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defocus
Участник
Да, несколько компьютеров с информиксом и один с ISM.
авторЯ вот знаю, что информиксу надо в онконфиге указать библиотеку, которая у онбара данные забирать будет. И в общем не важно, от какого storage manager'a эта библиотека и какой она версии, главное чтобы стандарт XBSA поддерживала.
А онбар у каждого информикса свой.
Похоже на правду. Согласен.
...
Рейтинг: 0 / 0
28.09.2006, 18:35
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34020446
Выбегалло
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбегалло
Участник
defocus>>ISM создает один файл для каждого dbspace.
Значит я 100% упираюсь в 2Gb и схема с OpenServer не работает... Придется ставить Linux и на него 9.40uc6 . Кстати какая там версия ism ? будет бэкапить с серверов с 7.31UC7 ?

надо попробовать, но по-моему вы вполне можете создать несколько volumes (файлов) для одного пула и указать макс. размер volume в 2GB, тогда по достижении предела ISM будет переходить к след. файлу.
...
Рейтинг: 0 / 0
28.09.2006, 21:09
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34020451
Выбегалло
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбегалло
Участник
defocusВсем привет !
Пробую решить задачу бэкапа информиксовых баз с разных серверов на выделенный сервер.

Решение мне видится таким :
ISM сервер, на нем 4 (поддерживаемый максимум в нашем случае) "устройства" - два дисковые - бэкап баз и логов, два ленточные для сливания дисковой инфы ( cloning) на ленты соответственно.

Внимание вопрос : на какие грабли я могу наступить если :
OS=OpenServer 5.0.7 (max размер файла=2Gb)
Informix 7.31.UC7 (чанки не более 2Gb)
Много разных баз на разных серверах c размерами до 20Gb

Смогу ли я бэкапить onbar-ом на такой file-type device ? Если нет, то решится ли проблема установкой операционки с файловой системой поддерживающей файлы более 2Gb ?

Как работает установка параметра ISM_COMPRESSION=TRUE в скрипте onbar - Данные передаются некомпрессованными, а ISM сервер их жмет ? во сколько раз обычно ужимаются данные на ISM сервере ?

Как правильно настроить onbar и ISM чтобы максимизировать скорость бэкапов (делать много параллельных или настроить по расписанию на серверах чтобы они бэкапили примерно один за другим) ?

Да, количество вопросов зашкаливает, но они в большей части не освещенны ни на нашем форуме ни в документации, поэтому пожалуйста не ленитесь - ответьте - будет хорошее дополнение нашим факам faq :)

Всем заранее огромное спасибо за отклики.

Похоже, что ISM_COMPRESSION=TRUE, как и ISM_ENCRIPTION, жмет и шифрует только на диске. По сетке передается в открытом несжатом виде.
Макс скорость можно узнать только поэкспериментировав, потому что неизвестно, где у вас затык будет - в сетке, CPU или дисках.
...
Рейтинг: 0 / 0
28.09.2006, 21:13
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34020461
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andron
Участник
defocusВсем привет !
Пробую решить задачу бэкапа информиксовых баз с разных серверов на выделенный сервер.

Решение мне видится таким :
ISM сервер, на нем 4 (поддерживаемый максимум в нашем случае) "устройства" - два дисковые - бэкап баз и логов, два ленточные для сливания дисковой инфы ( cloning) на ленты соответственно.


Нормальное решение, но для каждого информикса нужен свой ISM


Как правильно настроить onbar и ISM чтобы максимизировать скорость бэкапов (делать много параллельных или настроить по расписанию на серверах чтобы они бэкапили примерно один за другим) ?

Да, количество вопросов зашкаливает, но они в большей части не освещенны ни на нашем форуме ни в документации, поэтому пожалуйста не ленитесь - ответьте - будет хорошее дополнение нашим факам faq :)


Вопрос о перформансе onbar и ISM неплохо освещен в документации (например параллелизм при бэкапе устанавливается переменной BAR_MAX_BACKUP, кроме того есть переменные которые устанавливают размер буферов для передачи данных к ISM)
Ну и как обычно: для каждого устройства ISM использовать отдельный диск (винчестер), а не разделы на одном диске.

Вообще ISM прост как электровеник (который конечно не так прост как кажется)

Несколько Информиксов бэкапить в один ISM? хм, что то сомневаюсь, и вряд ли если эти информиксы расположены на разных хостах.
...
Рейтинг: 0 / 0
28.09.2006, 21:27
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34021083
Фотография Тан
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тан
Участник
AndronНесколько Информиксов бэкапить в один ISM? хм, что то сомневаюсь, и вряд ли если эти информиксы расположены на разных хостах.
Я думаю, на одном хосте это возможно. Не вижу, где могла бы быть проблема. Ну будут они за устройства конкурировать, но это не беда, подождут.
К тому же на одном хосте проблема несколько ISM-ов запустить, а вот несколько инстансов информикса никто не отменял
...
Рейтинг: 0 / 0
29.09.2006, 10:18
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34021157
defocus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defocus
Участник
Друзья!
В свете всего вышесказанного + полнейшая каша в голове после прочтения совершенно идиотски написанной и построенной документации (ISM Admin guide и Backup and Restore Guide) у меня зарождаются какие то смутные подозрения о возможности таки реализовать все это .. давайте напишем конкретно какие основные команды надо дать для того, чтобы реализовать например следующую схему:
- Один сервер ISM c дисками и двумя ленточными девайсами. назовем его ism.
- Два компа с информиксом которые мы хотим бэкапить на ism. Назовем их test1 и test2.
- Логические журналы с test1 и 2 должны бэкапиться в пул ISMDiskLogs, бэкапы должны идти в ISMDiskData
- Пулы ISMDiskData и ISMDiskLogs должны клонироваться в "ISMData Clone" и "ISMLogs Clone" (какойто идиот в информиксе назвал эти пулы с пробелом, а без пробела ism их завести не дает! бред какой-то)

Начало я бы написал таким :
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
SM_DISKDEV1=/backup/ismdiskdata ; SM_DISKDEV2=/backup/ismdisklogs
SM_TAPEDEV1=/dev/nrStp0         ; SM_TAPEDEV2=/dev/nrStp1
mkdir $SM_DISKDEV1 $SM_DISKDEV2

ism_op -label $SM_DISKDEV1 -pool ISMDiskData -volume Datavol -force
ism_op -label $SM_DISKDEV2 -pool ISMDiskLogs -volume Logsvol -force

tape -a  32768  setblk $SM_TAPEDEV1 ; tape -a  32768  setblk $SM_TAPEDEV2
ism_op -label $SM_TAPEDEV1 -pool "ISMData Clone" -volume DatavolClone -force
ism_op -label $SM_TAPEDEV2 -pool "ISMLogs Clone" -volume LogsvolClone -force

ism_op -mount $SM_DISKDEV1 ; ism_op -mount $SM_DISKDEV2

Что дальше ? как создать несколько volume с ограничением размера в 2Gb ?
и т.д. ....

P.S. Предложите свою схему если эта не устраивает/неправильная и т.п.
...
Рейтинг: 0 / 0
29.09.2006, 10:32
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34021452
Фотография Тан
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тан
Участник
1. Про схему ничего сказать не могу. Не знаю, как вы в онконфиге укажете библиотеку, которая на другом сервере лежит, и как онбар будет общаться с процессами, которые на другом сервере запущены.

2. Вы можете настроить ISM, как вам угодно. Создать пулы, устройства и все такое.
Есть в ISM утилита под названием nsradmin, когда запустите, напишите слово visual, там менюшка появится.
Терпения требует, но зато все параметры можно настроить
...
Рейтинг: 0 / 0
29.09.2006, 11:40
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34021598
defocus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defocus
Участник
Неплохо было бы сразу образумить меня. Я почемуто наивно полагал что onbar может бэкапить на ism который на другом сервере... Оказывается это не так ?
Если так, то onbar+ism = ontape c параллельным бэкапом dbspaces и восстановлением на момент времени... очень жаль. Очевидно придется реализовать простую схему: ontape - gzip - посылка на выделенный сервер - закатка на ленточки.... повторю... очень жаль.....
...
Рейтинг: 0 / 0
29.09.2006, 12:06
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34021656
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
defocusНеплохо было бы сразу образумить меня. Я почемуто наивно полагал что onbar может бэкапить на ism который на другом сервере... Оказывается это не так ?
Если так, то onbar+ism = ontape c параллельным бэкапом dbspaces и восстановлением на момент времени... очень жаль. Очевидно придется реализовать простую схему: ontape - gzip - посылка на выделенный сервер - закатка на ленточки.... повторю... очень жаль.....ISM это обрезанная версия Veritas Storage Manager. Никто не мешает тома в ism создавать в файловой системе смонтированной по nfs (samba, ....)
...
Рейтинг: 0 / 0
29.09.2006, 12:16
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34021716
defocus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defocus
Участник
@Журавлев Денис
Т.е. схема такова : на каждом из informix серверов настраиваем локально ism, пулы которого лежат на смонтированных директориях с одного выделенного сервера. На этом выделенном сервере делаем бэкап на ленточку этих директорий. Так ?
Много минусов:
1. нет возможности зажать трафик
2. nfs, samba намного медленее чем просто посылка гзипнутого файла на выделенный сервер с помощью ftp или sftp.
3. проблемы со смонтированными директориями при сбоях в работе сети
и т.д....
...
Рейтинг: 0 / 0
29.09.2006, 12:28
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34021771
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
defocus
1. нет возможности зажать трафикism жмет, не bzip2 конечно, но жмет.

defocus2. nfs, samba намного медленее чем просто посылка гзипнутого файла на выделенный сервер с помощью ftp или sftp.Вы уверены что nfs и samba медленнее ftp или sftp? -- я нет, возможно наоборот (плюс iSCSI их всех порвет).

defocus3. проблемы со смонтированными директориями при сбоях в работе сети
и т.д....Вам решать, я варианты предлагаю :) . Еще вариант -- купить ленточную библиотеку с 20 лентами, 2-мя драйвами, и тиволи сервер c tdp к onbar.
...
Рейтинг: 0 / 0
29.09.2006, 12:37
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34021834
defocus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defocus
Участник
1. ism трафик не жмет.
2. уверен. для iscsi и т.п. нет денег. рассматривается простой бюджетный вариант.
3. ок. проще надо.. проще. задачка то простая и объемы не те.
...
Рейтинг: 0 / 0
29.09.2006, 12:49
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34021854
defocus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defocus
Участник
Уважаемые !
Разрешите закрыть данную тему и резюмировать:
- решения данной задачи с помощью ism,onbar не существует.
- понято, что ism+onbar работают локально.
- выяснены некоторые особенности..

Всем большое спасибо за ответы !
...
Рейтинг: 0 / 0
29.09.2006, 12:54
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34022173
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
defocus1. ism трафик не жмет.
...Трафик не жмет, жмет данные.
...
Рейтинг: 0 / 0
29.09.2006, 14:03
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34022258
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andron
Участник
Предлагаю все же такое решение: (при условии что на каждом хосте бэкапится в ISM только один сервер Informix, понятно что самих информиксов на каждом хосте может быть сколько угодно)

Код: plaintext
1.
2.
3.
4.
Host1: IDS1 > ISM1 >                                       > Path1
Host2: IDS2 > ISM2 >           NFS > HostWithBigFastDisks > Path2
...
HostN: IDSN > ISMN >                                       > Path3

Для каждого ISM устройства (дисковые) монтируются по NFS, реальные дисковые пути не совпадают Path1 <> Path2 <> ... <> PathN
Сразу скажу что не знаю, как сделать при использовании NFS доступ к ленте, да еще с разделением для каждого хоста своей ленты
Как вариант можно попробовать делать клонирование на диски, а уже после клонирования копировать клоны на ленту (управление данными на ленте придется делать самим, но это несложно)

Для производительности по крайней мере надо будет настроить NFS, обеспечить хороший канал до HostWithBigFastDisks, предусмотреть быстрые диски на самом хосте и (или) обеспечить разнесение по времени бэкапов в ISM для всех информиксов, чтобы минимизировать нагрузку на сеть и диски.

...
Рейтинг: 0 / 0
29.09.2006, 14:20
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34022508
defocus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defocus
Участник
@Andron
Ну да, это я и имел в виду когда писал
defocus
Т.е. схема такова : на каждом из informix серверов настраиваем локально ism, пулы которого лежат на смонтированных директориях с одного выделенного сервера. На этом выделенном сервере делаем бэкап на ленточку этих директорий.
Много минусов:
1. нет возможности зажать трафик
2. nfs, samba намного медленее чем просто посылка гзипнутого файла на выделенный сервер с помощью ftp или sftp.
3. проблемы со смонтированными директориями при сбоях в работе сети

Но все же imho эта схема неудобна. В этом случае намного удобнее и намного эффективнее локальный ontape - gzip - посылка на удаленный сервер - закатка там на ленточки. Все делается насколькими простейшими скриптами и стандартными средствами + дает возможности для бэкапа чего угодно и как угодно тебе.

Минусы:
- Свой скрипт по восстановлению (тоже простой). Можно восстановить только до определенного лога и т.п. но это все как мне кажется мелочи.
...
Рейтинг: 0 / 0
29.09.2006, 15:04
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34022602
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vasilis
Участник
defocusРазрешите закрыть данную тему и резюмировать:
- решения данной задачи с помощью ism,onbar не существует.

Разрешите не согласиться :)
Уверен, что принципиально решение есть и объясню, почему я так думаю.
Когда еще существовал IECC (многие должны еще помнить этот графический тулз администрирования до 7.31.ТС6) в нем была встроена и графическая оболочка работы с ISM и onbar (довольно удобная, кстати, и позволяла быстро настроить и подключить пулы, посмотреть содержимое volume sets и т.п.).
Из оболочки можно же было и выполнить архивы и восстановления разного вида (только onbar-кие, кстати). Так вот, я хорошо помню, что там была возможность (и я ею пользовался) на одном сервере выполнять архивирование всех других доступных серверов в сети. Т.е. на компе1 я запускал процесс архивирования из соответствующей закладки IECC, ВЫБИРАЛ ИЗ КОМБОБОКСА ДОСТУПНЫЕ СЕРВЕРА IDS НА ДРУГИХ компах (до 15 штук) и выполнял архив, который сохранялся на устройствах, описанных в ISM на моем комп1. И так несколько раз. Это позволяло мне иметь на одном компе архивы нескольких учебных серверов, которые "пытливые" слушатели любили часто ронять :)
Возможно, что в этом участвовал некий специальный процесс Informix Monitor (если я правильно помню), который и обеспечивал работу IECC по администрированию компов в сети, но на остальных компах, кажется, даже не надо было настраивать локальные ISM, хотя они и были запущены (три демона-службы).
...
Рейтинг: 0 / 0
29.09.2006, 15:25
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34022930
defocus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defocus
Участник
@vasilis
Это конечно интересно, но хотелось бы конкретики - как раз того чего нехватает в топике ;)
Возможно этот самый IECC и выполнял роль пресловутого скрипта - бэкапил на одном, перетаскивал на другой или что то вроде того.
Вот например вариант:
прога которая коннектится к одному серверу, дает там команду бэкапа в pipe, посылает этот поток через канал на второй сервер, где благополучно пишет его в файл - это же элементарно :
mkfifo fifo ; ( cat fifo | ssh server2 "cat >filebackup" ) &
ontape -s -L 0

Вот и все - server1 ,бэкапится на server2 . Что то подобное наверное и с onbar легко сотворить...

Поэтому все же считаю задачу централизованного бэкапа с голыми onbar+ism нерешаемой.
...
Рейтинг: 0 / 0
29.09.2006, 16:30
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34022996
Фотография Тан
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тан
Участник
defocusПоэтому все же считаю задачу централизованного бэкапа с голыми onbar+ism нерешаемой.
это потому, что до вас никто ее не решал? логично...
...
Рейтинг: 0 / 0
29.09.2006, 16:45
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34023042
defocus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defocus
Участник
@Тан
А другого выхода то нет...
Я имел ввиду что после этого обсуждения и понимания схемы работы ism+onbar не вижу таких возможностей. конечно человек очень часто ошибается, был бы очень рад если кто нибудь оказался прозорливей...
...
Рейтинг: 0 / 0
29.09.2006, 16:57
| Ответить | Цитировать | Написать  
Ограничения ISM
    #34023582
Выбегалло
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Выбегалло
Участник
defocus@Тан
А другого выхода то нет...
Я имел ввиду что после этого обсуждения и понимания схемы работы ism+onbar не вижу таких возможностей. конечно человек очень часто ошибается, был бы очень рад если кто нибудь оказался прозорливей...

а почему не бэкапить в разные пулы ?
...
Рейтинг: 0 / 0
29.09.2006, 21:52
| Ответить | Цитировать | Написать  
25 сообщений из 27, страница 1 из 2
  1  все
Форумы / Informix [игнор отключен] [закрыт для гостей] / Ограничения ISM
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]