Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Parallel gzip / 25 сообщений из 25, страница 1 из 1
18.06.2008, 00:49:05
    #35378700
Relic Hunter
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
Привет комьюнити!

Можно както убыстрить сжимание gzip-ом или другой утилитой - не важно? Вообщем жмакаем дамп файл Оракл по-ночам и длиццо это дело 2,5 часа. На машине 24 проца, но используется всего один-то. Общий ципию юсыдж в это врема гдето ~4%. Как заюзать больше?
...
Рейтинг: 0 / 0
18.06.2008, 06:48:56
    #35378797
Dkfl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
pbzip2 - parallel bzip2 file compressor

AUTHOR
Jeff Gilchrist

http://compression.ca
...
Рейтинг: 0 / 0
18.06.2008, 09:12:37
    #35378888
unixman
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
Что за дамп? Exp? Версия БД? Может вам стратегию резервирования пересмотреть?
...
Рейтинг: 0 / 0
18.06.2008, 10:00:41
    #35378995
Scott Tiger
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
split-нуть его и по частям параллельно...
...
Рейтинг: 0 / 0
18.06.2008, 23:13:47
    #35381452
Relic Hunter
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
unixmanЧто за дамп? Exp? Версия БД? oracle 10.2.0.2 export file unixmanМожет вам стратегию резервирования пересмотреть?Логицкий бекап, какие тут варианты? Аж интересно стало :)
...
Рейтинг: 0 / 0
19.06.2008, 00:03:39
    #35381474
Relic Hunter
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
Scott Tigersplit-нуть его и по частям параллельно...split тоже ведь команда по времени не детская на больших гигабайтах :) И опять-же не паралелится. Интересно о чём думают разработчики unix-a?
...
Рейтинг: 0 / 0
19.06.2008, 00:13:40
    #35381479
miksoft
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
а нельзя сразу делать несколько дампов, а не один?
...
Рейтинг: 0 / 0
19.06.2008, 07:26:32
    #35381599
avb1003
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
Relic Hunter Scott Tigersplit-нуть его и по частям параллельно...split тоже ведь команда по времени не детская на больших гигабайтах :) И опять-же не паралелится. Интересно о чём думают разработчики unix-a?
split можно делать "виртуально", так сказать "в уме". Например, вот так:
file:"par_gzip"
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
#!/usr/bin/perl -w
#       Author: avb1003 from www.sql.ru
#       NO WARRANTY OF  ANY KIND      !
#       TRY BEFORE USE                  !
use integer;
$Usage_string="Usage: $0 <file_to_gzip> <n_parts> [block_size]\n".
        "\t(n_parts<=26)\n";
@ARGV >=  2  or die $Usage_string;
my($file,$n,$block_size)=@ARGV;
$n<= 26  or die $Usage_string;
$size = -s $file;
$block_size ||=  512 ;
$part_size = (($size- 1 )/$block_size)/$n+ 1 ;
for ( $start= 0 , $part_name="a", $i= 1 ; $i <= $n; $i++) {
    $dd_cmd = "dd if=$file skip=$start ibs=$block_size";
    $dd_cmd .= "  count=$part_size" if $i < $n;
    $gzip_cmd = "gzip -c > $file.$part_name.gz";
    print("$dd_cmd|$gzip_cmd&\n");
    system("$dd_cmd|$gzip_cmd&");
    $start += $part_size;
    $part_name++;
}


Восстановиться можно будет(правда, только последовательно) с помощью
чего-то вроде:
file: "par_ungzip"
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
#!/usr/bin/perl -w
#       Author: avb1003 from www.sql.ru
#       NO WARRANTY OF ANY KIND         !
#       TRY BEFORE USE                  !
@ARGV or die "Usage: $0 <filename> [<restore_file]>\n";
my ($file,$restore_file)=@ARGV;
$restore_file ||= $file;
-s $restore_file && unlink $restore_file;
while ($next = <${file}.*.gz>) {
    $restore_cmd = "gzip -dc $next >> $restore_file";
    print("$restore_cmd\n");
    system("gzip -dc $next >> $restore_file");
}

...
Рейтинг: 0 / 0
19.06.2008, 09:12:24
    #35381700
unixman
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
Relic Hunter unixmanЧто за дамп? Exp? Версия БД? oracle 10.2.0.2 export file unixmanМожет вам стратегию резервирования пересмотреть?Логицкий бекап, какие тут варианты? Аж интересно стало :)

RMAN, бэкап с опцией "as compressed backupset database", параллельно в несколько каналов.
...
Рейтинг: 0 / 0
19.06.2008, 09:19:43
    #35381712
unixman
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
Вот нашёл записи как сжимались у меня пара файлов.
автор-- file01.dbf
-- Размер файла данных 2431M
-- Размер файла бэкапа 258M, что составляет 10,61%
-- Время резервирования 3мин36 секунд (11.25Mb/s)


-- file02.dbf
-- Размер файла данных 15.63G
-- Размер файла бэкапа 3.4G, что составляет 21.75%
-- Время резервирования 1887 секунд (8,47Mb/s)
...
Рейтинг: 0 / 0
19.06.2008, 20:56:51
    #35383838
Relic Hunter
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
Спасибо за советы.
Остановился на создании многотомного архива с параллельным запуском gzip по томам. Скорость жмакания возросла (~15 раз).
...
Рейтинг: 0 / 0
20.06.2008, 09:08:21
    #35384157
unixman
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
очень жаль
...
Рейтинг: 0 / 0
20.06.2008, 09:16:46
    #35384169
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
unixmanочень жальне жалейте, ему просто нужен логический бекап, я думаю физ-й у него тоже есть.
...
Рейтинг: 0 / 0
20.06.2008, 09:17:50
    #35384171
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
Журавлев Денис unixmanочень жальне жалейте, ему просто нужен логический бекап, я думаю физ-й у него тоже есть.Томкайт неоднократно разжевывал почему надо и то и это и он прав.
...
Рейтинг: 0 / 0
20.06.2008, 09:47:21
    #35384219
unixman
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
Журавлев Денис Журавлев Денис unixmanочень жальне жалейте, ему просто нужен логический бекап, я думаю физ-й у него тоже есть.Томкайт неоднократно разжевывал почему надо и то и это и он прав.

А что такое логический бэкап?

Я например точно помню, что Кайт писал, что exp/imp давно уже не является(и не должно) средством резервирования.
...
Рейтинг: 0 / 0
20.06.2008, 09:58:36
    #35384265
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
unixmanА что такое логический бэкап?это exp

unixmanЯ например точно помню, что Кайт писал, что exp/imp давно уже не является(и не должно) средством резервирования.да, и еще он писал что exp необходимо делать регулярно, этим убиваются множество зайцев. Я делаю и то и это.
...
Рейтинг: 0 / 0
20.06.2008, 10:13:58
    #35384302
unixman
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
Где это он писал, в книгах, в инете? В инете - неповерю, мало кто там пишет под именем Кайта. На книгу ссылку желательно.
...
Рейтинг: 0 / 0
20.06.2008, 10:33:54
    #35384359
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
unixmanГде это он писал, в книгах, в инете? В инете - неповерю, мало кто там пишет под именем Кайта. На книгу ссылку желательно. 8-я глава
Когда могут пригодиться утилиты IMP и ЕХР?
Выявление повреждений
Я использую утилиту ЕХР в качестве средства для выявления повреждений базы дан­ных, физических или логических. Если с помощью утилиты ЕХР выполнить полное экспортирование базы данных, она проверит весь словарь данных и найдет в нем любую логическую несогласованность. Кроме того, она полностью просмотрит каждую табли­цу в базе данных, читая все строки. Если имеется таблица со сбойным блоком, этот блок будет найден. Утилита не выявляет определенные типы лошческих повреждений, на­пример индекс, указывающий на несуществующие строки, поскольку просто просмат­ривает таблицы, но обнаружит наиболее существенные ошибки (индекс всегда можно пересоздать, а вот пересоздание таблицы иногда невозможно).
.........
...
Рейтинг: 0 / 0
20.06.2008, 10:49:55
    #35384414
unixman
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
У rman-а есть для команды backup есть фраза validate и check logical:
авторCHECK LOGICAL
Tests data and index blocks that pass physical corruption checks for logical corruption, for example, corruption of a row piece or index entry. If RMAN finds logical corruption, then it logs the block in the alert.log and server session trace file.

If the sum of physical and logical corruptions detected for a file remain below its MAXCORRUPT setting, then the RMAN command completes and Oracle populates V$DATABASE_BLOCK_CORRUPTION with corrupt block ranges. If MAXCORRUPT is exceeded, then the command terminates without populating the views.

авторVALIDATE
Causes RMAN to scan the specified files and verify their contents. RMAN creates no output files. Use this command periodically to check for physical and logical errors in database files.


Когда rman делает бэкап, он выявляет все корапптед блоки.
...
Рейтинг: 0 / 0
20.06.2008, 10:53:48
    #35384427
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
unixmanУ rman-а есть для команды backup есть фраза validate и check logical:

Когда rman делает бэкап, он выявляет все корапптед блоки.Это называется гляжу в книгу вижу фигу.
Спросите в конфе по ораклу зачем на делать регулярный exp.
...
Рейтинг: 0 / 0
20.06.2008, 10:58:10
    #35384445
unixman
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
Журавлев Денис unixmanУ rman-а есть для команды backup есть фраза validate и check logical:

Когда rman делает бэкап, он выявляет все корапптед блоки.Это называется гляжу в книгу вижу фигу.
Спросите в конфе по ораклу зачем на делать регулярный exp.

Что конкретно тебе не понравилось в моём ответе и того что нет в твоей аргументации?
...
Рейтинг: 0 / 0
20.06.2008, 11:07:39
    #35384477
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
unixmanЧто конкретно тебе не понравилось в моём ответе и того что нет в твоей аргументации?Во первых вы просили ссылку на книгу тогозмея, я ее дал, и кстати я дал маленький кусочек, там еще койчеесть. Так что давайте рассказывайте что тотзмей этого не писал.
Во вторых словарь .
...
Рейтинг: 0 / 0
20.06.2008, 11:25:39
    #35384532
unixman
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
Журавлев Денис unixmanЧто конкретно тебе не понравилось в моём ответе и того что нет в твоей аргументации?Во первых вы просили ссылку на книгу тогозмея, я ее дал, и кстати я дал маленький кусочек, там еще койчеесть. Так что давайте рассказывайте что тотзмей этого не писал.
Во вторых словарь .

для того чтобы проверить целостность словаря данных необязательно делать полный экспорт - для этого есть другие способы менее ресурсоёмкие.

То что Кайт писал в книге - он ещё ориентировался на версии 8,8i - когда он писал всё это. Книги отстают от жизни.

Вывод:
exp/imp - не является современным средством резервирования.
...
Рейтинг: 0 / 0
20.06.2008, 11:51:45
    #35384598
SSukholet
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
On Fri, 20 Jun 2008 16:25:39 +0800, unixman <nospam@sql.ru>; wrote:

> То что Кайт писал в книге - он ещё ориентировался на версии 8,8i - когда
> он писал всё это. Книги отстают от жизни.
>
> Вывод:
> exp/imp - не является современным средством резервирования.
ясен пень, теперь есть expdp ;-)



А серьёзно - я думаю что было бы ОЧЕНЬ интересно взглянуть на процентное
распределение используемых сейчас production БД по версиям...


--
Остаюсь искренне Ваш,
Станислав Сухолёт
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
20.06.2008, 11:59:00
    #35384617
Журавлев Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Parallel gzip
SSukholet
А серьёзно - я думаю что было бы ОЧЕНЬ интересно взглянуть на процентное
распределение используемых сейчас production БД по версиям...
у меня
10 - 1 (тестирую первый филиал банка)
9 - ~60 (остальные филиалы)
8 - 2 (пластик)
...
Рейтинг: 0 / 0
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Parallel gzip / 25 сообщений из 25, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]