powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Parallel gzip
25 сообщений из 25, страница 1 из 1
Parallel gzip
    #35378700
Фотография Relic Hunter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Привет комьюнити!

Можно както убыстрить сжимание gzip-ом или другой утилитой - не важно? Вообщем жмакаем дамп файл Оракл по-ночам и длиццо это дело 2,5 часа. На машине 24 проца, но используется всего один-то. Общий ципию юсыдж в это врема гдето ~4%. Как заюзать больше?
...
Рейтинг: 0 / 0
Parallel gzip
    #35378797
Dkfl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pbzip2 - parallel bzip2 file compressor

AUTHOR
Jeff Gilchrist

http://compression.ca
...
Рейтинг: 0 / 0
Parallel gzip
    #35378888
unixman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Что за дамп? Exp? Версия БД? Может вам стратегию резервирования пересмотреть?
...
Рейтинг: 0 / 0
Parallel gzip
    #35378995
Фотография Scott Tiger
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
split-нуть его и по частям параллельно...
...
Рейтинг: 0 / 0
Parallel gzip
    #35381452
Фотография Relic Hunter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
unixmanЧто за дамп? Exp? Версия БД? oracle 10.2.0.2 export file unixmanМожет вам стратегию резервирования пересмотреть?Логицкий бекап, какие тут варианты? Аж интересно стало :)
...
Рейтинг: 0 / 0
Parallel gzip
    #35381474
Фотография Relic Hunter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Scott Tigersplit-нуть его и по частям параллельно...split тоже ведь команда по времени не детская на больших гигабайтах :) И опять-же не паралелится. Интересно о чём думают разработчики unix-a?
...
Рейтинг: 0 / 0
Parallel gzip
    #35381479
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а нельзя сразу делать несколько дампов, а не один?
...
Рейтинг: 0 / 0
Parallel gzip
    #35381599
avb1003
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Relic Hunter Scott Tigersplit-нуть его и по частям параллельно...split тоже ведь команда по времени не детская на больших гигабайтах :) И опять-же не паралелится. Интересно о чём думают разработчики unix-a?
split можно делать "виртуально", так сказать "в уме". Например, вот так:
file:"par_gzip"
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
#!/usr/bin/perl -w
#       Author: avb1003 from www.sql.ru
#       NO WARRANTY OF  ANY KIND      !
#       TRY BEFORE USE                  !
use integer;
$Usage_string="Usage: $0 <file_to_gzip> <n_parts> [block_size]\n".
        "\t(n_parts<=26)\n";
@ARGV >=  2  or die $Usage_string;
my($file,$n,$block_size)=@ARGV;
$n<= 26  or die $Usage_string;
$size = -s $file;
$block_size ||=  512 ;
$part_size = (($size- 1 )/$block_size)/$n+ 1 ;
for ( $start= 0 , $part_name="a", $i= 1 ; $i <= $n; $i++) {
    $dd_cmd = "dd if=$file skip=$start ibs=$block_size";
    $dd_cmd .= "  count=$part_size" if $i < $n;
    $gzip_cmd = "gzip -c > $file.$part_name.gz";
    print("$dd_cmd|$gzip_cmd&\n");
    system("$dd_cmd|$gzip_cmd&");
    $start += $part_size;
    $part_name++;
}


Восстановиться можно будет(правда, только последовательно) с помощью
чего-то вроде:
file: "par_ungzip"
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
#!/usr/bin/perl -w
#       Author: avb1003 from www.sql.ru
#       NO WARRANTY OF ANY KIND         !
#       TRY BEFORE USE                  !
@ARGV or die "Usage: $0 <filename> [<restore_file]>\n";
my ($file,$restore_file)=@ARGV;
$restore_file ||= $file;
-s $restore_file && unlink $restore_file;
while ($next = <${file}.*.gz>) {
    $restore_cmd = "gzip -dc $next >> $restore_file";
    print("$restore_cmd\n");
    system("gzip -dc $next >> $restore_file");
}

...
Рейтинг: 0 / 0
Parallel gzip
    #35381700
unixman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Relic Hunter unixmanЧто за дамп? Exp? Версия БД? oracle 10.2.0.2 export file unixmanМожет вам стратегию резервирования пересмотреть?Логицкий бекап, какие тут варианты? Аж интересно стало :)

RMAN, бэкап с опцией "as compressed backupset database", параллельно в несколько каналов.
...
Рейтинг: 0 / 0
Parallel gzip
    #35381712
unixman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Вот нашёл записи как сжимались у меня пара файлов.
автор-- file01.dbf
-- Размер файла данных 2431M
-- Размер файла бэкапа 258M, что составляет 10,61%
-- Время резервирования 3мин36 секунд (11.25Mb/s)


-- file02.dbf
-- Размер файла данных 15.63G
-- Размер файла бэкапа 3.4G, что составляет 21.75%
-- Время резервирования 1887 секунд (8,47Mb/s)
...
Рейтинг: 0 / 0
Parallel gzip
    #35383838
Фотография Relic Hunter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Спасибо за советы.
Остановился на создании многотомного архива с параллельным запуском gzip по томам. Скорость жмакания возросла (~15 раз).
...
Рейтинг: 0 / 0
Parallel gzip
    #35384157
unixman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
очень жаль
...
Рейтинг: 0 / 0
Parallel gzip
    #35384169
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
unixmanочень жальне жалейте, ему просто нужен логический бекап, я думаю физ-й у него тоже есть.
...
Рейтинг: 0 / 0
Parallel gzip
    #35384171
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Журавлев Денис unixmanочень жальне жалейте, ему просто нужен логический бекап, я думаю физ-й у него тоже есть.Томкайт неоднократно разжевывал почему надо и то и это и он прав.
...
Рейтинг: 0 / 0
Parallel gzip
    #35384219
unixman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Журавлев Денис Журавлев Денис unixmanочень жальне жалейте, ему просто нужен логический бекап, я думаю физ-й у него тоже есть.Томкайт неоднократно разжевывал почему надо и то и это и он прав.

А что такое логический бэкап?

Я например точно помню, что Кайт писал, что exp/imp давно уже не является(и не должно) средством резервирования.
...
Рейтинг: 0 / 0
Parallel gzip
    #35384265
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
unixmanА что такое логический бэкап?это exp

unixmanЯ например точно помню, что Кайт писал, что exp/imp давно уже не является(и не должно) средством резервирования.да, и еще он писал что exp необходимо делать регулярно, этим убиваются множество зайцев. Я делаю и то и это.
...
Рейтинг: 0 / 0
Parallel gzip
    #35384302
unixman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Где это он писал, в книгах, в инете? В инете - неповерю, мало кто там пишет под именем Кайта. На книгу ссылку желательно.
...
Рейтинг: 0 / 0
Parallel gzip
    #35384359
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
unixmanГде это он писал, в книгах, в инете? В инете - неповерю, мало кто там пишет под именем Кайта. На книгу ссылку желательно. 8-я глава
Когда могут пригодиться утилиты IMP и ЕХР?
Выявление повреждений
Я использую утилиту ЕХР в качестве средства для выявления повреждений базы дан­ных, физических или логических. Если с помощью утилиты ЕХР выполнить полное экспортирование базы данных, она проверит весь словарь данных и найдет в нем любую логическую несогласованность. Кроме того, она полностью просмотрит каждую табли­цу в базе данных, читая все строки. Если имеется таблица со сбойным блоком, этот блок будет найден. Утилита не выявляет определенные типы лошческих повреждений, на­пример индекс, указывающий на несуществующие строки, поскольку просто просмат­ривает таблицы, но обнаружит наиболее существенные ошибки (индекс всегда можно пересоздать, а вот пересоздание таблицы иногда невозможно).
.........
...
Рейтинг: 0 / 0
Parallel gzip
    #35384414
unixman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
У rman-а есть для команды backup есть фраза validate и check logical:
авторCHECK LOGICAL
Tests data and index blocks that pass physical corruption checks for logical corruption, for example, corruption of a row piece or index entry. If RMAN finds logical corruption, then it logs the block in the alert.log and server session trace file.

If the sum of physical and logical corruptions detected for a file remain below its MAXCORRUPT setting, then the RMAN command completes and Oracle populates V$DATABASE_BLOCK_CORRUPTION with corrupt block ranges. If MAXCORRUPT is exceeded, then the command terminates without populating the views.

авторVALIDATE
Causes RMAN to scan the specified files and verify their contents. RMAN creates no output files. Use this command periodically to check for physical and logical errors in database files.


Когда rman делает бэкап, он выявляет все корапптед блоки.
...
Рейтинг: 0 / 0
Parallel gzip
    #35384427
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
unixmanУ rman-а есть для команды backup есть фраза validate и check logical:

Когда rman делает бэкап, он выявляет все корапптед блоки.Это называется гляжу в книгу вижу фигу.
Спросите в конфе по ораклу зачем на делать регулярный exp.
...
Рейтинг: 0 / 0
Parallel gzip
    #35384445
unixman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Журавлев Денис unixmanУ rman-а есть для команды backup есть фраза validate и check logical:

Когда rman делает бэкап, он выявляет все корапптед блоки.Это называется гляжу в книгу вижу фигу.
Спросите в конфе по ораклу зачем на делать регулярный exp.

Что конкретно тебе не понравилось в моём ответе и того что нет в твоей аргументации?
...
Рейтинг: 0 / 0
Parallel gzip
    #35384477
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
unixmanЧто конкретно тебе не понравилось в моём ответе и того что нет в твоей аргументации?Во первых вы просили ссылку на книгу тогозмея, я ее дал, и кстати я дал маленький кусочек, там еще койчеесть. Так что давайте рассказывайте что тотзмей этого не писал.
Во вторых словарь .
...
Рейтинг: 0 / 0
Parallel gzip
    #35384532
unixman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Журавлев Денис unixmanЧто конкретно тебе не понравилось в моём ответе и того что нет в твоей аргументации?Во первых вы просили ссылку на книгу тогозмея, я ее дал, и кстати я дал маленький кусочек, там еще койчеесть. Так что давайте рассказывайте что тотзмей этого не писал.
Во вторых словарь .

для того чтобы проверить целостность словаря данных необязательно делать полный экспорт - для этого есть другие способы менее ресурсоёмкие.

То что Кайт писал в книге - он ещё ориентировался на версии 8,8i - когда он писал всё это. Книги отстают от жизни.

Вывод:
exp/imp - не является современным средством резервирования.
...
Рейтинг: 0 / 0
Parallel gzip
    #35384598
SSukholet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
On Fri, 20 Jun 2008 16:25:39 +0800, unixman <nospam@sql.ru>; wrote:

> То что Кайт писал в книге - он ещё ориентировался на версии 8,8i - когда
> он писал всё это. Книги отстают от жизни.
>
> Вывод:
> exp/imp - не является современным средством резервирования.
ясен пень, теперь есть expdp ;-)



А серьёзно - я думаю что было бы ОЧЕНЬ интересно взглянуть на процентное
распределение используемых сейчас production БД по версиям...


--
Остаюсь искренне Ваш,
Станислав Сухолёт
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
Parallel gzip
    #35384617
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SSukholet
А серьёзно - я думаю что было бы ОЧЕНЬ интересно взглянуть на процентное
распределение используемых сейчас production БД по версиям...
у меня
10 - 1 (тестирую первый филиал банка)
9 - ~60 (остальные филиалы)
8 - 2 (пластик)
...
Рейтинг: 0 / 0
25 сообщений из 25, страница 1 из 1
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Parallel gzip
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]