|
|
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
Привет комьюнити! Можно както убыстрить сжимание gzip-ом или другой утилитой - не важно? Вообщем жмакаем дамп файл Оракл по-ночам и длиццо это дело 2,5 часа. На машине 24 проца, но используется всего один-то. Общий ципию юсыдж в это врема гдето ~4%. Как заюзать больше? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.06.2008, 00:49:05 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
pbzip2 - parallel bzip2 file compressor AUTHOR Jeff Gilchrist http://compression.ca ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.06.2008, 06:48:56 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
Что за дамп? Exp? Версия БД? Может вам стратегию резервирования пересмотреть? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.06.2008, 09:12:37 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
split-нуть его и по частям параллельно... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.06.2008, 10:00:41 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
unixmanЧто за дамп? Exp? Версия БД? oracle 10.2.0.2 export file unixmanМожет вам стратегию резервирования пересмотреть?Логицкий бекап, какие тут варианты? Аж интересно стало :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.06.2008, 23:13:47 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
Scott Tigersplit-нуть его и по частям параллельно...split тоже ведь команда по времени не детская на больших гигабайтах :) И опять-же не паралелится. Интересно о чём думают разработчики unix-a? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.06.2008, 00:03:39 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
а нельзя сразу делать несколько дампов, а не один? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.06.2008, 00:13:40 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
Relic Hunter Scott Tigersplit-нуть его и по частям параллельно...split тоже ведь команда по времени не детская на больших гигабайтах :) И опять-же не паралелится. Интересно о чём думают разработчики unix-a? split можно делать "виртуально", так сказать "в уме". Например, вот так: file:"par_gzip" Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. Восстановиться можно будет(правда, только последовательно) с помощью чего-то вроде: file: "par_ungzip" Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.06.2008, 07:26:32 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
Relic Hunter unixmanЧто за дамп? Exp? Версия БД? oracle 10.2.0.2 export file unixmanМожет вам стратегию резервирования пересмотреть?Логицкий бекап, какие тут варианты? Аж интересно стало :) RMAN, бэкап с опцией "as compressed backupset database", параллельно в несколько каналов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.06.2008, 09:12:24 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
Вот нашёл записи как сжимались у меня пара файлов. автор-- file01.dbf -- Размер файла данных 2431M -- Размер файла бэкапа 258M, что составляет 10,61% -- Время резервирования 3мин36 секунд (11.25Mb/s) -- file02.dbf -- Размер файла данных 15.63G -- Размер файла бэкапа 3.4G, что составляет 21.75% -- Время резервирования 1887 секунд (8,47Mb/s) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.06.2008, 09:19:43 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
Спасибо за советы. Остановился на создании многотомного архива с параллельным запуском gzip по томам. Скорость жмакания возросла (~15 раз). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.06.2008, 20:56:51 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
unixmanочень жальне жалейте, ему просто нужен логический бекап, я думаю физ-й у него тоже есть. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.06.2008, 09:16:46 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
Журавлев Денис unixmanочень жальне жалейте, ему просто нужен логический бекап, я думаю физ-й у него тоже есть.Томкайт неоднократно разжевывал почему надо и то и это и он прав. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.06.2008, 09:17:50 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
Журавлев Денис Журавлев Денис unixmanочень жальне жалейте, ему просто нужен логический бекап, я думаю физ-й у него тоже есть.Томкайт неоднократно разжевывал почему надо и то и это и он прав. А что такое логический бэкап? Я например точно помню, что Кайт писал, что exp/imp давно уже не является(и не должно) средством резервирования. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.06.2008, 09:47:21 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
unixmanА что такое логический бэкап?это exp unixmanЯ например точно помню, что Кайт писал, что exp/imp давно уже не является(и не должно) средством резервирования.да, и еще он писал что exp необходимо делать регулярно, этим убиваются множество зайцев. Я делаю и то и это. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.06.2008, 09:58:36 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
Где это он писал, в книгах, в инете? В инете - неповерю, мало кто там пишет под именем Кайта. На книгу ссылку желательно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.06.2008, 10:13:58 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
unixmanГде это он писал, в книгах, в инете? В инете - неповерю, мало кто там пишет под именем Кайта. На книгу ссылку желательно. 8-я глава Когда могут пригодиться утилиты IMP и ЕХР? Выявление повреждений Я использую утилиту ЕХР в качестве средства для выявления повреждений базы данных, физических или логических. Если с помощью утилиты ЕХР выполнить полное экспортирование базы данных, она проверит весь словарь данных и найдет в нем любую логическую несогласованность. Кроме того, она полностью просмотрит каждую таблицу в базе данных, читая все строки. Если имеется таблица со сбойным блоком, этот блок будет найден. Утилита не выявляет определенные типы лошческих повреждений, например индекс, указывающий на несуществующие строки, поскольку просто просматривает таблицы, но обнаружит наиболее существенные ошибки (индекс всегда можно пересоздать, а вот пересоздание таблицы иногда невозможно). ......... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.06.2008, 10:33:54 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
У rman-а есть для команды backup есть фраза validate и check logical: авторCHECK LOGICAL Tests data and index blocks that pass physical corruption checks for logical corruption, for example, corruption of a row piece or index entry. If RMAN finds logical corruption, then it logs the block in the alert.log and server session trace file. If the sum of physical and logical corruptions detected for a file remain below its MAXCORRUPT setting, then the RMAN command completes and Oracle populates V$DATABASE_BLOCK_CORRUPTION with corrupt block ranges. If MAXCORRUPT is exceeded, then the command terminates without populating the views. авторVALIDATE Causes RMAN to scan the specified files and verify their contents. RMAN creates no output files. Use this command periodically to check for physical and logical errors in database files. Когда rman делает бэкап, он выявляет все корапптед блоки. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.06.2008, 10:49:55 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
unixmanУ rman-а есть для команды backup есть фраза validate и check logical: Когда rman делает бэкап, он выявляет все корапптед блоки.Это называется гляжу в книгу вижу фигу. Спросите в конфе по ораклу зачем на делать регулярный exp. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.06.2008, 10:53:48 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
Журавлев Денис unixmanУ rman-а есть для команды backup есть фраза validate и check logical: Когда rman делает бэкап, он выявляет все корапптед блоки.Это называется гляжу в книгу вижу фигу. Спросите в конфе по ораклу зачем на делать регулярный exp. Что конкретно тебе не понравилось в моём ответе и того что нет в твоей аргументации? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.06.2008, 10:58:10 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
unixmanЧто конкретно тебе не понравилось в моём ответе и того что нет в твоей аргументации?Во первых вы просили ссылку на книгу тогозмея, я ее дал, и кстати я дал маленький кусочек, там еще койчеесть. Так что давайте рассказывайте что тотзмей этого не писал. Во вторых словарь . ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.06.2008, 11:07:39 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
Журавлев Денис unixmanЧто конкретно тебе не понравилось в моём ответе и того что нет в твоей аргументации?Во первых вы просили ссылку на книгу тогозмея, я ее дал, и кстати я дал маленький кусочек, там еще койчеесть. Так что давайте рассказывайте что тотзмей этого не писал. Во вторых словарь . для того чтобы проверить целостность словаря данных необязательно делать полный экспорт - для этого есть другие способы менее ресурсоёмкие. То что Кайт писал в книге - он ещё ориентировался на версии 8,8i - когда он писал всё это. Книги отстают от жизни. Вывод: exp/imp - не является современным средством резервирования. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.06.2008, 11:25:39 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
On Fri, 20 Jun 2008 16:25:39 +0800, unixman <nospam@sql.ru> wrote: > То что Кайт писал в книге - он ещё ориентировался на версии 8,8i - когда > он писал всё это. Книги отстают от жизни. > > Вывод: > exp/imp - не является современным средством резервирования. ясен пень, теперь есть expdp ;-) А серьёзно - я думаю что было бы ОЧЕНЬ интересно взглянуть на процентное распределение используемых сейчас production БД по версиям... -- Остаюсь искренне Ваш, Станислав Сухолёт Posted via ActualForum NNTP Server 1.4 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.06.2008, 11:51:45 |
|
||
|
Parallel gzip
|
|||
|---|---|---|---|
|
#18+
SSukholet А серьёзно - я думаю что было бы ОЧЕНЬ интересно взглянуть на процентное распределение используемых сейчас production БД по версиям... у меня 10 - 1 (тестирую первый филиал банка) 9 - ~60 (остальные филиалы) 8 - 2 (пластик) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.06.2008, 11:59:00 |
|
||
|
|

start [/forum/topic.php?fid=25&fpage=148&tid=1486791]: |
0ms |
get settings: |
8ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
29ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
49ms |
get tp. blocked users: |
1ms |
| others: | 212ms |
| total: | 329ms |

| 0 / 0 |
