|
|
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
Здравствуйте. Пожалуйста, подскажите, названия каких-нибудь технологий архивации данных БД Oracle (12c), которые просто внедрить, и не трудно сопровождать? Которые можно использовать для архивации данных, при переполнении табличных пространств. Мне для гуглинга. Не откажусь от дельных и внятных рекомендаций. Просьба без хейтинга, я прикладник. Придумываю работу для страдальцев-ДБА ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2017, 17:22 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
У меня вот сейчас аналогичная задача, начал с компрессирования, там, где это осмыслено. Table compress, key compress. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2017, 17:27 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
wolfio, Compress для начала ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2017, 17:27 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
как я понял из описания compression, нужно перезаливать данные из несжатой таблицы/пространства в сжатую? если так, то это довольно дорогой вариант. Вариант с alter compression ..move кажется еще дороже.. какие еще бывают технологии? Подскажите, пожалуйста, сворачивание на ленту части таблицы возможно? если да, то как? (имею ввиду не перенос из большой в пустую лишних данных, а именно ее отрезание какой-нибудь архивирующей технологией) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2017, 17:46 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
к тому же интернет говорит, что загрузка данных в сжатую таблицу замедляется почти в 2 раза. Этот вариант не подходит. Есть еще? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2017, 17:50 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
wolfio, процесс скользящего окна ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2017, 18:05 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
wolfio, вы б для начала своих страдальцев-ДБА спросили, что ли а то пойдете потом лесом со своими нагугленными нововведениями ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2017, 18:05 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
DВА, Я вот своего не спросил. Ворчит. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2017, 18:07 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
AmKad, секционирование с удалением/переносом в другую базу на говнодисках через exchange partition и transportable tablespace ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2017, 18:09 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
Партиционирование - это да, а вот к переносу данных во вновь созданную говнобазу, в которой будут продублированы сущности с точно такой же структурой, к решению проблем с доступа к этим же говноданным при необходимости, я пока не готов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2017, 18:41 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
AmKad, но это проще, чем из бэкапа их тащить :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2017, 18:58 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
нарезатель, И? Ты предлагаешь перепартиционирование. Считаешь, что перекомпрессия принципиально сложнее? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2017, 19:58 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
wolfioкак я понял из описания compression, нужно перезаливать данные из несжатой таблицы/пространства в сжатую? если так, то это довольно дорогой вариант. Вариант с alter compression ..move кажется еще дороже..А тебе самому не кажется абсурдной твоя хотелка, если ты хочешь сжать при этом, чтоб данные остались как есть? wolfioк тому же интернет говорит, что загрузка данных в сжатую таблицу замедляется почти в 2 разаПеречитай интернет еще разок. Вкратце, если таблица сжата, то вновь вставленные данные в conventional insert будут несжатыми, а в direct path insert сжатыми. Скорость может проседать в очень специфических случаях для conventional insert и не в два раза. Иными словами, может получится так что данные в некоторых блоках сегмента сжаты, а в некоторых нет. Крайне прискорбно когда такие "специалисты" еще имеют наглость для кого-то придумывать работу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2017, 20:01 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
dbms_photoshopВкратце, если таблица сжата, то вновь вставленные данные в conventional insert будут несжатыми, а в direct path insert сжатыми. В доке заявлено, что compress for oltp (он же for all operations) в отличие, например, от basic, работает для всех DML операций. В частности, для conventional insert он работает. Тест Код: plsql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96. 97. 98. 99. 100. 101. 102. 103. 104. 105. 106. 107. 108. 109. 110. 111. 112. Исходный код для желающих поиграться Код: plsql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2017, 23:44 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
wolfioкак я понял из описания compression, нужно перезаливать данные из несжатой таблицы/пространства в сжатую? если так, то это довольно дорогой вариант. Вариант с alter compression ..move кажется еще дороже..Move избавляет тебя от необходимости делать drop/create/rename (со всеми вытекающими проблемами доступа к данным) + grant + disable/enable fk + comment. У move конечно тоже есть побочный эффект - инвалидация индексов (для приложения это тоже может пройти с определенными проблемами), а значит появляется необходимость их перестроения. Но раз ты встал на православный путь компрессии, то весомую часть из-них так или иначе имеет смысл rebuild-ить c кляузой compress. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 00:12 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
AmKadтак или иначе имеет смысл rebuild-ить c кляузой compressпо моему скромному опыту для oltp-систем чаще выгоднее включать компрессию только для архивных секций (или делать сплит периодически с компрессией), но индексы не сжимать ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 04:18 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
AmKadимеет смысл rebuild-ить c кляузой compress.я б для начала прошелся по индексам analyze-м (Analyze Index Validate Structure), посмотрел чего оно покажет (select * from index_stats, только нужно помнить, что там храниться всегда одна строка для последнего проанализированного индекса), а уж после бы принимал решение о включении компрессии по тому или иному индексу.... А то может оказаться, что овчинка и выделки-то не стоит... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 04:41 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
dbms_photoshop, простите, что задел ваши чувства гордого администратора. я сам не в восторге, что роюсь в предметной области, в которой ничего не знаю и работать не планирую.. тем не менее проблеме роста базы уже 2 года минуло, а местные "специлисты-ДБА" считают, что это не их работа. компрессия не подходит потому, скорость записи и чтения данных не должна измениться. Задача вообще стоит так - минимизировать рост табличных пространств с индексами, соответственно. При этом хотелось бы просто выдергивать архивные данные, и убирать куданибудь в бэкап, очищая забитую в экстентах память. Кстати, если, допустим, таблица весит 1тб, индекс ну скажем 200гб, то удалив 500гб из таблицы индекс уменьшится сам? или его нужно пересоздавать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 09:15 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
wolfio, Партицировать и перемещать старые партиции. Глобальные индексы перестраивать (rebuild). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 09:29 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
fortnet, мне сказали, что партицирование не подходит как технология, потому что занимает слишком много времени создание партиций с переносом данных. хотя хз конечно, 1 раз перетерпеть можно было бы, но это я так думаю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 09:40 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
wolfio, любая "технология архивирования" для своей первоначальной "инициализации" потребует слишком много времени и ресурсов. потому как данные всё равно придется перемещать, иначе, как уже было замечено, как ты без ворошения данных сделаешь так, чтобы они стали занимать меньше места? ну и поверь уже, компрессия не так уж и сильно скажется на производительности. Скорее всего, её влияния в этом аспекте ты даже и не заметишь... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 09:46 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
wolfiofortnet, мне сказали, что партицирование не подходит как технология, потому что занимает слишком много времени создание партиций с переносом данных. хотя хз конечно, 1 раз перетерпеть можно было бы, но это я так думаю. Нет сомнений в том, что они уже имеют большой опыт в этом. :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 10:27 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
Добрый Э - Эх ну и поверь уже, компрессия не так уж и сильно скажется на производительности. Скорее всего, её влияния в этом аспекте ты даже и не заметишь... enq: TX - allocate ITL entry легко могут приехать, если не позаботиться об этом заранее. К тому же багов полно ещё на компрессии. Например, ALERT Bug 21923026 Corruption during Recovery after upgrading to 12c for Compressed Tables (Doc ID 2058461.1) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 12:44 |
|
||
|
Архивирование данных
|
|||
|---|---|---|---|
|
#18+
wolfio... сворачивание на ленту части таблицы возможно? А вы забумывались про: Какова процедура доступа к данным, которые вы сбрасываете на ленту? Сможете восстановить хотя бы 5-ти летние данные? (старые ленты не всегда читаются) А если у вас не будет совместимого устройства для чтения старых лент? (личный опыт) А если у вас не будет БД Oracle? (например оптимизация и переход на P...sql и т.п.) А если у вас не будет своих спецов, а только аутсорс и на удаленке без физического доступа? и так далее. Если для вас затраты на хранилище в бОльшем приоритете, чем данные, тогда такие "данные" можно удалять. А если данные важнее, тогда и компрессия не страшна. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.03.2017, 15:12 |
|
||
|
|

start [/forum/topic.php?fid=52&msg=39412154&tid=1886345]: |
0ms |
get settings: |
8ms |
get forum list: |
14ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
163ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
64ms |
get tp. blocked users: |
2ms |
| others: | 220ms |
| total: | 486ms |

| 0 / 0 |
