powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Архивирование данных
14 сообщений из 39, страница 2 из 2
Архивирование данных
    #39412509
Фотография DВА
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
wolfiodbms_photoshop,

простите, что задел ваши чувства гордого администратора. я сам не в восторге, что роюсь в предметной области, в которой ничего не знаю и работать не планирую.. тем не менее проблеме роста базы уже 2 года минуло, а местные "специлисты-ДБА" считают, что это не их работа.


Совершенно верно. Это не их работа, а архитектора системы
...
Рейтинг: 0 / 0
Архивирование данных
    #39412511
Фотография DВА
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AmKadDВА,

Я вот своего не спросил. Ворчит.

то что он ворчит, вобщем-то наплевать и забыть, а вот то, что нагугленное решение может в принципе не подходить для данной системы - это уже другой вопрос
...
Рейтинг: 0 / 0
Архивирование данных
    #39412533
Jafa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
wolfiofortnet,
мне сказали, что партицирование не подходит как технология, потому что занимает слишком много времени создание партиций с переносом данных.
хотя хз конечно, 1 раз перетерпеть можно было бы, но это я так думаю.
складывается впечатление, что вы уже и сами не знаете чего хотите. Если у вас непродуманная архитектура бд, то практически любое ее изминение будет болезненым. Если вы больше не хочете раздувать свой hard-массив, то выбирайте партиционирование с замещением старых партиций новыми, темболее что от версии к версии этот механизм совершенствуется, например в версии 12c глобальные индексы уже можно обслуживать аснхронно, а партиции каскадно. Также незабывайте контролировать размеры: temporary space, логов, бэкапов и т.д.
...
Рейтинг: 0 / 0
Архивирование данных
    #39412610
Фотография dbms_photoshop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AmKadВ доке заявлено, что compress for oltp (он же for all operations) в отличие, например, от basic, работает для всех DML операций. В частности, для conventional insert он работает.
Всё верно. Я подразумевал basic.
Если в твоем тесте
1) поменять тип на basic
2) увеличить число строк до 1e6
3) добавить --+ append
то результаты будут такими

Код: plaintext
1.
2.
3.
1000000 rows created.
Elapsed: 00:00:02.51
1000000 rows created.
Elapsed: 00:00:03.23

Код: plaintext
1.
2.
3.
SEGMENT_NAME                   SEGMENT_TYPE            BYTES         MB
------------------------------ ------------------ ---------- ----------
TEST_WITHOUT_COMPRESSION       TABLE               125829120        120
TEST_WITH_COMPRESSION          TABLE                12582912         12

Время примерно одинаковое. Сжатие для этих специфических данных в 10 раз.
При conventional никакого эффекта не будет ни по времени ни по сжатию.

Если вернуться к compress for oltp, то целесообразность подобного компромисса весьма сомнительна
1. Компрессия как правило применяется к архивным данным, а не активным
2. Прирост нагрузки на CPU таким может быть ощутимым
3. При удалениях и последующих вставках ожидаемого сжатия может не быть.
Имеет множество случаев когда работает "весьма странно". В свое время была у меня подборочка, когда анализировали разные типы.
Можно нагуглить много интересного начиная от блога Льюиса и заканчивая этим форумом move compress for oltp .
...
Рейтинг: 0 / 0
Архивирование данных
    #39412615
Q.Tarantino
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
wolfioк тому же интернет говорит, что загрузка данных в сжатую таблицу замедляется почти в 2 раза. Этот вариант не подходит.

Есть еще?
так сперва обычно партицируют исторические данные и потом старые партиции сжимают. на вставку в текущую партицию никак это не влияет.
...
Рейтинг: 0 / 0
Архивирование данных
    #39412633
Фотография dbms_photoshop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
wolfiodbms_photoshop,

простите, что задел ваши чувства гордого администратора. я сам не в восторге, что роюсь в предметной области, в которой ничего не знаю и работать не планирую.. тем не менее проблеме роста базы уже 2 года минуло, а местные "специлисты-ДБА" считают, что это не их работа.


компрессия не подходит потому, скорость записи и чтения данных не должна измениться.
Задача вообще стоит так - минимизировать рост табличных пространств с индексами, соответственно. При этом хотелось бы просто выдергивать архивные данные, и убирать куданибудь в бэкап, очищая забитую в экстентах память.

Кстати, если, допустим, таблица весит 1тб, индекс ну скажем 200гб, то удалив 500гб из таблицы индекс уменьшится сам? или его нужно пересоздавать?Я эникейщик, а не админ, не стоит извинений.
Стоит только больше думать и читать перед тем как писать.

Все твои суждения про целесообразность (или ее отсутствие) выглядят весьма нелепо из-за крайне низкого уровня знаний и соотвественно бестолковых выводов.
Для того, чтоб минимизировать время простоя ты можешь рассмотреть dbms_redefinition, edition based redefinition или просто грамотное планирование действий в окне простоя системы.
Касаемо скорости записи, как уже было сказано, при испольвании basic и секционирования ты добьешься и сжатия архивных данных (не это ли заголовок твоей темы) и неизменную скорость работы с активными данными.
И самое главное, чтоб подумать и предложить что-то дельное не надо быть специалистом с 25 лет опыта Оракла, достаточно почитать доку, блоги, презентации + много экспериментов.
Ты же просто предлагаешь какие-то инициативы имея крайне поверхностное понимание. И одно дело, если б ты просто определил цель, но ты же строишь нелепые концепции и пытаешься указывать другим.
...
Рейтинг: 0 / 0
Архивирование данных
    #39412638
Фотография dbms_photoshop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Kumotoriwolfio... сворачивание на ленту части таблицы возможно?

А вы забумывались про:
Какова процедура доступа к данным, которые вы сбрасываете на ленту?
Сможете восстановить хотя бы 5-ти летние данные? (старые ленты не всегда читаются)
А если у вас не будет совместимого устройства для чтения старых лент? (личный опыт)
А если у вас не будет БД Oracle? (например оптимизация и переход на P...sql и т.п.)
А если у вас не будет своих спецов, а только аутсорс и на удаленке без физического доступа?
и так далее.

Если для вас затраты на хранилище в бОльшем приоритете, чем данные, тогда такие "данные" можно удалять.
А если данные важнее, тогда и компрессия не страшна.Хорошая попытка блеснуть умом, только
Код: plaintext
1.
2.
Retention policy
Compression strategy
Backup schedule
Это три разные вещи.

Часто ты при разработке политики архивирования думаешь, что будет если в будущем не будет Оракл и своих спецов?
Я надеюсь возможный ядерный взрыв тоже учитываешь?
...
Рейтинг: 0 / 0
Архивирование данных
    #39412653
Vint
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dbms_photoshop, немного offtop
вчера вот только в райфе слушал недо_scna, он рассказывал про hadoop и сопутствующие технологии типа oracle big data lite, external tables над hdfs. вот думаю после переезда на 12 попробовать как раз вариант поиграться с вариантами, пока придумал такие:
партицирование и compress данных старше 1 года на некоторых фактических таблицах.
view+ insted of trigger над таблицей с данными за последний год+таблица с историческими данными без индексов
ну и на крайний случай
view+ insted of trigger над таблицей с данными за последний год+external tables над hdfs
скорее всего конечно будет партицирование со сжатием. все таки намного проще реализуемо, но и другие варианты тоже продумываю, еще можешь подкинуть что-то на подумать? данные важны только за текущий год. скорость предыдуших годов не важна. горячие данные только текущий и предыдущий месяц.
...
Рейтинг: 0 / 0
Архивирование данных
    #39412660
fortnet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
wolfiodbms_photoshop,

простите, что задел ваши чувства гордого администратора. я сам не в восторге, что роюсь в предметной области, в которой ничего не знаю и работать не планирую.. тем не менее проблеме роста базы уже 2 года минуло, а местные "специлисты-ДБА" считают, что это не их работа.


А вы на общественных началах, так сказать, пытаетесь решить задачу.
Не стоит делать чужую работу. А вашим специалистам где бы не работать, лишь бы не работать.
...
Рейтинг: 0 / 0
Архивирование данных
    #39412719
Фотография dbms_photoshop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Vintdbms_photoshop, немного offtop
вчера вот только в райфе слушал недо_scna, он рассказывал про hadoop и сопутствующие технологии типа oracle big data lite, external tables над hdfs. вот думаю после переезда на 12 попробовать как раз вариант поиграться с вариантами, пока придумал такие:
партицирование и compress данных старше 1 года на некоторых фактических таблицах.
view+ insted of trigger над таблицей с данными за последний год+таблица с историческими данными без индексов
ну и на крайний случай
view+ insted of trigger над таблицей с данными за последний год+external tables над hdfs
скорее всего конечно будет партицирование со сжатием. все таки намного проще реализуемо, но и другие варианты тоже продумываю, еще можешь подкинуть что-то на подумать? данные важны только за текущий год. скорость предыдуших годов не важна. горячие данные только текущий и предыдущий месяц.
Не очень понял зачем insted of trigger. Для хранилищ должны быть очень серьезные аргументы в пользу такого решения.

Data Offload счас предлагают все кто не лень от Oracle и MSSQL и заканчивая специфическими приблудами типа Gluent Smart Connector от Подера.

Я вижу смысл оффлоадить данные только если можно также оффлоадить не только примитивные фильтры и projection, но и такие операции как групировка и при этом данные нужны в более агрегированном виде чем они хранятся (ну или фильтры хорошо фильтруют данные).
Иначе, по факту, only scanning + selection + projection will be offloaded, после чего здоровенная порция данных будет перекачана из hadoop кластера в Oracle для последующих соединений и прочего.

Ясное дело, о выполнении оракловой специфики типа connect by на стороне hadoop и речи быть не может.
По крайней мере на данном этапе развития технологий.
Хотя работу аналитических функций в ближайшие годы, вероятно, может будет вынести.
Они уже реализованы и в Oracle и в той же Impala, но проблема распределить работу.

Для старта - я рекомендовал бы ознакомиться с презентацией Подера Connecting Hadoop and Oracle , потом углябляться в интересующие моменты.
...
Рейтинг: 0 / 0
Архивирование данных
    #39412770
wolfio
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
dbms_photoshop,

ты бы не воспринимал все так в штыки..
форум вроде как для того и нужен, чтобы по теме общаться, разве нет? мне показалось, что лучше спросить опытных людей, чем читать доку. тем более, что я ограничен временем, а от меня, как от прикладника, не требуется реализация. Требовалась просто идея для обсуждения.

изначально я и спросил ключи для гуглинга.

в любом случае, сейчас вопрос уже не актуален.
...
Рейтинг: 0 / 0
Архивирование данных
    #39412780
Фотография dbms_photoshop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
wolfioмне показалось, что лучше спросить опытных людей, чем читать докуДа, тебе показалось.
...
Рейтинг: 0 / 0
Архивирование данных
    #39412872
drema201
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
dbms_photoshop,

По поводу Gluent
можно еще здесь посмотреть:
https://vimeo.com/196497024
на мой вкус чуть больше деталей.
...
Рейтинг: 0 / 0
Архивирование данных
    #39412968
Vint
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dbms_photoshop,
насчет ограничений sql это то понятно, как и насчет большого объема перекачки в некоторых случаях. просто обдумываю пока направления в которых копать. и смотрю документацию и презенташки. Про подера как раз позавчера слышал, скоро доберусь посмотреть) спасибо.

drema201,
Ну вот, а говорил, что на форуме бывает редко))
...
Рейтинг: 0 / 0
14 сообщений из 39, страница 2 из 2
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Архивирование данных
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]