ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Размышление: управление большими схемами данных
14 сообщений из 14, страница 1 из 1
Размышление: управление большими схемами данных
    #38786750
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
Добрый день!

Есть необходимость работать в оракле (и только там) с большим объёмом данных. Для данного сервера большим. Т.е. создание индекса- проблема, заливка данных- проблема, лишний FK или даже PK - тоже проблема.

В принципе есть общепринятый liquibase. Но... Когда надо сначала создать таблицы без индексов вообще, потом залить данные (сутки-двое), потом по-одному строить индексы (в итоге ещё сутки минимум), изначально спросив разрешение админов- тут liquibase немного не в тему.

Но хочется иметь всё же описание схемы.

Получается, что только включать в resources скрипты вида "create_фдд_table.sql", "create_index_on_XXX.sql" и т.п.?

--
Алексей.
...
Рейтинг: 0 / 0
24.10.2014, 15:29
| Ответить | Цитировать | Написать  
Размышление: управление большими схемами данных
    #38786760
Фотография Blazkowicz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Blazkowicz
Участник
Alexey TominПолучается, что только включать в resources скрипты вида "create_фдд_table.sql", "create_index_on_XXX.sql" и т.п.?

http://flywaydb.org/
...
Рейтинг: 0 / 0
24.10.2014, 15:35
| Ответить | Цитировать | Написать  
Размышление: управление большими схемами данных
    #38786791
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Если-бы этот топик прозвучал в форуме Oracle там-бы накидали совершенно
других советов. Во первых что мы делаем. 1) Создаём схему с нуля. 2) Мигрируем.
3) Мигрируем с дополнениями. 4) Создаём тестовую. - Могут быть разные ответы.
...
Рейтинг: 0 / 0
24.10.2014, 16:01
| Ответить | Цитировать | Написать  
Размышление: управление большими схемами данных
    #38786799
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
maytonЕсли-бы этот топик прозвучал в форуме Oracle там-бы накидали совершенно
других советов. Во первых что мы делаем. 1) Создаём схему с нуля. 2) Мигрируем.
3) Мигрируем с дополнениями. 4) Создаём тестовую. - Могут быть разные ответы.

Сейчас- создаём. Потом, по мере развития, возможно изменение схемы- тут поле добавить, тут удалить.

Схемы пока две- тестовая и продакшн. Соответственно хочется, чтобы на продакшн всё было 100% повторяемо по отношению к тесту.
...
Рейтинг: 0 / 0
24.10.2014, 16:09
| Ответить | Цитировать | Написать  
Размышление: управление большими схемами данных
    #38786833
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
Alexey Tomin,
когда у заказчика будут данные, то всё через update схема.
Тестовая через дамп.
...
Рейтинг: 0 / 0
24.10.2014, 16:33
| Ответить | Цитировать | Написать  
Размышление: управление большими схемами данных
    #38786866
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Мы делали клон стендбая. Чистили старые partitions из бизнес-фактов. Удаляли
освободившиеся tablespaces (там как раз привязка к истории шла). Меняли некоторые
логины. И всё. Вуаля. Точная копия продуктивной БД. Но раз в 10 меньше.
...
Рейтинг: 0 / 0
24.10.2014, 16:51
| Ответить | Цитировать | Написать  
Размышление: управление большими схемами данных
    #38786880
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
Petro123Alexey Tomin,
когда у заказчика будут данные, то всё через update схема.
Тестовая через дамп.

Ты вообще не понял вопроса :D
...
Рейтинг: 0 / 0
24.10.2014, 16:59
| Ответить | Цитировать | Написать  
Размышление: управление большими схемами данных
    #38787067
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
Alexey Tomin,
скорее ты не понял ответОВ )))
...
Рейтинг: 0 / 0
24.10.2014, 22:00
| Ответить | Цитировать | Написать  
Размышление: управление большими схемами данных
    #38787303
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Есть необходимость работать в оракле (и только там) с большим объёмом данных.


Так это тогда не твоя проблема, а проблема разработчика БД.
А он -- умеет.
...
Рейтинг: 0 / 0
25.10.2014, 19:40
| Ответить | Цитировать | Написать  
Размышление: управление большими схемами данных
    #38787304
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
maytonлогины. И всё. Вуаля. Точная копия продуктивной БД. Но раз в 10 меньше.

Это уже плохо, что в 10 раз меньше.
должна быть такая же.
...
Рейтинг: 0 / 0
25.10.2014, 19:41
| Ответить | Цитировать | Написать  
Размышление: управление большими схемами данных
    #38787306
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Alexey TominPetro123Alexey Tomin,
когда у заказчика будут данные, то всё через update схема.
Тестовая через дамп.

Ты вообще не понял вопроса :D

Ну я тоже не понял вопроса.

в чём собственно проблема ? Если схему надо менять -- её надо менять. Если это надо менять on-linе на системе 24x7x365 -- есть специальные средства, типа Oracle EE, или схема работы master-stand-by. Или пользователям таки придётся обождать.

при чём тут собственно Java ? делать такие вещи из Java как бы не принято. Есть hibernate, и его schema upgfrade, по идее, но я бы ей всё же не доверял на больших системах (на маленьких пробовал -- работает).
...
Рейтинг: 0 / 0
25.10.2014, 19:46
| Ответить | Цитировать | Написать  
Размышление: управление большими схемами данных
    #38787527
Alexey Tomin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Tomin
Участник
MasterZivНу я тоже не понял вопроса.

в чём собственно проблема ?



Я вижу два варианта.
1. Скрипты LB. Минус- например он создаст индексы сразу, а мне их ндо создать после первичной загрузки данных. Да и создание индексов- это двое суток- так долго LB выдержит вообще?

2. Скрипты для плюса. Где для каждого записано, как и когда запускать. Но это лишняя сущность, неуправляемая maven'ом, что нехорошо.

Т.е. вопрос именно "сделать средствами оракла", или "всё-таки внедрить в стандартный процесс". Вопрос не технический- вопрос вкуса и красоты.
...
Рейтинг: 0 / 0
26.10.2014, 12:48
| Ответить | Цитировать | Написать  
Размышление: управление большими схемами данных
    #38787724
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
maytonЕсли-бы этот топик прозвучал в форуме Oracle там-бы накидали совершенно
других советов.
+1 ))
автор(c) Ааз (форум sql.ru - Oracle)
Member
Откуда: Протвино
Сообщений: 4112
===================================================
- Разработчик на своей девелоперской БД (например, очень недавний бэкап промышленной) отладил скрипт.
- DBA на тестовой (куда девелоперам доступа нет) тупо запустил скрипт и проверил отсутствие ошибок.
Запустил туда админа приложения для проверки функционала.
- Запланировали downtime или ограниченную доступность сервисов. DBA подготовил возможность отката (standby с задержкой наката redo подойтёт).
- В момент «Ч» DBA прогнал проверенный скрипт и пустил админа приложения проверить основной функционал.
Если ОК - пущаем в продакшн. Если не Ок, откатываемся на запасные путя и предоставляем начальству удовольствие оттра**** разработчика или администратора приложений (по выбору).
Всего
--
Disclaimer: Opinions are of my own and not necessar[-il]y
...
Рейтинг: 0 / 0
26.10.2014, 21:10
| Ответить | Цитировать | Написать  
Размышление: управление большими схемами данных
    #38787804
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Alexey Tomin,
если этот твой тул не умеет создавать индексы после заливки данных, нафиг он вообще нужен?
...
Рейтинг: 0 / 0
27.10.2014, 05:42
| Ответить | Цитировать | Написать  
14 сообщений из 14, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / Размышление: управление большими схемами данных
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&fpage=155&tid=2126386]:
 0ms
get settings:
 10ms
get forum list:
 15ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 50ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 58ms
get tp. blocked users:
 2ms
others: 209ms
total:  365ms
созд. / загр.: 365ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]