|
|
|
Переливка данных с ограничением нагрузки на БД
|
|||
|---|---|---|---|
|
#18+
Проходил мимо - может я недопонял, но мне показалось что как раз не будет по одной строке в каждый день года. там условие отбора стоит - по последним дням, за неделю. т.е. похоже на переливание в архив, некоего прошлого куска. но тогда не очень понятно, почему сразу не писать все в архив, зачем первая часть? ну зачем-то. В оптимизации (у меня) часто оптимизировал то, что нужно было целиком удалить или по другому сделать ((((( ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.02.2016, 18:52 |
|
||
|
Переливка данных с ограничением нагрузки на БД
|
|||
|---|---|---|---|
|
#18+
Хочу продолжить тему... т.к. она скоро станет для меня очень актуальной. И так. скоро предстоит загрузка данных на боевой сервер. И на нем вертится БД, с которой работают много пользователей. Загрузка будет длительной. Но радует что она разовая. Надо чтобы пользователям она не мешала работать. И вроде удачно посмотреть в сторону Resource Manager и просто зарезать пользователю CPU. Но настораживает что в оракл Oracle... при неиспользовании ресурсов текущими группами, их мощности переходят в другие группы... А так же операции IO Leonid KudryavtsevResource Manager достаточно плохо управляется с IO....Это очень настораживает... Будет идти какой-нибудь Код: plsql 1. на долгое время, захватив ресурсы пока никто не работает и пока он не закончится, он их не отдаст. Только после окончания операции, оракл начнет у пользователя отнимать ресурсы. Или я неправ ? Посоветуйте. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.01.2017, 07:46 |
|
||
|
Переливка данных с ограничением нагрузки на БД
|
|||
|---|---|---|---|
|
#18+
Владимир САНадо чтобы пользователям она не мешала работать.В ночную. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.01.2017, 07:48 |
|
||
|
Переливка данных с ограничением нагрузки на БД
|
|||
|---|---|---|---|
|
#18+
ElicВладимир САНадо чтобы пользователям она не мешала работать.В ночную.Тут загрузчик будет работать несколько дней (около 3)... Понятно что загрузчик грузит во многие таблицы... и как бы будет перерыв между командами INSERT UPDATE ... Но настораживает.. Как выкручиваться... Данных очень много. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.01.2017, 07:50 |
|
||
|
Переливка данных с ограничением нагрузки на БД
|
|||
|---|---|---|---|
|
#18+
Точнее у загрузчика не только эти команды... там очень сложный алгоритм анализа данных... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.01.2017, 07:51 |
|
||
|
Переливка данных с ограничением нагрузки на БД
|
|||
|---|---|---|---|
|
#18+
Владимир САТут загрузчик будет работать несколько дней (около 3)...И в выходные. Или использовать другой "загрузчик" (не тормоз) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.01.2017, 07:57 |
|
||
|
Переливка данных с ограничением нагрузки на БД
|
|||
|---|---|---|---|
|
#18+
ElicВладимир САТут загрузчик будет работать несколько дней (около 3)...И в выходные. Или использовать другой "загрузчик" (не тормоз)В выходные тоже могут работать... А что такое использовать другой "загрузчик" ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.01.2017, 08:00 |
|
||
|
Переливка данных с ограничением нагрузки на БД
|
|||
|---|---|---|---|
|
#18+
Извиняюсь... "другой", т.е. чтобы он прекращал работать в рабочее время... Надо это продумать... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.01.2017, 08:02 |
|
||
|
Переливка данных с ограничением нагрузки на БД
|
|||
|---|---|---|---|
|
#18+
Может кто-то уменьшал не только ресурсы по CPU, а какие-то другие ресурсы для пользователя ? Т.е. к чему я... уменьшить CPU, еще что-то... и пойдет... Ни у кого опыта НЕТ ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.01.2017, 08:30 |
|
||
|
Переливка данных с ограничением нагрузки на БД
|
|||
|---|---|---|---|
|
#18+
Владимир СА, Анализ данных происходит на ресурсах загрузчика или субд? Если на уровне загрузчика, то нагрузка на базу и так не должна большой. Если на уровне субд, то разделить эти этапы, вначале загрузить данные, потом делать обработку. Можно каждую часть обработки поделить на потоки и запустить несколькими джобами, уменьшать количество потоков, когда пользователей больше работает, а в свободное время увеличивать. И, конечно, нагрузку мониторить, выставить алерты на комфортный уровень. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.01.2017, 17:16 |
|
||
|
|
start [/forum/topic.php?fid=52&msg=39383715&tid=1886656]: |
0ms |
get settings: |
8ms |
get forum list: |
18ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
34ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
63ms |
get tp. blocked users: |
2ms |
| others: | 218ms |
| total: | 366ms |
| 0 / 0 |
