ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Применить ряд правил из таблицы к одной строке в чистом SQL
15 сообщений из 40, страница 2 из 2
  2  все
Применить ряд правил из таблицы к одной строке в чистом SQL
    #39324561
Фотография dbms_photoshop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dbms_photoshop
Участник
Вячеслав Любомудровdbms_photoshopОракл со своим максимумом 2ГБ на процесс (невероятно что это идиотское ограничение не сняли даже в 12с)Что за ограничение?
Для workarea насколько помню 4Г (по крайней мере перестройка индекса съедает столько), для сессионных переменных -- до 16Г (просто я больше не видел)Вероятно ошибся, sort_area + hash_area в сумме могут достигать 4Гб если каждая по 2.
...
Рейтинг: 0 / 0
11.10.2016, 14:33
| Ответить | Цитировать | Написать  
Применить ряд правил из таблицы к одной строке в чистом SQL
    #39324570
Фотография AlexFF__|
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AlexFF__|
Участник
dbms_photoshopВячеслав Любомудровпропущено...
Что за ограничение?
Для workarea насколько помню 4Г (по крайней мере перестройка индекса съедает столько), для сессионных переменных -- до 16Г (просто я больше не видел)Вероятно ошибся, sort_area + hash_area в сумме могут достигать 4Гб если каждая по 2.
Doc ID 453540.1
...
Рейтинг: 0 / 0
11.10.2016, 14:43
| Ответить | Цитировать | Написать  
Применить ряд правил из таблицы к одной строке в чистом SQL
    #39324605
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вячеслав Любомудров
Участник
dbms_photoshopВячеслав Любомудровпропущено...
Что за ограничение?
Для workarea насколько помню 4Г (по крайней мере перестройка индекса съедает столько), для сессионных переменных -- до 16Г (просто я больше не видел)Вероятно ошибся, sort_area + hash_area в сумме могут достигать 4Гб если каждая по 2.Откуда hash_area при перестройке индексов?
 
Из старого лога
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
11:26:46 SQL> alter system set "_pga_max_size" = 8000000000 scope=memory;

System altered.

-- split некоторых секций, перестройка локальных индексов (noparallel)
-- перестройка нескольких больших глобальных индексов (noparallel)....

19:02:32 SQL> select name, to_char(value) from v$mystat s, v$statname n
19:02:32   2  where s.statistic#=n.statistic# and name in ('redo size', 'session pga memory max')
19:02:32   3  /

NAME                           TO_CHAR(VALUE)
------------------------------ ----------------------------------------
session pga memory max         4106240576
redo size                      246262574712

Что это размер единственной workarea я утверждать не берусь, но вроде там ничего другого быть не может
...
Рейтинг: 0 / 0
11.10.2016, 15:10
| Ответить | Цитировать | Написать  
Применить ряд правил из таблицы к одной строке в чистом SQL
    #39324613
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
dbms_photoshopandrey_anonymousПро "гарантированно медленнее" на больших объемах - не согласен.
Зависит, знаете ли.Конкретный пример в студию.
К сожалению, не имею технической возможности пересылать что-либо во внешнюю сеть, а перепечатывать лапками... даже заради "в интернете кто-то неправ" не готов.
В текущий момент обрабатываем поток данных от GG до половины миллиарда изменений в сутки по отдельно взятым табличкам, коих таких красивых - до 15 штук, и сопоставимый общий поток по остальным таблицам (много, но мелкие).
Основная сложность - межстрочные вычисления (реконструкция записей из потока изменений GG с minimal supplemental logging, построение истории).
Есть варианты на pipelined, есть на аналитике.
Pipelined проще в сопровождении + дают дополнительные бонусы в виде fanout.
Решения на "plain pl/sql" как-то не выдержали конкуренции с решениями, позволяющими использовать вычислительные мощности сервера более полно (за счет распараллеливания).
dbms_parallel_execute не применяется ввиду проблем, описанных в предыдущем сообщении.

Идею с отдельным топиком, где будет контракт вида "Многаданных:задача-варианты решения-ценавопроса" поддерживаю, может быть интересно - если модераторы возьмутся особо жестоко вычищать флуд, флейм и прочий холивар. Если не возьмутся - получится в лучшем случае филиал ПТ.
...
Рейтинг: 0 / 0
11.10.2016, 15:19
| Ответить | Цитировать | Написать  
Применить ряд правил из таблицы к одной строке в чистом SQL
    #39324619
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
Вячеслав Любомудров
Код: plsql
1.
11:26:46 SQL> alter system set "_pga_max_size" = 8000000000 scope=memory;


Грубый хак...
...
Рейтинг: 0 / 0
11.10.2016, 15:25
| Ответить | Цитировать | Написать  
Применить ряд правил из таблицы к одной строке в чистом SQL
    #39324623
Фотография dbms_photoshop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dbms_photoshop
Участник
andrey_anonymousЕсть варианты на pipelined, есть на аналитике.Про аналитику речь не шла.
dbms_photoshopPL/SQL execution гарантированно уделает SQL подходы (recursive subquery factoring или model)Такое впечатление что вы в сообщениях просто скипаете какие-то предложения.
Я повторил одно и то же раз пять.
...
Рейтинг: 0 / 0
11.10.2016, 15:29
| Ответить | Цитировать | Написать  
Применить ряд правил из таблицы к одной строке в чистом SQL
    #39324629
Фотография dbms_photoshop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dbms_photoshop
Участник
andrey_anonymous,

SYМагика де Гипнос,

MODEL или рекурсия.

SY.
dbms_photoshop Все SQL способы для данной задачи будут медленнее и со значительно худшей масштабируемостью чем PL/SQL.

Надеюсь на этот раз я достаточно ясно расставил акценты. :)

Так вот challenge следущий: показать задачу для которой выделенные инструменты превосходят по производительности PL/SQL хотя бы для 1М строк.
1) рассматриваем параллельность
2) рассматриваем только serial execution
...
Рейтинг: 0 / 0
11.10.2016, 15:35
| Ответить | Цитировать | Написать  
Применить ряд правил из таблицы к одной строке в чистом SQL
    #39324630
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
dbms_photoshopЯ повторил одно и то же раз пять.
Ну прошу прощения, что не ограничил список вариантов pl/sql vs model - каждый о своем :)
ОФФ: Вы когда планируете свой труд по join-ам презентовать широкой публике?
Ведь хороший повод кружку пива выпить.
...
Рейтинг: 0 / 0
11.10.2016, 15:37
| Ответить | Цитировать | Написать  
Применить ряд правил из таблицы к одной строке в чистом SQL
    #39324639
Фотография dbms_photoshop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dbms_photoshop
Участник
andrey_anonymous,

У меня "труд" по джойнам, а также по моделям и рекурсивным запросам и прочим особенностям ораклового SQL включая connect by, pattern matching etc.
Общим размером 100+ страниц (из которых джойны 20).
Постараюсь выложить в ближайший месяц в общий доступ.
Я территориально в Лондоне, сомневаюсь, что кто-то из оракловой ветки этого форума еще тут.
...
Рейтинг: 0 / 0
11.10.2016, 15:47
| Ответить | Цитировать | Написать  
Применить ряд правил из таблицы к одной строке в чистом SQL
    #39324655
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вячеслав Любомудров
Участник
andrey_anonymousВячеслав Любомудров
Код: plsql
1.
11:26:46 SQL> alter system set "_pga_max_size" = 8000000000 scope=memory;


Грубый хак...В чем хак-то?
Вон даже ссылочку на статью привели
...
Рейтинг: 0 / 0
11.10.2016, 16:02
| Ответить | Цитировать | Написать  
Применить ряд правил из таблицы к одной строке в чистом SQL
    #39324664
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
Вячеслав ЛюбомудровВ чем хак-то?
Изменение значения скрытого параметра без рекомендации/согласования саппорта на продуктиве - на мой взгляд, контрпродуктивно.
Могут иметь место неочевидные побочные эффекты.
Может измениться (с очередным патчем) поведение.
В общем, слабо прогнозируемые риски.
...
Рейтинг: 0 / 0
11.10.2016, 16:10
| Ответить | Цитировать | Написать  
Применить ряд правил из таблицы к одной строке в чистом SQL
    #39324707
andreymx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreymx
Участник
dbms_photoshopandrey_anonymous,

У меня "труд" по джойнам, а также по моделям и рекурсивным запросам и прочим особенностям ораклового SQL включая connect by, pattern matching etc.
Общим размером 100+ страниц (из которых джойны 20).
Постараюсь выложить в ближайший месяц в общий доступ.
Я территориально в Лондоне, сомневаюсь, что кто-то из оракловой ветки этого форума еще тут.на каком человеческом языке?
...
Рейтинг: 0 / 0
11.10.2016, 16:52
| Ответить | Цитировать | Написать  
Применить ряд правил из таблицы к одной строке в чистом SQL
    #39324774
Фотография dbms_photoshop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dbms_photoshop
Участник
andreymx,

Это было самое тяжелое решение.
В итоге содержание на англ, текст на рус. :)
...
Рейтинг: 0 / 0
11.10.2016, 17:51
| Ответить | Цитировать | Написать  
Применить ряд правил из таблицы к одной строке в чистом SQL
    #39324941
982183
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
982183
Участник
Магика де Гипнос982183Задача учебная или практическая?
Стыдно признаться, но практическая.
Раньше в подобных случаях мы собирали функцию, которая на вход брала строку, прогоняла через словарь и выдавала измененный вариант.
Опубликуйте плиз размер базы и размер словаря.
Тогда будет понятно - каким путем идти.
...
Рейтинг: 0 / 0
12.10.2016, 02:32
| Ответить | Цитировать | Написать  
Применить ряд правил из таблицы к одной строке в чистом SQL
    #39324993
andreymx
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreymx
Участник
dbms_photoshopandreymx,

Это было самое тяжелое решение.
В итоге содержание на англ, текст на рус. :)извини за наглость, можешь на почту прислать мой_ник@мыло ру?
уезжаю в отпуск, хотел почитать в дороге и на досуге, вдруг чёй-то пойму :)
...
Рейтинг: 0 / 0
12.10.2016, 08:41
| Ответить | Цитировать | Написать  
15 сообщений из 40, страница 2 из 2
  2  все
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Применить ряд правил из таблицы к одной строке в чистом SQL
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=52&msg=39324570&tid=1887259]:
 0ms
get settings:
 9ms
get forum list:
 21ms
check forum access:
 5ms
check topic access:
 5ms
track hit:
 180ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 50ms
get tp. blocked users:
 1ms
others: 233ms
total:  515ms
созд. / загр.: 515ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]