powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Близкострочные операции
25 сообщений из 52, страница 2 из 3
Близкострочные операции
    #40011336
Фотография env
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
НеофитSQL
У вас наверное есть последний и могучий Оракл

Держите, сравнивайте

Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
SQL> set serverout on
SQL> set timing on
SQL>
SQL> drop table dropme_t purge;

Table dropped.

Elapsed: 00:00:00.03
SQL>
SQL> create table dropme_t as select level n, trunc(dbms_random.value(1,100)) m from dual connect by level <= 1e6;

Table created.

Elapsed: 00:00:08.95
SQL>
SQL> with t as
  2  (
  3      select m, lead(m,1) over(order by n) next, lag(m,1) over(order by n) prev from dropme_t
  4  )
  5  select
  6      count(*) cnt
  7  from
  8      t
  9  where
 10      m < next and
 11      m < prev
 12  /

       CNT
----------
    328192

Elapsed: 00:00:01.91
SQL>
SQL> declare
  2      type t_t is table of dropme_t%rowtype index by binary_integer;
  3      v_t t_t;
  4      diff_cnt number := 0;
  5  begin
  6      select * bulk collect into v_t from dropme_t order by n;
  7      for v in v_t.first..v_t.last loop
  8          if v>1 and v<v_t.count then
  9              if v_t(v).m < v_t(v-1).m and v_t(v).m < v_t(v+1).m then
 10                  --dbms_output.put_line(v_t(v-1).n||':'||v_t(v-1).m||' '||v_t(v).n||':'||v_t(v).m||' '||v_t(v+1).n||':'||v_t(v+1).m);
 11                  diff_cnt := diff_cnt + 1;
 12              end if;
 13          end if;
 14      end loop;
 15      dbms_output.put_line(diff_cnt);
 16  end;
 17  /
328192

PL/SQL procedure successfully completed.

Elapsed: 00:00:01.31
SQL>
SQL> declare
  2      prev dropme_t%rowtype;
  3      diff dropme_t.n%type;
  4      diff_cnt number:=0;
  5  begin
  6      select * into prev from dropme_t where n = 1; --(select min(n) from dropme_t);
  7
  8      for trow in (select n, m from dropme_t order by n) loop
  9          if diff < 0 and trow.m > prev.m
 10          then
 11              diff_cnt := diff_cnt + 1;
 12          end if;
 13          diff := trow.m -prev.m;
 14          prev.n := trow.n;
 15          prev.m := trow.m;
 16      end loop;
 17      dbms_output.put_line(diff_cnt);
 18  end;
 19  /
328192

PL/SQL procedure successfully completed.

Elapsed: 00:00:04.16
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011342
booby
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
env,

не знаю, что вы делаете, но if из цикла надо убирать:

Код: plsql
1.
for v in v_t.first+1..v_t.last-1 loop



отдельно и дополнительно надо понять, а для двух элементов ответ есть или нет?
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011344
booby
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
booby
env,

не знаю, что вы делаете, но if из цикла надо убирать:

Код: plsql
1.
for v in v_t.first+1..v_t.last-1 loop



отдельно и дополнительно надо понять, а для двух элементов ответ есть или нет?


вообще-то, может оказаться неплохо подумать, а как жить на миллиардах и с широкими записями...
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011353
НеофитSQL
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
graycode
НеофитSQL
Я ожидал, что цикл хуже, т.к. не параллелится.

Многопоточность в других языках программирования уже отменили?


Я понятия не имею как в PL/SQL сделать многопоточный цикл, и будет ли от него толк в этом случае.

Многопоточный цикл для линейного поиска по одной таблице звучит как приглашение хорошо получить граблями, даже для опытных кодеров. Вы попробуйте такой код здесь опубликовать, и быстро соберете список недочетов.
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011357
graycode
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
НеофитSQL
Я понятия не имею как в PL/SQL сделать многопоточный цикл, и будет ли от него толк в этом случае.

Многопоточный цикл для линейного поиска по одной таблице звучит как приглашение хорошо получить граблями, даже для опытных кодеров. Вы попробуйте такой код здесь опубликовать, и быстро соберете список недочетов.

Зачем в PL/SQL? В java или C# нет многопоточности?

От Оракла требуется только отдать отсортированные данные, хотя можешь и сам отсортировать, дальше уже твоя забота, разбить полученное отсортированное множество на секции и обработать каждую секцию в своем потоке, склеить результат, все.
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011358
booby
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
env,

то есть, ваш цикл с массивами, (если он на самом деле делает то, что подразумевается в задаче)
мог бы так выглядеть.

Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
declare
      type t_t is table of dropme_t%rowtype index by binary_integer;
      v_t t_t;
     -- diff_cnt number := 0;
      diff_cnt pls_integer := 0;
  begin
      select * bulk collect into v_t from dropme_t order by n;
      for v in v_t.first+1..v_t.last-1 loop
         
         continue when not (v_t(v).m < v_t(v-1).m and v_t(v).m < v_t(v+1).m);
         
         --dbms_output.put_line(v_t(v-1).n||':'||v_t(v-1).m||' '||v_t(v).n||':'||v_t(v).m||' '||v_t(v+1).n||':'||v_t(v+1).m);
         diff_cnt := diff_cnt + 1;
      
      end loop;
      dbms_output.put_line(diff_cnt);
  end;
/



без проверки.
объективно должно быть быстрее.
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011362
booby
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
НеофитSQL,

если на самом деле понятно, что такое
авторМногопоточный цикл для линейного поиска по одной таблице
то сымитировать его в pl/sql есть, по крайней мере, два пути - канальные функции и джобы.
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011393
проходил мимо...
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
booby
канальные функции и джобы.

IPC не впечатляет...
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011396
Фотография Sayan Malakshinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
env
Держите, сравнивайте
первый селект лишний был у тебя:
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
with t as
(
    select m, lead(m,1) over(order by n) next, lag(m,1) over(order by n) prev from dropme_t
)
select
    count(*) cnt
from
    t
where
    m < next and
    m < prev
/
       CNT
----------
    328470

Elapsed: 00:00:01.22

declare
    prev dropme_t%rowtype;
    diff boolean := true;
    diff_cnt number:=0;
begin
    for trow in (select n, m from dropme_t order by n) loop
        if diff and trow.m > prev.m
        then
            diff_cnt := diff_cnt + 1;
        end if;
        diff := trow.m < prev.m;
        prev.n := trow.n;
        prev.m := trow.m;
    end loop;
    dbms_output.put_line(diff_cnt);
end;
/

328470

PL/SQL procedure successfully completed.

Elapsed: 00:00:00.68

...
Рейтинг: 0 / 0
Близкострочные операции
    #40011399
НеофитSQL
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
graycode
НеофитSQL
Я понятия не имею как в PL/SQL сделать многопоточный цикл, и будет ли от него толк в этом случае.

Многопоточный цикл для линейного поиска по одной таблице звучит как приглашение хорошо получить граблями, даже для опытных кодеров. Вы попробуйте такой код здесь опубликовать, и быстро соберете список недочетов.

Зачем в PL/SQL? В java или C# нет многопоточности?

От Оракла требуется только отдать отсортированные данные, хотя можешь и сам отсортировать, дальше уже твоя забота, разбить полученное отсортированное множество на секции и обработать каждую секцию в своем потоке, склеить результат, все.


А, я понял о чем вы. Что для максимальной скорости для такой простой задачи надо данные взять в память и передать во внешнюю процедуру обработки. Тогда это простая задача для другого языка, где больше времени будет потрачено на передачу данных, чем на сам поиск.
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011400
Фотография Sayan Malakshinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
НеофитSQL
Я ожидал, что цикл хуже, т.к. не параллелится.
рано тебе в параллель лезть и чего-то ожидать не зная, как работает параллельное выполнение в оракле.

Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
Plan hash value: 591295248

--------------------------------------------------------------------------------------------------------------------
| Id  | Operation                  | Name     | Rows  | Bytes | Cost (%CPU)| Time     |    TQ  |IN-OUT| PQ Distrib |
--------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT           |          |     1 |    39 |    74   (7)| 00:00:01 |        |      |            |
|   1 |  SORT AGGREGATE            |          |     1 |    39 |            |          |        |      |            |
|*  2 |   VIEW                     |          |  1000K|    37M|    74   (7)| 00:00:01 |        |      |            |
|   3 |    WINDOW BUFFER           |          |  1000K|  7812K|    74   (7)| 00:00:01 |        |      |            |
|   4 |     PX COORDINATOR         |          |       |       |            |          |        |      |            |
|   5 |      PX SEND QC (ORDER)    | :TQ10001 |  1000K|  7812K|    74   (7)| 00:00:01 |  Q1,01 | P->S | QC (ORDER) |
|   6 |       SORT ORDER BY        |          |  1000K|  7812K|    74   (7)| 00:00:01 |  Q1,01 | PCWP |            |
|   7 |        PX RECEIVE          |          |  1000K|  7812K|    70   (2)| 00:00:01 |  Q1,01 | PCWP |            |
|   8 |         PX SEND RANGE      | :TQ10000 |  1000K|  7812K|    70   (2)| 00:00:01 |  Q1,00 | P->P | RANGE      |
|   9 |          PX BLOCK ITERATOR |          |  1000K|  7812K|    70   (2)| 00:00:01 |  Q1,00 | PCWC |            |
|  10 |           TABLE ACCESS FULL| DROPME_T |  1000K|  7812K|    70   (2)| 00:00:01 |  Q1,00 | PCWP |            |
--------------------------------------------------------------------------------------------------------------------

...
Рейтинг: 0 / 0
Близкострочные операции
    #40011402
Фотография Sayan Malakshinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
booby
то сымитировать его в pl/sql есть,
dbms_parallel_execute
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011403
НеофитSQL
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
xtender
env
Держите, сравнивайте
первый селект лишний был у тебя:

==>Elapsed: 00:00:01.22 -- SQL

==>Elapsed: 00:00:00.68 -- цикл



Простой цикл без кэширования данных побеждает с отрывом вдвое!
Если у нет дополнительных SQL секретов, это возможно просто не та задача, где оптимизатор Оракла может помочь.
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011404
graycode
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
НеофитSQL
А, я понял о чем вы. Что для максимальной скорости для такой простой задачи надо данные взять в память и передать во внешнюю процедуру обработки. Тогда это простая задача для другого языка, где больше времени будет потрачено на передачу данных, чем на сам поиск.

А в чьей светлой головушке вдруг взялись мысли о том чтобы параллелить цикл для такой простой задачи?
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011407
Фотография Sayan Malakshinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
НеофитSQL
Если у нет дополнительных SQL секретов, это возможно просто не та задача, где оптимизатор Оракла может помочь.
просто не тебе с 11.2.0.1
требуется допилить, но мне лень и некогда
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
SQL> ;
  1  select count(*) cnt
  2  from dropme_t t
  3  match_recognize (
  4      order by n
  5      measures
  6          last(d.m) as lmin
  7      one row per match
  8      pattern (s d+)
  9      define
 10        d as m > prev(m)
 11*   )
SQL> /

       CNT
----------
    333447

Elapsed: 00:00:00.83

...
Рейтинг: 0 / 0
Близкострочные операции
    #40011408
Фотография Sayan Malakshinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
graycode
А в чьей светлой головушке вдруг взялись мысли о том чтобы параллелить цикл для такой простой задачи?
++++
да, это самый правильный вопрос во всех темах ТСа
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011447
booby
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
xtender
booby
то сымитировать его в pl/sql есть,
dbms_parallel_execute

баги-то они в нём вылечили со сваливанием всего в один поток?

Так-то замечтательно, конечно.
Но джобы на коленке и веревочках, б о льшую степень веры в управляемость внушают.
И особенно, когда оснастки под них унаследованы от славных предшественников за пару версий до появления dbms_parallel_execute.

Оно конечно, - плесень и несовременно.
Но свежемолодым подходом потрахивать - это надо глубокой степенью невинности располагать.
Не всем это по возрасту положено.
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011455
booby
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
проходил мимо...
booby
канальные функции и джобы.

IPC не впечатляет...

а как она должна быть использована именно в этой задаче?
(формулировку которой я не вполне понял - все черти в неозвученных деталях)

Там где IPC очевидно нужна - в пользовательских агрегатах - она тщательно представлена чёрным ящиком.
Ляпота. Сиди себе, стандартные интерфейсы выписывай и в потолок поплёвывай.

Вот недавно совсем человек докладывал, как он с IPC в Oracle боролся и побеждал:
https://www.sql.ru/forum/actualutils.aspx?action=gotomsg&tid=1326622&msg=22158286
https://www.sql.ru/forum/actualutils.aspx?action=gotomsg&tid=1326622&msg=22158461

и, как вполне очевидно из текста, до сих пор гордится достигнутыми результатами.
(Это не для смеха и хохота ссылки, а на подумать о предметах гордости).

Возвращаясь к джобам - если сказано джоб, так за IPC расстрел на месте,
без торжественного построения рассматривающих расстрел.
:)
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011461
НеофитSQL
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
graycode
НеофитSQL
А, я понял о чем вы. Что для максимальной скорости для такой простой задачи надо данные взять в память и передать во внешнюю процедуру обработки. Тогда это простая задача для другого языка, где больше времени будет потрачено на передачу данных, чем на сам поиск.

А в чьей светлой головушке вдруг взялись мысли о том чтобы параллелить цикл для такой простой задачи?


Вообще-то у вас. Я предложил что цикл параллелить непродуктивно, и похоже вы теперь с этим уже согласны.

22219709

Параллелить надо не цикл, а задачу в целом. Не все задачи поддаются параллелизации, и параллельное исполнение - не единственный способ оптимизации.

Например, env улучшил скорость цикла, пожертвовав несколькими мегабайтами памяти. Bulk collect в массив и последующий доступ к массиву заметно быстрее чем цикл по таблице.
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011463
НеофитSQL
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Пока цикл неоспоримый лидер, прикладная польза от LAG/LEAD() не вполне понятна. Они делают то же, что и цикл, только медленее?

Или бывают задачи, где LAG() не только полезна, но ещё и быстрее простого цикла?
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011467
graycode
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
НеофитSQL
Вообще-то у вас. Я предложил что цикл параллелить непродуктивно, и похоже вы теперь с этим уже согласны.

22219709

Где ты предположил что цикл параллелить непродуктивно? Ты напротив написал что цикл хуже , так как не параллелится или ты уже не в состоянии понять то что сам же и написал?
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011475
НеофитSQL
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
graycode
НеофитSQL
Вообще-то у вас. Я предложил что цикл параллелить непродуктивно, и похоже вы теперь с этим уже согласны.

22219709

Где ты предположил что цикл параллелить непродуктивно? Ты напротив написал что цикл хуже , так как не параллелится или ты уже не в состоянии понять то что сам же и написал?


Охотно поясню. Я выразил мнение что решение с циклом хуже, т.к. циклы плохо поддаются параллельной оптимизации.

Вы сказали что "а у нас в джаве циклы можно параллелить".

Но потов вам эта идея разонравилась, и вы стали искать автора.

Возможно, я неверно вас понял, и вы все еще хотите эту задачу решать многопоточно через джаву. Я не против, попробуйте.
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011477
НеофитSQL
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Я попробовал измерить скорость этой задачи через селф-джойн (как предложил Вячеслав),
получилось заметно быстрее простого цикла.

Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
SQL> declare
  2      prev dropme_t%rowtype;
  3      diff boolean := true;
  4      diff_cnt number:=0;
  5  begin
  6      for trow in (select n, m from dropme_t order by n) loop
  7          if diff and trow.m > prev.m
  8          then
  9              diff_cnt := diff_cnt + 1;
 10          end if;
 11          diff := trow.m < prev.m;
 12          prev.n := trow.n;
 13          prev.m := trow.m;
 14      end loop;
 15      dbms_output.put_line(diff_cnt);
 16  end;
 17  /
328441
PL/SQL procedure successfully completed
Executed in 2,468 seconds

SQL> select count(*) from dropme_t t1 join dropme_t t2 on t1.n+1=t2.n join dropme_t t3 on t1.n-1=t3.n where t2.m>t1.m and t3.m>t1.m;
  COUNT(*)
----------
    328441
Executed in 1,812 seconds



Это потому, что я индекс включил, или просто у Оракла в старых версиях циклы плохо работали?
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011478
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Это потому что у тебя вырожденный случай -- нумерация очередности без пропусков
...
Рейтинг: 0 / 0
Близкострочные операции
    #40011480
НеофитSQL
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Вячеслав Любомудров
Это потому что у тебя вырожденный случай -- нумерация очередности без пропусков


Да, мне надо было свою таблицу делать, а не тырить у env.
Мне понравилось лаконичное заполнение, и я позаимствовал.

Кстати, кто то ещё заметил, насколько близко в разных тестах совпало число минимумов для 1м строк?
...
Рейтинг: 0 / 0
25 сообщений из 52, страница 2 из 3
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Близкострочные операции
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]