Гость
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Сгруппировать строки, так чтобы собрать все последние данные в одну строку / 11 сообщений из 11, страница 1 из 1
20.08.2020, 20:46
    #39991231
Sintetik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сгруппировать строки, так чтобы собрать все последние данные в одну строку
Есть таблица, куда последовательно приходят данные, но хитро, в полях проставляются только новые значения, остальные null
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
create table tmp 
(id, bigint,
 t1 varchar2(10),
 t2 varchar2(10),
 t3 varchar2(10),
 t4 varchar2(10),
 n1 number,
 n2 number,
 n3 number,
 n4 number,
 n5 number,
 dt timestamp
);
insert into tmp values (1,null,'aa',null,null,null,null,null,null,5, '2020-08-20 12:00:01');
insert into tmp values (1,'bb',null,'cc',null,null,20,null,null,null, '2020-08-20 12:00:02');
insert into tmp values (1,null,null,null,'dd',null,70,25,null,null, '2020-08-20 12:00:03');
insert into tmp values (1,null,null,'OK','OK',3,null,null,null,null, '2020-08-20 12:00:04');
commit;



Нужно сделать группировку так,чтобы в итоговую строку собрались все последние не null данные,
а если в пачке строк для какого то поля не нашлось ни одной строки с данными, значит оставить null

должно получиться
Код: plsql
1.
1, 'bb', 'aa','OK','OK',3,70,25,null,5,'2020-08-20 12:00:04'



есть лобовое решение, обновлять поля по одному, вылавливая последний по времени из тех что not null
может есть получше вариант?
...
Рейтинг: 0 / 0
20.08.2020, 21:36
    #39991243
AmKad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сгруппировать строки, так чтобы собрать все последние данные в одну строку
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
with tmp(id, t1, t2, t3, t4, n1, n2, n3, n4, n5, dt) as ( 
select 1,null,'aa',null,null,null,null,null,null,5 , '2020-08-20 12:00:01'  from dual union all  
select 1,'bb',null,'cc',null,null,20,null,null,null, '2020-08-20 12:00:02' from dual union all 
select 1,null,null,null,'dd',null,70,25,null,null, '2020-08-20 12:00:03'    from dual union all
select 1,null,null,'OK','OK',3,null,null,null,null, '2020-08-20 12:00:04'   from dual )
select id,
max(id) keep (dense_rank last order by nvl2(id, 1, 0), dt) as id,
max(t1) keep (dense_rank last order by nvl2(t1, 1, 0), dt) as t1,
max(t2) keep (dense_rank last order by nvl2(t2, 1, 0), dt) as t2,
max(t3) keep (dense_rank last order by nvl2(t3, 1, 0), dt) as t3,
max(t4) keep (dense_rank last order by nvl2(t4, 1, 0), dt) as t4,
max(n1) keep (dense_rank last order by nvl2(n1, 1, 0), dt) as n1,
max(n2) keep (dense_rank last order by nvl2(n2, 1, 0), dt) as n2,
max(n3) keep (dense_rank last order by nvl2(n3, 1, 0), dt) as n3,
max(n4) keep (dense_rank last order by nvl2(n4, 1, 0), dt) as n4,
max(n5) keep (dense_rank last order by nvl2(n5, 1, 0), dt) as n5,
max(dt) dt
From tmp
group by id;

        ID       ID_1 T1 T2 T3 T4         N1         N2         N3 N4         N5 DT                 
---------- ---------- -- -- -- -- ---------- ---------- ---------- -- ---------- -------------------
         1          1 bb aa OK OK          3         70         25             5 2020-08-20 12:00:04
1 row selected.
...
Рейтинг: 0 / 0
20.08.2020, 21:38
    #39991244
AmKad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сгруппировать строки, так чтобы собрать все последние данные в одну строку
Код: plsql
1.
max(id) keep (dense_rank last order by nvl2(id, 1, 0), dt) as id,

Это копипастом прошло, выкинуть можно. Ну и строку dt к дате преобразовать.
...
Рейтинг: 0 / 0
20.08.2020, 21:58
    #39991250
AmKad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сгруппировать строки, так чтобы собрать все последние данные в одну строку
Если играться с аналитикой, то вот решение с одним window sort
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
with tmp(id, t1, t2, t3, t4, n1, n2, n3, n4, n5, dt) as ( 
select 1,null,'aa',null,null,null,null,null,null,5 , to_date('2020-08-20 12:00:01', 'yyyy-mm-dd hh24:mi:ss') from dual union all  
select 1,'bb',null,'cc',null,null,20,null,null,null, to_date('2020-08-20 12:00:02', 'yyyy-mm-dd hh24:mi:ss') from dual union all 
select 1,null,null,null,'dd',null,70,25,null,null,   to_date('2020-08-20 12:00:03', 'yyyy-mm-dd hh24:mi:ss') from dual union all
select 1,null,null,'OK','OK',3,null,null,null,null,  to_date('2020-08-20 12:00:04', 'yyyy-mm-dd hh24:mi:ss') from dual )
select *
from
   (select id,    
    last_value(t1 ignore nulls) over (partition by id order by dt) as t1,
    last_value(t2 ignore nulls) over (partition by id order by dt) as t2,
    last_value(t3 ignore nulls) over (partition by id order by dt) as t3,
    last_value(t4 ignore nulls) over (partition by id order by dt) as t4,
    last_value(n1 ignore nulls) over (partition by id order by dt) as n1,
    last_value(n2 ignore nulls) over (partition by id order by dt) as n2,
    last_value(n3 ignore nulls) over (partition by id order by dt) as n3,
    last_value(n4 ignore nulls) over (partition by id order by dt) as n4,
    last_value(n5 ignore nulls) over (partition by id order by dt) as n5,    
    max(dt)                     over (partition by id)             as dt,
    row_number()                over (partition by id order by dt) as rn,
    count(*)                    over (partition by id)             as cnt
    From tmp
   )
where rn = cnt;
...
Рейтинг: 0 / 0
21.08.2020, 12:44
    #39991390
Stax
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сгруппировать строки, так чтобы собрать все последние данные в одну строку
AmKad,

Код: plsql
1.
2.
3.
4.
5.
    first_value(n5 ignore nulls) over (partition by id order by dt DESC) as n5,
    row_number()                over (partition by id order by dt DESC) as rn,
    From tmp
   )
where rn = 1;



.....
stax
...
Рейтинг: 0 / 0
21.08.2020, 13:08
    #39991401
AmKad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сгруппировать строки, так чтобы собрать все последние данные в одну строку
Stax
AmKad,

Код: plsql
1.
    first_value(n5 ignore nulls) over (partition by id order by dt DESC) as n5,

Только если с
Код: plsql
1.
rows between unbounded preceding and unbounded following
...
Рейтинг: 0 / 0
23.08.2020, 15:23
    #39991753
andrey_anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сгруппировать строки, так чтобы собрать все последние данные в одну строку
Не из-под голденгейта ли в insertallrows та табличка?
...и если это репликация, то следует учесть:
- отработку set F=NULL на источнике.
- отработку обновлений, пришедших после зачистки Вашей хитрой таблички.

Наиболее разумным решением подобной задачи в свое время стала pipelined-parallel-enabled функция.
Но можно скрафтить и агрегатную.
...
Рейтинг: 0 / 0
24.08.2020, 23:48
    #39992102
Sintetik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сгруппировать строки, так чтобы собрать все последние данные в одну строку
AmKad
Только если с
Код: plsql
1.
rows between unbounded preceding and unbounded following


эта приблуда же вроде в потгресе, если в over включен order by?

собственно мне и надо в постгресе реализовать, но там тухловатый форум
главное принцип, а для конкретной базы я допилю
...
Рейтинг: 0 / 0
24.08.2020, 23:53
    #39992104
Sintetik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сгруппировать строки, так чтобы собрать все последние данные в одну строку
andrey_anonymous
Не из-под голденгейта ли в insertallrows та табличка?
...и если это репликация, то следует учесть:
- отработку set F=NULL на источнике.
- отработку обновлений, пришедших после зачистки Вашей хитрой таблички.

Наиболее разумным решением подобной задачи в свое время стала pipelined-parallel-enabled функция.
Но можно скрафтить и агрегатную.


нет не GG, просто данные приходят, поднимаются в стейджевые таблицы, там еще осложнение что в постгрес-образной базе нет MERGE,
поэтому delete/insert

решение last_value over() вполне рабочее и поддерживается базой
...
Рейтинг: 0 / 0
25.08.2020, 14:56
    #39992293
Stax
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сгруппировать строки, так чтобы собрать все последние данные в одну строку
Sintetik

решение last_value over() вполне рабочее и поддерживается базой


еще можно unpivot+номенерация+pivot для rn=1, наверняка дороже будет

я б делал через keep

....
stax
...
Рейтинг: 0 / 0
27.08.2020, 02:23
    #39992777
Sintetik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сгруппировать строки, так чтобы собрать все последние данные в одну строку
Stax

я б делал через keep

я бы тоже, но не поддерживается
...
Рейтинг: 0 / 0
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Сгруппировать строки, так чтобы собрать все последние данные в одну строку / 11 сообщений из 11, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]