ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / PIVOT и большое количество колонок
8 сообщений из 8, страница 1 из 1
PIVOT и большое количество колонок
    #38651669
djon_mnemonik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
djon_mnemonik
Гость
Есть таблица устройств и привязка к цехам + архив с данными по потреблению устройства.
Нужно при выборе периода времени сформировать таблицу
по оси X : дата1час1 .. дата2час2
по оси Y : устройства
т.к. количество колонок неизвестно, то делаем функцию которая динамически формирует sql запрос и возвращаем курсор, далее fetch получаем данные
Пример
select report(''report_map'',current_date-1,current_date);fetch all in "report_map";

Так вот проблема
при получении данных за 1 день : получаем шапку + 24 колонки (часы) скажем 1443мс, а
при получении за неделю : получаем шапку + 7*24 колонки = 69000 намного больше чем 7*1443
а за месяц так = 1497528мс
с отключенными set enable_mergejoin to off; set enable_hashjoin to off; = 1244858мс

Т.е. не соизмеримо если запросить: день 7 раз и 7 дней за раз, увеличение кол-ва колонок приводит к торможению ?
...
Рейтинг: 0 / 0
26.05.2014, 09:22:10
| Ответить | Цитировать | Написать  
PIVOT и большое количество колонок
    #38651736
tadmin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tadmin
Участник
djon_mnemonik+ архив с данными по потреблению устройства.
Если это архив, создайте кеширующую таблицу и напишите функцию, которая раз в день подает alter table add column на вчерашний день.
...
Рейтинг: 0 / 0
26.05.2014, 10:32:18
| Ответить | Цитировать | Написать  
PIVOT и большое количество колонок
    #38651743
Lonepsycho
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lonepsycho
Участник
tadmindjon_mnemonik+ архив с данными по потреблению устройства.
Если это архив, создайте кеширующую таблицу и напишите функцию, которая раз в день подает alter table add column на вчерашний день.
только смотреть чтоб ширина рекорда в таблице не привысило бы 8kb... всётаки думаю не подойдёт этот вариант...
...
Рейтинг: 0 / 0
26.05.2014, 10:41:46
| Ответить | Цитировать | Написать  
PIVOT и большое количество колонок
    #38651747
djon_mnemonik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
djon_mnemonik
Гость
tadmindjon_mnemonik+ архив с данными по потреблению устройства.
Если это архив, создайте кеширующую таблицу и напишите функцию, которая раз в день подает alter table add column на вчерашний день.

Архивами не владею если подскажите iostat или еще чего

Но идея хорошая, проблема в реал тайм люди внесут данные, а экономисты начнут звонить что их нет так, как колонка появится только завтра :-(

Мы выкрутились что добавили сводную таблицу по цехам, и сразу зарубили выдачу больших временных отрезков !!!



Интересно еще кто и как применяет сводные таблицы. Допустим
таблица ЗАВОДОВ
таблица ПРОИЗВОДСТВ
таблица ЦЕХОВ
таблица ОТДЕЛЕНИЙ
таблица УЗЛОВ
таблица Оборудования
таблица Архив потребления
Нужны сводные по всем группам: по Заводам , ... по Оборудованию к временным интервалам
У нас была функция которая все по нужной группе усредняла, теперь только из сводной по цеху данные. А как поступили бы Вы?
...
Рейтинг: 0 / 0
26.05.2014, 10:45:23
| Ответить | Цитировать | Написать  
PIVOT и большое количество колонок
    #38651765
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
djon_mnemonik А как поступили бы Вы?
OLAP
...
Рейтинг: 0 / 0
26.05.2014, 11:01:22
| Ответить | Цитировать | Написать  
PIVOT и большое количество колонок
    #38651775
tadmin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tadmin
Участник
djon_mnemonikэкономисты начнут звонить что их нет так, как колонка появится только завтра
А что мешает через view объединить кеш с живыми данными за сегодня?
Архив дает мгновенный ответ, а данные за сегодня вы уж как нибудь соберете за недорого.

Выше правильно говорят про OLAP. Это плохая задача для реляционной базы данных.
...
Рейтинг: 0 / 0
26.05.2014, 11:07:10
| Ответить | Цитировать | Написать  
PIVOT и большое количество колонок
    #38652065
Lonepsycho
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lonepsycho
Участник
djon_mnemonikА как поступили бы Вы?
я бы наверное "пивотил" бы там где создаётся сама картинка (PHP, C++,...), если всё отсортировано как положено, тогда, сам процесс пойдёт более менее прямолинейно и без лишних трудностей...
...
Рейтинг: 0 / 0
26.05.2014, 14:09:07
| Ответить | Цитировать | Написать  
PIVOT и большое количество колонок
    #38654656
grgdvo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
grgdvo
Гость
Посмотрите на расширение tablefunc .

Что-нибудь в стиле...

Код: plsql
1.
create extension tablefunc;


(нужны права)
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
create table tbl(id serial, dev text, dev_ts timestamp, dev_val integer);

insert into tbl(dev, dev_ts, dev_val) values ('dev1', '1.01.2014 12:34'::timestamp, 35);
insert into tbl(dev, dev_ts, dev_val) values ('dev1', '1.01.2014 13:35'::timestamp, 25);
insert into tbl(dev, dev_ts, dev_val) values ('dev1', '1.01.2014 14:23'::timestamp, 25);
insert into tbl(dev, dev_ts, dev_val) values ('dev1', '1.01.2014 15:45'::timestamp, 35);
insert into tbl(dev, dev_ts, dev_val) values ('dev1', '1.01.2014 16:12'::timestamp, 25);
insert into tbl(dev, dev_ts, dev_val) values ('dev1', '1.01.2014 17:23'::timestamp, 25);
insert into tbl(dev, dev_ts, dev_val) values ('dev1', '1.01.2014 18:23'::timestamp, 35);
insert into tbl(dev, dev_ts, dev_val) values ('dev1', '1.01.2014 19:34'::timestamp, 25);
insert into tbl(dev, dev_ts, dev_val) values ('dev2', '1.01.2014 12:34'::timestamp, 35);
insert into tbl(dev, dev_ts, dev_val) values ('dev2', '1.01.2014 13:35'::timestamp, 25);
insert into tbl(dev, dev_ts, dev_val) values ('dev2', '1.01.2014 14:23'::timestamp, 25);
insert into tbl(dev, dev_ts, dev_val) values ('dev2', '1.01.2014 15:45'::timestamp, 35);
insert into tbl(dev, dev_ts, dev_val) values ('dev2', '1.01.2014 16:12'::timestamp, 25);
insert into tbl(dev, dev_ts, dev_val) values ('dev2', '1.01.2014 17:23'::timestamp, 25);
insert into tbl(dev, dev_ts, dev_val) values ('dev2', '1.01.2014 18:23'::timestamp, 35);
insert into tbl(dev, dev_ts, dev_val) values ('dev2', '1.01.2014 19:34'::timestamp, 25);

select *
from crosstab(
	'select dev, dev_ts, dev_val
	 from tbl
	 where (dev_ts >= ''1.01.2014 12:00''::timestamp and dev_ts < ''1.01.2014 13:00''::timestamp) or
	       (dev_ts >= ''1.01.2014 13:00''::timestamp and dev_ts < ''1.01.2014 14:00''::timestamp) or
	       (dev_ts >= ''1.01.2014 14:00''::timestamp and dev_ts < ''1.01.2014 15:00''::timestamp) or
	       (dev_ts >= ''1.01.2014 15:00''::timestamp and dev_ts < ''1.01.2014 16:00''::timestamp) or
	       (dev_ts >= ''1.01.2014 16:00''::timestamp and dev_ts < ''1.01.2014 17:00''::timestamp)
	 order by 1,2')
as tbl(device text, col1 integer, col2 integer, col3 integer, col4 integer, col5 integer);



В результате получим что-то типа

devicecol1col2col3col4col5dev13525253525dev23525253525

На мой взгляд потребуется:
1. привести tbl к некоторому подходящему виду. Например, если в час с устройства показания снимаются несколько раз, то возможно нужно просуммировать их или усреднить и т.п. Вероятно для вашей задачи потребуются еще какие-то дополнения.
2. Плюс, автоматизировать способ генерации условий подзапроса, которые подбирают категории. В отдельную функцию что ли вынести.
...
Рейтинг: 0 / 0
28.05.2014, 15:18:56
| Ответить | Цитировать | Написать  
8 сообщений из 8, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / PIVOT и большое количество колонок
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=53&msg=38651747&tid=1998660]:
 0ms
get settings:
 9ms
get forum list:
 17ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 212ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 50ms
get tp. blocked users:
 1ms
others: 266ms
total:  575ms
созд. / загр.: 575ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]