ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Оптимизация PG для DWH
25 сообщений из 26, страница 1 из 2
  1  все
Оптимизация PG для DWH
    #39171015
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
essbase.ru
Участник
У меня стоит задача использовать PG как хранилово таблиц где будет чуть-чуть пакетных INSERT и множество аналититческих SELECT.

Вопросы
1) есть ли стандартный FAQ , который описывает типичный набор настроек для PG под эти цели ?
2) Oracle страдает от того , что в принципе в нем нельзя отключить транзакционный механизм проверки целостности, Как дела обстоят в PG - есть ли возможность убрать все лишнее ?



- (про GreenPlum слышал, но пока не готов на него решится)
...
Рейтинг: 0 / 0
15.02.2016, 09:53
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171052
Фотография Misha Tyurin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Misha Tyurin
Участник
essbase.ru,

https://habrahabr.ru/post/217073/
http://pgtune.leopard.in.ua/

DB Type: Data warehouses

вот была/есть попытка, начните отсюда, почему нет

--
вот дела, я дал ссылку на хабр
...
Рейтинг: 0 / 0
15.02.2016, 10:54
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171055
Фотография Misha Tyurin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Misha Tyurin
Участник
http://leopard.in.ua/

автор скорее жив, привлекайте тоже
...
Рейтинг: 0 / 0
15.02.2016, 10:56
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171057
Фотография Misha Tyurin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Misha Tyurin
Участник
essbase.ru,

> Oracle страдает

pg тут тоже "страдает" в вашей терминологии
...
Рейтинг: 0 / 0
15.02.2016, 10:57
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171078
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
essbase.ru
Участник
Misha Tyurinpg тут тоже "страдает" в вашей терминологии

это не я сказал- это теродата обличает
http://www.teradata.com/assets/0/206/276/5bfc4694-ce82-4a07-867d-3f1040d3df8b.pdf


За ссылки спасибо - буду изучать
...
Рейтинг: 0 / 0
15.02.2016, 11:13
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171084
Фотография Misha Tyurin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Misha Tyurin
Участник
essbase.ru,

нам "теродата" как бы интересна оч условно
...
Рейтинг: 0 / 0
15.02.2016, 11:15
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171091
Фотография Misha Tyurin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Misha Tyurin
Участник
> буду изучать

вы потом напишите, что будет получаться, -- скорее всего всё надо будет переделать. но к тому моменту будьте готовы понимать, что поменянные вами параметры означают.

http://www.postgresql.org/docs/current/static/runtime-config-resource.html
shared_buffers
work_mem

и далее по списку
...
Рейтинг: 0 / 0
15.02.2016, 11:19
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171137
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
[quot essbase.ru меня стоит задача использовать PG как хранилово таблиц где будет чуть-чуть пакетных INSERT и множество аналититческих SELECT.

Вопросы
1) есть ли стандартный FAQ , который описывает типичный набор настроек для PG под эти цели ?


Вообще стандартных настроек бд не существует

Побольше памяти, побольше кэша данных...


2) Oracle страдает от того , что в принципе в нем нельзя отключить транзакционный механизм проверки целостности, Как дела обстоят в PG - есть ли возможность убрать все лишнее ?



Орал от этого не страдает
...
Рейтинг: 0 / 0
15.02.2016, 11:47
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171159
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
essbase.ru
Участник
MasterZivОрал от этого не страдает
конечно нет . ) но все равно хотелось выжить максимум из этого комбайна
...
Рейтинг: 0 / 0
15.02.2016, 11:58
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171164
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
essbase.ru
Участник
MasterZivПобольше памяти, побольше кэша данных...
ну
например , в оракле можно было сказать /OLOGGING для табли или табличных пространств, что бы минимизировать логи.


кста! - насколько я прочитал , PG поддерживает из коробки полную версионность , - IMHO крайне вредная штука для DWH .
как бы от нее избавиться ?
...
Рейтинг: 0 / 0
15.02.2016, 12:01
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171193
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
essbase.ruнапример , в оракле можно было сказать /OLOGGING для табли или табличных пространств, что бы минимизировать логи.
ALTER TABLE tab SET UNLOGGED;

essbase.ruPG поддерживает из коробки полную версионность , - IMHO крайне вредная штука для DWH. как бы от нее избавиться?
Это фундаментальная фича. Избавиться — никак. Может какой-то из движков MySQL'а вам больше подойдет?
...
Рейтинг: 0 / 0
15.02.2016, 12:15
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171203
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
essbase.ru,
Без версионности и транзакций пишите прямо в файл на диск)))).
...
Рейтинг: 0 / 0
15.02.2016, 12:20
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171237
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
essbase.ru
Участник
Petro123Без версионности и транзакций пишите прямо в файл на диск)))).

звучит как анекдот - а есть ли действительно механизмы прямой вставки данных ?

например как бы это выглядело в оракл
есть партиционная таблица
1) удаляю партицию которая отвечает за определенный период
2) заливаю табличку сбоку требуемыми данными
3) объявляю этот аппендикс как новую партицию
...
Рейтинг: 0 / 0
15.02.2016, 12:45
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171239
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
essbase.ru
Участник
Petro123прямо в файл на диск

Блин, а в Оракл еще можно CSV файл подсунуть как внешнюю таблицу ) в PG такое возможно ?
...
Рейтинг: 0 / 0
15.02.2016, 12:47
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171240
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
essbase.ruPetro123Без версионности и транзакций пишите прямо в файл на диск)))).

звучит как анекдот - а есть ли действительно механизмы прямой вставки данных ?

например как бы это выглядело в оракл
есть партиционная таблица
1) удаляю партицию которая отвечает за определенный период
2) заливаю табличку сбоку требуемыми данными
3) объявляю этот аппендикс как новую партицию

Конкретно этот подход в PG вполне рабочий.
Но не ясно причем тут нетранзакционность и без версионности?

--
Maxim Boguk
www.postgresql-consulting.ru
...
Рейтинг: 0 / 0
15.02.2016, 12:48
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171250
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
essbase.ru
Участник
Maxim BogukКонкретно этот подход в PG вполне рабочий
ок - я правильно понимаю что при таком подходе будет всегда только одна версия данных ? - так как прошлое просто уйдет в космос вместе с дропнутой партицией ?


Maxim BogukНо не ясно причем тут нетранзакционность и без версионности?
скорость наше все - надежность не нужна - проще дропнуть артифакты от убитой задачи и перезапустить пакет с нуля
...
Рейтинг: 0 / 0
15.02.2016, 12:55
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171298
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
essbase.ruв Оракл еще можно CSV файл подсунуть как внешнюю таблицу ) в PG такое возможно ?
Раз — через COPY

Два — через file_fdw
...
Рейтинг: 0 / 0
15.02.2016, 13:44
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171314
Lonepsycho
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lonepsycho
Участник
essbase.ruскорость наше все - надежность не нужна - проще дропнуть артифакты от убитой задачи и перезапустить пакет с нуля
вам уже писали. смотрите в сторону UNLOGGED TABLES.
...
Рейтинг: 0 / 0
15.02.2016, 14:07
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171398
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
essbase.ruMasterZivОрал от этого не страдает
конечно нет . ) но все равно хотелось выжить максимум из этого комбайна
а админа пгшного почему нет?
...
Рейтинг: 0 / 0
15.02.2016, 15:04
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171405
Фотография Petro123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Petro123
Участник
Ivan Durakа админа пгшного почему нет?
+1 )) LOL
...
Рейтинг: 0 / 0
15.02.2016, 15:07
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171448
Павел Лузанов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Павел Лузанов
Участник
essbase.ru,

Женя, и до тебя PG добрался!
...
Рейтинг: 0 / 0
15.02.2016, 15:35
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171470
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
essbase.ru
Участник
Ivan Durakа админа пгшного почему нет?

потому что я пока инвестирую свое время для нового рынка )
...
Рейтинг: 0 / 0
15.02.2016, 16:01
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171535
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
essbase.ruMaxim BogukКонкретно этот подход в PG вполне рабочий
ок - я правильно понимаю что при таком подходе будет всегда только одна версия данных ? - так как прошлое просто уйдет в космос вместе с дропнутой партицией ?


Да.

--
Maxim Boguk
www.postgresql-consulting.ru
...
Рейтинг: 0 / 0
15.02.2016, 16:39
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171550
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
essbase.ruIvan Durakа админа пгшного почему нет?

потому что я пока инвестирую свое время для нового рынка )
все дружно вспомнили анек про стартап, и дружно взоржали.
...
Рейтинг: 0 / 0
15.02.2016, 16:50
| Ответить | Цитировать | Написать  
Оптимизация PG для DWH
    #39171598
Фотография essbase.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
essbase.ru
Участник
qwwq, и дружно взоржали

не только не я ) - я не вспомнил - я и не знал.

Любая новая технология эта игра в долгую, особенно если ее лениво ковырять на выходных .
...
Рейтинг: 0 / 0
15.02.2016, 17:26
| Ответить | Цитировать | Написать  
25 сообщений из 26, страница 1 из 2
  1  все
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Оптимизация PG для DWH
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=53&msg=39171237&tid=1997433]:
 0ms
get settings:
 10ms
get forum list:
 16ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 172ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 77ms
get tp. blocked users:
 2ms
others: 214ms
total:  509ms
созд. / загр.: 509ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]