|
|
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
У меня стоит задача использовать PG как хранилово таблиц где будет чуть-чуть пакетных INSERT и множество аналититческих SELECT. Вопросы 1) есть ли стандартный FAQ , который описывает типичный набор настроек для PG под эти цели ? 2) Oracle страдает от того , что в принципе в нем нельзя отключить транзакционный механизм проверки целостности, Как дела обстоят в PG - есть ли возможность убрать все лишнее ? - (про GreenPlum слышал, но пока не готов на него решится) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 09:53 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
essbase.ru, https://habrahabr.ru/post/217073/ http://pgtune.leopard.in.ua/ DB Type: Data warehouses вот была/есть попытка, начните отсюда, почему нет -- вот дела, я дал ссылку на хабр ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 10:54 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
essbase.ru, > Oracle страдает pg тут тоже "страдает" в вашей терминологии ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 10:57 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
Misha Tyurinpg тут тоже "страдает" в вашей терминологии это не я сказал- это теродата обличает http://www.teradata.com/assets/0/206/276/5bfc4694-ce82-4a07-867d-3f1040d3df8b.pdf За ссылки спасибо - буду изучать ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 11:13 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
essbase.ru, нам "теродата" как бы интересна оч условно ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 11:15 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
> буду изучать вы потом напишите, что будет получаться, -- скорее всего всё надо будет переделать. но к тому моменту будьте готовы понимать, что поменянные вами параметры означают. http://www.postgresql.org/docs/current/static/runtime-config-resource.html shared_buffers work_mem и далее по списку ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 11:19 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
[quot essbase.ru меня стоит задача использовать PG как хранилово таблиц где будет чуть-чуть пакетных INSERT и множество аналититческих SELECT. Вопросы 1) есть ли стандартный FAQ , который описывает типичный набор настроек для PG под эти цели ? Вообще стандартных настроек бд не существует Побольше памяти, побольше кэша данных... 2) Oracle страдает от того , что в принципе в нем нельзя отключить транзакционный механизм проверки целостности, Как дела обстоят в PG - есть ли возможность убрать все лишнее ? Орал от этого не страдает ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 11:47 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
MasterZivОрал от этого не страдает конечно нет . ) но все равно хотелось выжить максимум из этого комбайна ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 11:58 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
MasterZivПобольше памяти, побольше кэша данных... ну например , в оракле можно было сказать /OLOGGING для табли или табличных пространств, что бы минимизировать логи. кста! - насколько я прочитал , PG поддерживает из коробки полную версионность , - IMHO крайне вредная штука для DWH . как бы от нее избавиться ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 12:01 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
essbase.ruнапример , в оракле можно было сказать /OLOGGING для табли или табличных пространств, что бы минимизировать логи. ALTER TABLE tab SET UNLOGGED; essbase.ruPG поддерживает из коробки полную версионность , - IMHO крайне вредная штука для DWH. как бы от нее избавиться? Это фундаментальная фича. Избавиться — никак. Может какой-то из движков MySQL'а вам больше подойдет? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 12:15 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
essbase.ru, Без версионности и транзакций пишите прямо в файл на диск)))). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 12:20 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
Petro123Без версионности и транзакций пишите прямо в файл на диск)))). звучит как анекдот - а есть ли действительно механизмы прямой вставки данных ? например как бы это выглядело в оракл есть партиционная таблица 1) удаляю партицию которая отвечает за определенный период 2) заливаю табличку сбоку требуемыми данными 3) объявляю этот аппендикс как новую партицию ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 12:45 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
Petro123прямо в файл на диск Блин, а в Оракл еще можно CSV файл подсунуть как внешнюю таблицу ) в PG такое возможно ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 12:47 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
essbase.ruPetro123Без версионности и транзакций пишите прямо в файл на диск)))). звучит как анекдот - а есть ли действительно механизмы прямой вставки данных ? например как бы это выглядело в оракл есть партиционная таблица 1) удаляю партицию которая отвечает за определенный период 2) заливаю табличку сбоку требуемыми данными 3) объявляю этот аппендикс как новую партицию Конкретно этот подход в PG вполне рабочий. Но не ясно причем тут нетранзакционность и без версионности? -- Maxim Boguk www.postgresql-consulting.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 12:48 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
Maxim BogukКонкретно этот подход в PG вполне рабочий ок - я правильно понимаю что при таком подходе будет всегда только одна версия данных ? - так как прошлое просто уйдет в космос вместе с дропнутой партицией ? Maxim BogukНо не ясно причем тут нетранзакционность и без версионности? скорость наше все - надежность не нужна - проще дропнуть артифакты от убитой задачи и перезапустить пакет с нуля ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 12:55 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
essbase.ruв Оракл еще можно CSV файл подсунуть как внешнюю таблицу ) в PG такое возможно ? Раз — через COPY Два — через file_fdw ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 13:44 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
essbase.ruскорость наше все - надежность не нужна - проще дропнуть артифакты от убитой задачи и перезапустить пакет с нуля вам уже писали. смотрите в сторону UNLOGGED TABLES. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 14:07 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
essbase.ruMasterZivОрал от этого не страдает конечно нет . ) но все равно хотелось выжить максимум из этого комбайна а админа пгшного почему нет? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 15:04 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
Ivan Durakа админа пгшного почему нет? +1 )) LOL ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 15:07 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
essbase.ru, Женя, и до тебя PG добрался! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 15:35 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
Ivan Durakа админа пгшного почему нет? потому что я пока инвестирую свое время для нового рынка ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 16:01 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
essbase.ruMaxim BogukКонкретно этот подход в PG вполне рабочий ок - я правильно понимаю что при таком подходе будет всегда только одна версия данных ? - так как прошлое просто уйдет в космос вместе с дропнутой партицией ? Да. -- Maxim Boguk www.postgresql-consulting.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 16:39 |
|
||
|
Оптимизация PG для DWH
|
|||
|---|---|---|---|
|
#18+
essbase.ruIvan Durakа админа пгшного почему нет? потому что я пока инвестирую свое время для нового рынка ) все дружно вспомнили анек про стартап, и дружно взоржали. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2016, 16:50 |
|
||
|
|
start [/forum/topic.php?fid=53&fpage=97&tid=1997433]: |
0ms |
get settings: |
7ms |
get forum list: |
19ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
47ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
72ms |
get tp. blocked users: |
1ms |
| others: | 203ms |
| total: | 367ms |
| 0 / 0 |
