|
|
|
Как не писать бинарники в WAL
|
|||
|---|---|---|---|
|
#18+
Доброго дня! Есть приложение, которое хранит картинки в БД PostgreSQL в поле bytea (размер 100K - 2M) и некоторые метаданные в простых полях (числа, строки) Вставка идет довольно интенсивно, при этом тормозит запись в WAL. Сейчас проблема решена путем размещения WAL-а на RAM-диске. Но это порождает другую проблему: при особо интенсивной загрузке картинок кончается место на RAM диске. Мне, в принципе, не нужно писать эти картинки в WAL и при сбоях допустимо терять бинарники (т.к. есть откуда её скачать еще раз). Но недопустимо терять прочие параметры картинки. Вопрос: есть ли возможность управлять записью в WAL так, чтобы часть данных не шла в БД через лог? Я могу, писать бинарник в отдельную таблицу, в отдельную БД или даже в отдельный инстанс PostgreSQL (последнее нежелательное, конечно). Подскажите, как отключить WAL там, куда пишется бинарник. Заранее спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.01.2015, 13:02 |
|
||
|
Как не писать бинарники в WAL
|
|||
|---|---|---|---|
|
#18+
Bulk insert by COPY. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.01.2015, 13:16 |
|
||
|
Как не писать бинарники в WAL
|
|||
|---|---|---|---|
|
#18+
originator, CREATE UNLOGGED TABLE ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.01.2015, 13:20 |
|
||
|
Как не писать бинарники в WAL
|
|||
|---|---|---|---|
|
#18+
+ дополнительная таблица для важной информации. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.01.2015, 13:22 |
|
||
|
Как не писать бинарники в WAL
|
|||
|---|---|---|---|
|
#18+
originatorV&Noriginator, CREATE UNLOGGED TABLE Помогло. Спасибо! надеюсь что вы ВНИМАТЕЛЬНО прочли документацию про UNLOGGED в двух частях 1)она не реплицируется от слова вообще 2)при сбое сервера (reset нажали или Kill -9 или база упала) таблица обнуляется (ВСЯ а не последние вставленные данные) (т.е. вы не последнюю картинку потеряете а вообще все) PS: бинарники надо на файловой системе держать... им в базе не место... картинки в базе имеют совершенно запредельный overhead по процессору при отдаче. --Maxim Boguk www.postgresql-consulting.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.01.2015, 15:43 |
|
||
|
Как не писать бинарники в WAL
|
|||
|---|---|---|---|
|
#18+
Maxim Bogukoriginatorпропущено... Помогло. Спасибо! надеюсь что вы ВНИМАТЕЛЬНО прочли документацию про UNLOGGED в двух частях 1)она не реплицируется от слова вообще 2)при сбое сервера (reset нажали или Kill -9 или база упала) таблица обнуляется (ВСЯ а не последние вставленные данные) (т.е. вы не последнюю картинку потеряете а вообще все) PS: бинарники надо на файловой системе держать... им в базе не место... картинки в базе имеют совершенно запредельный overhead по процессору при отдаче. --Maxim Boguk www.postgresql-consulting.ru Некогда не понимал зачем картинки хранить в БД. Это все равно что, головой открывать двери. Вроде и можно, но есть же руки. Ну хоть одно преимущество кто то может сказать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.01.2015, 18:53 |
|
||
|
Как не писать бинарники в WAL
|
|||
|---|---|---|---|
|
#18+
Electric200Ну хоть одно преимущество кто то может сказать? "консистентность", погуглите ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.01.2015, 01:06 |
|
||
|
Как не писать бинарники в WAL
|
|||
|---|---|---|---|
|
#18+
Maxim Bogukпропущено... PS: бинарники надо на файловой системе держать... им в базе не место... картинки в базе имеют совершенно запредельный overhead по процессору при отдаче. --Maxim Boguk www.postgresql-consulting.ru стесняюсь спросить -- это теперь так модно у технарей, грести словеса в кучку ? я к чему -- мы пишем по 2*(2--3 млн) картинок в день. в базу (точнее - в базы). Отдаём по 200--300тыс на просмотр. вероятно, мы что-то делаем не так. хотелось бы аргументов. т.е. осторожно интересуюсь внятным тест-кейсом, или , на запредельный крайняк (при немощи, временной недееспособности, поносе и т.п.) -- пальцевых рассуждений по природе означенного оверхеда. (хер с ней, с консистентностью). зы. смеяться там, где лопата ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.01.2015, 10:14 |
|
||
|
Как не писать бинарники в WAL
|
|||
|---|---|---|---|
|
#18+
Любая методика должна использоваться в разумных пределах с учетом области, где применение будет ее наиболее эффективным. Если на реальном примере аргументировано растолкуете, преимущества хранения изображений в БД, то я растолкую недостатки. Только на примере реального проекта, а не стора с 10 картинками и 3 запросами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.01.2015, 10:36 |
|
||
|
Как не писать бинарники в WAL
|
|||
|---|---|---|---|
|
#18+
лопатаMaxim Bogukпропущено... PS: бинарники надо на файловой системе держать... им в базе не место... картинки в базе имеют совершенно запредельный overhead по процессору при отдаче. --Maxim Boguk www.postgresql-consulting.ru стесняюсь спросить -- это теперь так модно у технарей, грести словеса в кучку ? я к чему -- мы пишем по 2*(2--3 млн) картинок в день. в базу (точнее - в базы). Отдаём по 200--300тыс на просмотр. вероятно, мы что-то делаем не так. хотелось бы аргументов. т.е. осторожно интересуюсь внятным тест-кейсом, или , на запредельный крайняк (при немощи, временной недееспособности, поносе и т.п.) -- пальцевых рассуждений по природе означенного оверхеда. (хер с ней, с консистентностью). зы. смеяться там, где лопата При этом напрягая 100 серверов, и кормя толку технарей. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.01.2015, 10:39 |
|
||
|
Как не писать бинарники в WAL
|
|||
|---|---|---|---|
|
#18+
Electric200пропущено... При этом напрягая 100 серверов, и кормя толку технарей. авторстесняюсь спросить -- это теперь так модно у технарей, грести словеса в кучку ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.01.2015, 10:43 |
|
||
|
Как не писать бинарники в WAL
|
|||
|---|---|---|---|
|
#18+
лопатаMaxim Bogukпропущено... PS: бинарники надо на файловой системе держать... им в базе не место... картинки в базе имеют совершенно запредельный overhead по процессору при отдаче. --Maxim Boguk www.postgresql-consulting.ru стесняюсь спросить -- это теперь так модно у технарей, грести словеса в кучку ? я к чему -- мы пишем по 2*(2--3 млн) картинок в день. в базу (точнее - в базы). Отдаём по 200--300тыс на просмотр. вероятно, мы что-то делаем не так. хотелось бы аргументов. т.е. осторожно интересуюсь внятным тест-кейсом, или , на запредельный крайняк (при немощи, временной недееспособности, поносе и т.п.) -- пальцевых рассуждений по природе означенного оверхеда. (хер с ней, с консистентностью). зы. смеяться там, где лопата Вот возьмите 1 сервер. Попробуйте отдавать сотню разных картинок с диска как статику используя правильно настроенный Nginx в пару десятков потоков так чтобы загрузить гигабитный интерфейс. И попробуйте тот же гигабит отдать отдавая картинки средствами PHP (или что вам хочеться потестировать) из базы. А потом посмотрите на графики использования CPU в обоих случаях. PS: повежливее. --Maxim Boguk www.postgresql-consulting.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.01.2015, 11:26 |
|
||
|
Как не писать бинарники в WAL
|
|||
|---|---|---|---|
|
#18+
Maxim Bogukлопатапропущено... стесняюсь спросить -- это теперь так модно у технарей, грести словеса в кучку ? я к чему -- мы пишем по 2*(2--3 млн) картинок в день. в базу (точнее - в базы). Отдаём по 200--300тыс на просмотр. вероятно, мы что-то делаем не так. хотелось бы аргументов. т.е. осторожно интересуюсь внятным тест-кейсом, или , на запредельный крайняк (при немощи, временной недееспособности, поносе и т.п.) -- пальцевых рассуждений по природе означенного оверхеда. (хер с ней, с консистентностью). зы. смеяться там, где лопата Вот возьмите 1 сервер. Попробуйте отдавать сотню разных картинок с диска как статику используя правильно настроенный Nginx в пару десятков потоков так чтобы загрузить гигабитный интерфейс. И попробуйте тот же гигабит отдать отдавая картинки средствами PHP (или что вам хочеться потестировать) из базы. А потом посмотрите на графики использования CPU в обоих случаях. PS: повежливее. --Maxim Boguk www.postgresql-consulting.ru это теперь такие кейсы ? или пальцевые выкладки ? рад за нынешнее поколение технарей. PS вежливость технаря-- выкладки.а с ними у вас напряг. иди, куй, мальчик. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.01.2015, 12:21 |
|
||
|
|
start [/forum/topic.php?fid=53&gotonew=1&tid=1998213]: |
0ms |
get settings: |
7ms |
get forum list: |
16ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
183ms |
get topic data: |
8ms |
get first new msg: |
5ms |
get forum data: |
2ms |
get page messages: |
50ms |
get tp. blocked users: |
1ms |
| others: | 193ms |
| total: | 471ms |
| 0 / 0 |
