powered by simpleCommunicator - 2.0.40     © 2025 Programmizd 02
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / PostgresSql vs Ent. Postgres
54 сообщений из 54, показаны все 3 страниц
PostgresSql vs Ent. Postgres
    #40055321
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Не велите казнить.
Возможно придется мигрировать с Оракла на Постгресс.
База несколько Тб.
в связи с этим(я прочел рекламные буклеты постгресс про) несколько вопросов к знатокам, если позволите.
1. Стоит ли вообще рассматривать Энтерпрайз решения постгресс?
2. Преимущества?
3. Недостатки?
4. как быстро появляется интерпрайз решение для новой версии ПГ?
5. Можно ли безболезненно мигрировать с обычного ПГ на Ентерпрайз расширение (и обратно)?

Нет ли тут "разбойничей" практики оракла совершать набеги на мирных поселенцев, неспешно возделывавыюших свои таблицы, забывших по наивности, учесть ядра не только на сервере, но и на всей виртуальной ферме, во всем здании, стране и т.д. ведь теоретически мы тоже можем их использовать))
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40055327
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
Не велите казнить.
Возможно придется мигрировать с Оракла на Постгресс.
База несколько Тб.
в связи с этим(я прочел рекламные буклеты постгресс про) несколько вопросов к знатокам, если позволите.
1. Стоит ли вообще рассматривать Энтерпрайз решения постгресс?
2. Преимущества?
3. Недостатки?
4. как быстро появляется интерпрайз решение для новой версии ПГ?
5. Можно ли безболезненно мигрировать с обычного ПГ на Ентерпрайз расширение (и обратно)?

Нет ли тут "разбойничей" практики оракла совершать набеги на мирных поселенцев, неспешно возделывавыюших свои таблицы, забывших по наивности, учесть ядра не только на сервере, но и на всей виртуальной ферме, во всем здании, стране и т.д. ведь теоретически мы тоже можем их использовать))


Надеюсь топик не выродится в срач... очень уж тема опасная...

1. Рассматривать можно и нужно, но смотря что вам надо... все таки он больших денег стоит... мое мнение что оправдано только если вам разновсякая сертификация ПО нужна внутрироссийская

2. Есть коробка - продажа - официальный поставщик и тд... часто в корпоративных решениях без этого никак... идею open source free software не понимают... есть куча дополнительной не совместимой функциональности допиленной относительно open source официальной версии (хорошо это или плохо зависит от точки зрения). Официальная поддержка от продавца коробки (но как и у Оракла нормальная поддержка за отдельные деньги)

3. Следуют из ответа на п.2 - свои фичи и свои глюки не существующие в обычной версии... вендор лок опять же на конкретное решение (смысл сползать с oracle чтобы опять vendor lock поймать не ясен).

4. Тут не отвечу... по моим ощущениям major релизы где то на полгода отстают но могу ошибаться (со свечкой не стоял)

5. С обычного на enterprise то легко... назад - если вы фичи из enterprise используете может быть нетривиально. В любом случае бинарно они несовместимы с обычным postgresql помоему.

Оправданность решать вам и только вам.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40055328
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Maxim Boguk

5. С обычного на enterprise то легко... назад - если вы фичи из enterprise используете может быть нетривиально. В любом случае бинарно они несовместимы с обычным postgresql помоему.

несовместимы!
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40055344
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Maxim Boguk

Надеюсь топик не выродится в срач... очень уж тема опасная...

не ради срача)
Maxim Boguk

1. Рассматривать можно и нужно, но смотря что вам надо... все таки он больших денег стоит... мое мнение что оправдано только если вам разновсякая сертификация ПО нужна внутрироссийская

мы частники, нам пофиг. Ентерпрайз можно и "не наш" рассматривать.
Maxim Boguk

2. Есть коробка - продажа - официальный поставщик и тд... часто в корпоративных решениях без этого никак... идею open source free software не понимают... есть куча дополнительной не совместимой функциональности допиленной относительно open source официальной версии (хорошо это или плохо зависит от точки зрения). Официальная поддержка от продавца коробки (но как и у Оракла нормальная поддержка за отдельные деньги)
3. Следуют из ответа на п.2 - свои фичи и свои глюки не существующие в обычной версии... вендор лок опять же на конкретное решение (смысл сползать с oracle чтобы опять vendor lock поймать не ясен).

у нас самописная система. это радует и огорчает одновременно)
Maxim Boguk

4. Тут не отвечу... по моим ощущениям major релизы где то на полгода отстают но могу ошибаться (со свечкой не стоял)

5. С обычного на enterprise то легко... назад - если вы фичи из enterprise используете может быть нетривиально. В любом случае бинарно они несовместимы с обычным postgresql помоему.

понятно.
попутно вот вопрос возник.
уже многое мигрировали в ПГ с оракла.
вроде бы и все нормально, но меня лично вымораживает необходимость дропать вьюхи чтобы изменить тип поля. причем все остальные зависимые объекты перестраиваются сами без проблем. за что разрабы ПГ так ненавидят людей использующих вьюхи? :-)
и как с этим в ентерпрайз решениях?)
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40055356
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль

понятно.
попутно вот вопрос возник.
уже многое мигрировали в ПГ с оракла.
вроде бы и все нормально, но меня лично вымораживает необходимость дропать вьюхи чтобы изменить тип поля. причем все остальные зависимые объекты перестраиваются сами без проблем. за что разрабы ПГ так ненавидят людей использующих вьюхи? :-)
и как с этим в ентерпрайз решениях?)


Думаю никак не обстоит... оно слишком глубоко зашито чтобы это можно было легко переделать/поправить.

Да и без КРАЙНЕЙ необходимости (обычно это совместимость с миллионолетним кодом который никто переписывать не хочет) - views вообще не особо нужны в реальной работе (в отличии от matviews но там смена типа поля вполне очевидно почему перестройки требует).

Т.е. мое мнение что эту проблему не чинят по одной причине - views используются редко и это ограничение особых проблем не вызывает.

фичи enterprise версий в 90% случаев расширяют функциональность базы но менять зашитые ограничения и поведение - они обычно не могут (слишком это сложно и дорого в поддержке оказывается... в свое время greenplum сильно об это ударился).

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40055357
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль,

А расскажите про то как views в оракле работают...
Вот есть у вас view
select field1 from table;

что с ним будет если field1 в table переименуют в field2 ?

В pg view автоматически превратиться в select field2 from table; например.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40055363
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Maxim Boguk
Надфиль,

А расскажите про то как views в оракле работают...
Вот есть у вас view
select field1 from table;

что с ним будет если field1 в table переименуют в field2 ?

В pg view автоматически превратиться в select field2 from table; например.

во первых оракл просто позволит не дропая вьюху, менять таблицы и поля от которых вьюха зависит.
он сделает вьюху(и все зависимые объекты) "не валидной" при первом обращении к ней скомпилирует вьюху.(если поменять имя поля в таблице или значимо тип поменять, то не сможет скомпилировать ).
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40055489
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
Возможно придется мигрировать с Оракла на Постгресс.

Тут следует уточнить цели этой миграции.

Если цель сэкономить на лицензии - энтерпрайс решения по определению не позволят её достичь.

Если "импортозамещение", то следует оценить свои силы, ибо "кадры решают всё" и если их будет достаточно чтобы вникнуть в новую СУБД (и, возможно, даже модифицировать её под свои нужды) - вы сами себе энтерпрайс. В противном случае без внешней поддержки вам не обойтись.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40055502
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry Sibiryakov

Если цель сэкономить на лицензии - энтерпрайс решения по определению не позволят её достичь.

ну постгресс показался в несколько раз дешевле. у оракла каждый чих за отдельные деньги.
или мне просто не показали прайс на "чихи"?))
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40055520
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
Dimitry Sibiryakov

Если цель сэкономить на лицензии - энтерпрайс решения по определению не позволят её достичь.

ну постгресс показался в несколько раз дешевле. у оракла каждый чих за отдельные деньги.
или мне просто не показали прайс на "чихи"?))


части модных чихов тип RAC нет просто в природе ни за какие деньги...
мое мнение при отсутствии требования к сертификации используемого ПО - enterprise платные форки смысла имеют очень мало.
Разве что вы очень точно знаете что вам вот без какой то конкретной фичи доступной где то в коммерческом форке вообще никак.

Начинать точно с обычной open source и дальше смотреть насколько вам ее хватает (в 90% случаев будет хватать с головой).


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40055729
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Maxim Boguk

части модных чихов тип RAC нет просто в природе ни за какие деньги...

и как, кстати, жить с этим? я так понимаю что "кластеры" ПГ это в основном для выживаемости, а нагрузку как масштабировать?
Наращивать мощность одного сервера можно не бесконечно, да и эффект от увеличения ОЗУ с 500Гб до 1Тб будет меньше эффекта увлечения памяти с 2500Гб до 500. (цифры от балды чисто для иллюстрации).
применять то, что называют модным словом "шардинг"?
Maxim Boguk

мое мнение при отсутствии требования к сертификации используемого ПО - enterprise платные форки смысла имеют очень мало.
Разве что вы очень точно знаете что вам вот без какой то конкретной фичи доступной где то в коммерческом форке вообще никак.

Начинать точно с обычной open source и дальше смотреть насколько вам ее хватает (в 90% случаев будет хватать с головой).

да, мы пришли примерно к такому выводу, поэтому и топик возник, может я чегото не рассмотрел в преимуществах платных форков...
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40055754
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль

и как, кстати, жить с этим? я так понимаю что "кластеры" ПГ это в основном для выживаемости, а нагрузку как масштабировать?
Наращивать мощность одного сервера можно не бесконечно, да и эффект от увеличения ОЗУ с 500Гб до 1Тб будет меньше эффекта увлечения памяти с 2500Гб до 500. (цифры от балды чисто для иллюстрации).
применять то, что называют модным словом "шардинг"?


Ровно так же как и по моему (могу ошибаться) сейчас модно на Oracle делать (и это совсем не RAC).
Настройка репликации и вынос читающей нагрузки не чувствительной к небольшому отставанию на реплики (т.е. как у ActiveDataGuard или как там его зовут делают).
А реплик уже ставиться столько сколько надо.
Оставляя на мастере только нагрузку которая точно должна быть синхронной с записью (обычно это 10% нагрузки или меньше).

Шардинг он скорее нужен когда у вас обьем данных перестает влезать в разумные границы и ставить 10 реплик по 100TB ssd каждая становится просто дорого.


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40055874
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Maxim Boguk
мое мнение при отсутствии требования к сертификации используемого ПО - enterprise платные форки смысла имеют очень мало.

То есть ваша поддержка бесполезна? Ведь именно ради того чтобы в нештатной ситуации было к кому обратиться за экстренной помощью энтерпрайс-редакции и покупаются.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40056013
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov
Maxim Boguk
мое мнение при отсутствии требования к сертификации используемого ПО - enterprise платные форки смысла имеют очень мало.

То есть ваша поддержка бесполезна? Ведь именно ради того чтобы в нештатной ситуации было к кому обратиться за экстренной помощью энтерпрайс-редакции и покупаются.


Чтобы ответить на эту предьяву придется достаточно долго и занудно отделять мух от котлет...
Ну чтож... приступим.

1)вообще коробки и коммерческие (и какие либо вообще) форки не производим и не планируем (хотя местами клиенты и хотят)

2)занимаемся поддержкой open source версии именно для того чтобы в случае экстренной ситуации было к кому обратиться (да и в не экстренной ситуации тоже)

3)стараемся не связываться с поддержкой коммерческих форков (потому что поддерживать костыли не будучи их автором ну очень безблагодатно)

4)что очень важно - покупка коммерческого enterprise НЕ ДАЕТ сколько то внятной поддержки... за поддержку enterprise версии базы надо платить отдельно (и тоже по enterprise тарифам)

5)задача enterprise версии дать 1)понятную коробку и систему лицензирования привычную корпоративным пользователям 2)дать сертифицированную версию 3)чтобы объяснить зачем она вообще нужна - добавить туда некоторое количество костылей для похожести на oracle или просто популярных разной степени работоспособности но неизменно популярных в запросах у клиентов (типа multimaster и автофейловер)
Т.е. это все сильно больше про шашечки а не про ехать но мир корпоративного IT он вообще весь такой: “Nobody gets fired for buying IBM”


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40056121
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Maxim Boguk,
немного не по теме топика.
а партицирование в 13 версии все еще тупит на вставку когда партиций больше определенного количества?
и все еще не создает партицию само при отсутствии таковой при вставке?
спасибо.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40056125
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
Maxim Boguk,
немного не по теме топика.
а партицирование в 13 версии все еще тупит на вставку когда партиций больше определенного количества?
и все еще не создает партицию само при отсутствии таковой при вставке?
спасибо.


>Не надо тысячи партиций делать оно не работало нормально и не будет... 100-200 разумный лимит (20 лет помесячных партиций это с головой).

>и все еще не создает партицию само при отсутствии таковой при вставке?
нет и не планируется даже в 14 версии
(это кстати еще одна фича в категории "просто разной степени работоспособности но неизменно популярных в запросах у клиентов")


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40056128
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Maxim Boguk

>Не надо тысячи партиций делать оно не работало нормально и не будет... 100-200 разумный лимит (20 лет помесячных партиций это с головой).

ну вот на одной таблице у меня недельные партиции, в каждой 200-400 млн строк..
благо больше 3-х месяцев пока хранить не надо.

Maxim Boguk

нет и не планируется даже в 14 версии
(это кстати еще одна фича в категории "просто разной степени работоспособности но неизменно популярных в запросах у клиентов")

наверно, это сговор) производители фич занесли в опенсоурс чемоданчик, чтобы не торопились. мне почему то не кажется эта фича сложной в реализации))
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40056131
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль

Maxim Boguk

нет и не планируется даже в 14 версии
(это кстати еще одна фича в категории "просто разной степени работоспособности но неизменно популярных в запросах у клиентов")

наверно, это сговор) производители фич занесли в опенсоурс чемоданчик, чтобы не торопились. мне почему то не кажется эта фича сложной в реализации))


Сложной... у вас появляются очень неприятные риски что случайная вставка поставит весь проект раком если автоматически партиции создавать.
Потому что добавление партиции в дерево требует получения эксклюзивной блокировки на родителя (как любой DDL).

Это то почему на prod DDL вносят руками под присмотром dba и с timeouts (чтобы не уронить все ненароком)... добавление партиций тот же DDL.

Т.е. в лоб сделать то не сложно, сложно сделать так чтобы оно все не роняло с вероятностью близкой к 100% например во время работы pg_dump или долгого отчета.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058227
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Maxim Boguk,

Еще вопрос. У меня в базе оракла довольно много BLOB полей.
тут вычитал, дескать blobы сделаны в ПГ мягко говоря не блестяще и лучше храните их где нибудь на ФС, а в базе ссылку.
у меня картинки, и документы в виде пдф, док, ексель и т.д. присутствуют в большом количестве.
прочел здесь
https://wiki.postgresql.org/wiki/Oracle_to_Postgres_Conversion
в разделе про blob

или я наткнулся на "наскальные надписи предков" и уже все совсем не так?
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058236
yob
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
yob
Гость
т
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058240
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
yob
Надфиль,
если вы разраб на ПГ, то вы все это автоматизируете под себя

я в целом и в основном ДБА от оракла.
но разрабов под рукой хватает. прикладных.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058245
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
Maxim Boguk,

Еще вопрос. У меня в базе оракла довольно много BLOB полей.
тут вычитал, дескать blobы сделаны в ПГ мягко говоря не блестяще и лучше храните их где нибудь на ФС, а в базе ссылку.
у меня картинки, и документы в виде пдф, док, ексель и т.д. присутствуют в большом количестве.
прочел здесь
https://wiki.postgresql.org/wiki/Oracle_to_Postgres_Conversion
в разделе про blob

или я наткнулся на "наскальные надписи предков" и уже все совсем не так?

я тоже перешел с оракла, но считаю что хранить блобы в РСУБД - это зло. Даже в оракле.
В оракле их "принято" хранить потому что куча бабла уже уплачена за "комбайн".
Но это тоже не есть правильно.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058250
yob
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
yob
Гость
Надфиль
yob
Надфиль,
если вы разраб на ПГ, то вы все это автоматизируете под себя

я в целом и в основном ДБА от оракла.
но разрабов под рукой хватает. прикладных.

это я в тему Drop view каждый раз при изменении поля...

так вот каждый ДБА обрастает набором рабочих скриптов, которые использует для решения конкретных прикладных задач и проблем. Исходя из этой логики Drop view при изменении поля вносится в список рабочих скриптов/фич/не знаю, хранится под рукой и не вызывает проблем.
Могу ошибаться, просто вырвалось)
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058251
yob
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
yob
Гость
mefman,
+ 1
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058255
yob
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
yob
Гость
mefman
Надфиль
Maxim Boguk,

Еще вопрос. У меня в базе оракла довольно много BLOB полей.
тут вычитал, дескать blobы сделаны в ПГ мягко говоря не блестяще и лучше храните их где нибудь на ФС, а в базе ссылку.
у меня картинки, и документы в виде пдф, док, ексель и т.д. присутствуют в большом количестве.
прочел здесь
https://wiki.postgresql.org/wiki/Oracle_to_Postgres_Conversion
в разделе про blob

или я наткнулся на "наскальные надписи предков" и уже все совсем не так?

я тоже перешел с оракла, но считаю что хранить блобы в РСУБД - это зло. Даже в оракле.
В оракле их "принято" хранить потому что куча бабла уже уплачена за "комбайн".
Но это тоже не есть правильно.

Потом обязательно появятся люди, которые завяжутся на блобы, даже если они впоследствии были обработаны, распарсены, разложены, не знаю. Много средств, которые обеспечивают более гибкие возможности для хранения
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058287
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
Maxim Boguk,

Еще вопрос. У меня в базе оракла довольно много BLOB полей.
тут вычитал, дескать blobы сделаны в ПГ мягко говоря не блестяще и лучше храните их где нибудь на ФС, а в базе ссылку.
у меня картинки, и документы в виде пдф, док, ексель и т.д. присутствуют в большом количестве.
прочел здесь
https://wiki.postgresql.org/wiki/Oracle_to_Postgres_Conversion
в разделе про blob

или я наткнулся на "наскальные надписи предков" и уже все совсем не так?


Блобы в pg держать можно... имею под рукой базу на 5TB где 95% это блобы и bytea и как то шевелится.

Но НЕ НУЖНО, не надо из базы делать файловую систему.
Не нужно - в данном случае экономически по overhead на оборудование будет неоправданно на хоть сколько то тяжелых базах и обьемах файлов.

И это не зависит от того насколько вся блестяще сделано, просто база это база а файлы это файлы.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058303
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
yob

так вот каждый ДБА обрастает набором рабочих скриптов, которые использует для решения конкретных прикладных задач и проблем. Исходя из этой логики Drop view при изменении поля вносится в список рабочих скриптов/фич/не знаю, хранится под рукой и не вызывает проблем.

да есть уже "скрит" для этого, у этих вьюх тоже может быть куча зависимостей. часто это далеко не конченый объект, лично я вьюхи терпеть не могу в любой базе)
вопрос был связан с тем что при смене типа поля, все гораздо более сложные и важные объекты "сами" перестраиваюются без проблем. индексы, функции, процедуры. с сраные вьюхи даже не дают это сделать.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058309
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Maxim Boguk

Блобы в pg держать можно... имею под рукой базу на 5TB где 95% это блобы и bytea и как то шевелится.

Но НЕ НУЖНО, не надо из базы делать файловую систему.
Не нужно - в данном случае экономически по overhead на оборудование будет неоправданно на хоть сколько то тяжелых базах и обьемах файлов.

И это не зависит от того насколько вся блестяще сделано, просто база это база а файлы это файлы.

я немного о другом спросил, блобы действительно мешают делать бэкапы?
пока врядли нам будет дело до переноса блобов в ФС. их много и они нужны, но не часто, поэтому пока полежат там где они есть.
вопрос насколько они отравят мне жизнь?
у нас будет мощный сервер с хранилкой на ССД.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058312
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
Maxim Boguk

Блобы в pg держать можно... имею под рукой базу на 5TB где 95% это блобы и bytea и как то шевелится.

Но НЕ НУЖНО, не надо из базы делать файловую систему.
Не нужно - в данном случае экономически по overhead на оборудование будет неоправданно на хоть сколько то тяжелых базах и обьемах файлов.

И это не зависит от того насколько вся блестяще сделано, просто база это база а файлы это файлы.

я немного о другом спросил, блобы действительно мешают делать бэкапы?
пока врядли нам будет дело до переноса блобов в ФС. их много и они нужны, но не часто, поэтому пока полежат там где они есть.
вопрос насколько они отравят мне жизнь?
у нас будет мощный сервер с хранилкой на ССД.

вот уж не думаю что они как-то особенно мешают.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058320
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
Maxim Boguk

Блобы в pg держать можно... имею под рукой базу на 5TB где 95% это блобы и bytea и как то шевелится.

Но НЕ НУЖНО, не надо из базы делать файловую систему.
Не нужно - в данном случае экономически по overhead на оборудование будет неоправданно на хоть сколько то тяжелых базах и обьемах файлов.

И это не зависит от того насколько вся блестяще сделано, просто база это база а файлы это файлы.

я немного о другом спросил, блобы действительно мешают делать бэкапы?
пока врядли нам будет дело до переноса блобов в ФС. их много и они нужны, но не часто, поэтому пока полежат там где они есть.
вопрос насколько они отравят мне жизнь?
у нас будет мощный сервер с хранилкой на ССД.


Тут вопрос в том что снять backup (base_backup) базы не затягивая в него blobs все оптом - не получится.
Поэтому если у вас в базе гигабайт данных и терабайт почти никогда не изменяемых файлов - у вас на каждый base backup будет этот самый терабайт копироваться... нагружая и диски и сеть и требуя изрядно времени и места на backup и/или аварийное восстановление.
Технически проблем нет просто сильно больше сети и оборудования надо.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058332
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Maxim Boguk
Надфиль
пропущено...

я немного о другом спросил, блобы действительно мешают делать бэкапы?
пока врядли нам будет дело до переноса блобов в ФС. их много и они нужны, но не часто, поэтому пока полежат там где они есть.
вопрос насколько они отравят мне жизнь?
у нас будет мощный сервер с хранилкой на ССД.


Тут вопрос в том что снять backup (base_backup) базы не затягивая в него blobs все оптом - не получится.
Поэтому если у вас в базе гигабайт данных и терабайт почти никогда не изменяемых файлов - у вас на каждый base backup будет этот самый терабайт копироваться... нагружая и диски и сеть и требуя изрядно времени и места на backup и/или аварийное восстановление.
Технически проблем нет просто сильно больше сети и оборудования надо.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru

ну это для любой РСУБД верно.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058333
Павел Лузанов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
...вопрос был связан с тем что при смене типа поля, все гораздо более сложные и важные объекты "сами" перестраиваюются без проблем. индексы, функции, процедуры. с сраные вьюхи даже не дают это сделать.

Из любопытства. А какие у вас причины менять тип столбцов таблицы? Не размерность varchar увеличивать случаем?
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058334
yob
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
yob
Гость
Надфиль
yob

так вот каждый ДБА обрастает набором рабочих скриптов, которые использует для решения конкретных прикладных задач и проблем. Исходя из этой логики Drop view при изменении поля вносится в список рабочих скриптов/фич/не знаю, хранится под рукой и не вызывает проблем.

да есть уже "скрит" для этого, у этих вьюх тоже может быть куча зависимостей. часто это далеко не конченый объект, лично я вьюхи терпеть не могу в любой базе)
вопрос был связан с тем что при смене типа поля, все гораздо более сложные и важные объекты "сами" перестраиваюются без проблем. индексы, функции, процедуры. с сраные вьюхи даже не дают это сделать.

1) Здесь вопрос в архитектуре и решается на стадии проектирования, но да, момент есть с некоторым неудобством имеется, иногда случаются сюрпризы
2) Используете систему контроля версий и без проблем отслеживаете зависимости с последующей выкаткой
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058336
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Павел Лузанов

Из любопытства. А какие у вас причины менять тип столбцов таблицы? Не размерность varchar увеличивать случаем?

в основном изза немного кривой работы утилиты ora2pg, ни сразу увидел, что оно очень многие типы полей передало не так как нам нужно
numeric почти везде и без размера.
или float/double и тд там, где нужно с точкой и несколькими знаками после запятой.
ну и, кроме того, захотелось сделать для справочников маленьких в качестве ид инт2,
для вещей побольше инт4.
для совсем больших идешек инт8
я об этом в тайне мечтал на оракле).
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058337
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
yob

1) Здесь вопрос в архитектуре и решается на стадии проектирования, но да, момент есть с некоторым неудобством имеется, иногда случаются сюрпризы
2) Используете систему контроля версий и без проблем отслеживаете зависимости с последующей выкаткой

1. система не с нуля же. и у нас обычно проектирование, написание, тестирование, деплой сводится к технологии "херак/херак и в продакшен"))
2. обычно выкатка "изменений" у нас заключается в "собственники решили, что теперь ценообразование целиком зависит от погоды в Гондурасе, но если нам не понравится, то прям вчера поменяйте на столетний прогноз погоды по Антарктиде".
и это боль чтото поменять в базе на которой нет серьезной нагрузки глубокой ночью с субботы на воскресенье.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058338
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Maxim Boguk

Тут вопрос в том что снять backup (base_backup) базы не затягивая в него blobs все оптом - не получится.
Поэтому если у вас в базе гигабайт данных и терабайт почти никогда не изменяемых файлов - у вас на каждый base backup будет этот самый терабайт копироваться... нагружая и диски и сеть и требуя изрядно времени и места на backup и/или аварийное восстановление.
Технически проблем нет просто сильно больше сети и оборудования надо.

спасибо.
и как сейчас принято хранить блобы отдельно?
на какой ФС хотябы)
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40058340
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
Maxim Boguk

Тут вопрос в том что снять backup (base_backup) базы не затягивая в него blobs все оптом - не получится.
Поэтому если у вас в базе гигабайт данных и терабайт почти никогда не изменяемых файлов - у вас на каждый base backup будет этот самый терабайт копироваться... нагружая и диски и сеть и требуя изрядно времени и места на backup и/или аварийное восстановление.
Технически проблем нет просто сильно больше сети и оборудования надо.

спасибо.
и как сейчас принято хранить блобы отдельно?
на какой ФС хотябы)


minIO - совсем модно/молодежно
Ceph - модно/молодежно
NFS на нормальном сторадже - сурово по корпоративному
просто файловая система (ext4) + rsync - просто и в лоб (просто надо про backups не забывать)
Amazon S3 и аналоги если в облаке...

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40063113
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
а что у нас в PG с джобами?
pg_cron в целом норм, но как быть с джобами, которые работают чаще раза в минуту?
пока ничего кроме как вставить sleep в цикл внутри кода джоба, столько раз, сколько нужно в минуту выполнить(с соответствующей паузой), но это же не фига не освобождает процессор, и джоб будет постоянно занимать ядро. или я ошибаюсь?
спасибо.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40063118
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
как быть с джобами, которые работают чаще раза в минуту?

сварить архитектора этого бреда в большом котле.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40063121
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mefman

сварить архитектора этого бреда в большом котле.

и как благородный дон предлагает решать задачи требующие регулярного асинхроннного внимания с такой частотой?
например, большой склад, на место упаковки приезжаю с помощью конвеейра "тазики" с набранным товаром для одного заказа,
тазика от 1 до несколких сотен, когда "приехал" весь заказ мы, образно говоря, должны подсветить тазики одного заказа, при условии, что упаковщик собрал предыдущий подсвеченный заказ. тазики доставляться могут на место упаковки разными способами,
упаковываться тоже (с пересчетом или без например). ну и показалось, что проще раз в 10 секунд оценить "прибытие" заказов и освобождение там мощностей на упаковку, чем определять это после каждого значимого действия. помоему не плохое решение.
первоначально было, кстати, с большИм интервалом, но было высказано недовольство из за простоя лишнего в полминуты)

и что плохого в джобе раз в 10 секунд?
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40063129
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
mefman

сварить архитектора этого бреда в большом котле.

и как благородный дон предлагает решать задачи требующие регулярного асинхроннного внимания с такой частотой?
например, большой склад, на место упаковки приезжаю с помощью конвеейра "тазики" с набранным товаром для одного заказа,
тазика от 1 до несколких сотен, когда "приехал" весь заказ мы, образно говоря, должны подсветить тазики одного заказа, при условии, что упаковщик собрал предыдущий подсвеченный заказ. тазики доставляться могут на место упаковки разными способами,
упаковываться тоже (с пересчетом или без например). ну и показалось, что проще раз в 10 секунд оценить "прибытие" заказов и освобождение там мощностей на упаковку, чем определять это после каждого значимого действия. помоему не плохое решение.
первоначально было, кстати, с большИм интервалом, но было высказано недовольство из за простоя лишнего в полминуты)

и что плохого в джобе раз в 10 секунд?

Такую логику в современной it уже не реализуют на уровне БД.
Так что тут - только убить архитектора апстену.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40063134
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mefman

Такую логику в современной it уже не реализуют на уровне БД.
Так что тут - только убить архитектора апстену.

ладно я ему передам, но во первых работает хорошо уже не один год на нескольких складах.
а во вторых я спросил не об этом.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40063156
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль,

Мне кажется, что ваша задача по описанию подходит под описание именно очереди.
Для обработки очередей есть PGQ.

В любом случае, вам не обязательно тащить всё в базу.
Можно планирование вынести отдельно (в ОС, или в свой софт) и просто дёргать процедуры (или запросы) по расписанию.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40063623
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Еще вопрос, если можно.
файловая система под ПГ?
хранилка на 10 Тб на ССД дисках, как ее лучше "утилизировать" под постгрес?
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40063660
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
Еще вопрос, если можно.
файловая система под ПГ?
хранилка на 10 Тб на ССД дисках, как ее лучше "утилизировать" под постгрес?

xfs/ext4 - принципиальной разницы нет
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40063817
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
Павел Лузанов

Из любопытства. А какие у вас причины менять тип столбцов таблицы? Не размерность varchar увеличивать случаем?

в основном изза немного кривой работы утилиты ora2pg, ни сразу увидел, что оно очень многие типы полей передало не так как нам нужно
numeric почти везде и без размера.
или float/double и тд там, где нужно с точкой и несколькими знаками после запятой.
ну и, кроме того, захотелось сделать для справочников маленьких в качестве ид инт2,
для вещей побольше инт4.
для совсем больших идешек инт8
я об этом в тайне мечтал на оракле).


ну мне кажется что в данном случае правкой начальной DDL и все.
да я тоже люблю экономить место для ключей (правда больше в OLAP системах там это оправданно)
но да даже банальное изменение размера Varchar() приводит к необходимости пересоздавать вью
(опять же если данные будут закачиваться по новой - можно менять начальную DDL)

Если нет да drop/create View - мне тоже не нравится и НЕ удобно.
Но по сравнению с другими проблеами (как перевод оракл. пакетов , XML индексы в оракле ) это такамя МЕЛОЧЬ.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40066811
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Еще вопрос, если можно.
1 Тб ОЗУ, база обычное ОЛТП, хранилка на ССД.
как лучше память организовать?
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40067003
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
Еще вопрос, если можно.
1 Тб ОЗУ, база обычное ОЛТП, хранилка на ССД.
как лучше память организовать?


по большому счету на этот вопрос есть 3 школы
1)8GB shared_buffers (мне кажется эта школа сильно устарела)
2)25% shared_buffers (256GB)
3)75-90% shared_buffers (700-900GB)

для 2 и 3 обязательно huge pages включать иначе будет печально

выбор между 2 и 3 определяется влезет основной work set вашей базы в 3) или он заведомо больше чем...
я бы начал с варианта 3) имея такой сервер.


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40067076
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Maxim Boguk

по большому счету на этот вопрос есть 3 школы
1)8GB shared_buffers (мне кажется эта школа сильно устарела)
2)25% shared_buffers (256GB)
3)75-90% shared_buffers (700-900GB)

для 2 и 3 обязательно huge pages включать иначе будет печально

выбор между 2 и 3 определяется влезет основной work set вашей базы в 3) или он заведомо больше чем...
я бы начал с варианта 3) имея такой сервер.

Спасибо.
я вчера распределил по второму пути)
переделаю наверно на 3-й. У нас еще большая нагрузка от коротких сессий из интернет магазин и мы предоставляем АПИ(через веб запросы) к базе.

huge pages это обязательно при памяти больше 4Гб, ну у меня такое правило)
мало того что таблица адресов небольшая, эта память еще и не свапится никогда.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40067161
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
Maxim Boguk

по большому счету на этот вопрос есть 3 школы
1)8GB shared_buffers (мне кажется эта школа сильно устарела)
2)25% shared_buffers (256GB)
3)75-90% shared_buffers (700-900GB)

для 2 и 3 обязательно huge pages включать иначе будет печально

выбор между 2 и 3 определяется влезет основной work set вашей базы в 3) или он заведомо больше чем...
я бы начал с варианта 3) имея такой сервер.

Спасибо.
я вчера распределил по второму пути)
переделаю наверно на 3-й. У нас еще большая нагрузка от коротких сессий из интернет магазин и мы предоставляем АПИ(через веб запросы) к базе.

huge pages это обязательно при памяти больше 4Гб, ну у меня такое правило)
мало того что таблица адресов небольшая, эта память еще и не свапится никогда.

вот на 4 Гб не заменил выгоды. На сотнях - мастхев.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40097674
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Спрошу тут, чтобы ясна была предыстория.

Господа я слегка заплутал. скажите на вскидку лучший способ организовать кластер для "надежности"
а то я уже до multimastera дочитался и до чертиков в глазах.
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40097689
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
Спрошу тут, чтобы ясна была предыстория.

Господа я слегка заплутал. скажите на вскидку лучший способ организовать кластер для "надежности"
а то я уже до multimastera дочитался и до чертиков в глазах.

Patroni
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40097796
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
скажите на вскидку лучший способ организовать кластер для "надежности"

Для которой? Их две: "fault tolerance" и "high availability". Между собой несовместимы (в пределах разумных ценовых категорий).
...
Рейтинг: 0 / 0
PostgresSql vs Ent. Postgres
    #40097867
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry Sibiryakov

Для которой? Их две: "fault tolerance" и "high availability". Между собой несовместимы (в пределах разумных ценовых категорий).

"high availability"
...
Рейтинг: 0 / 0
54 сообщений из 54, показаны все 3 страниц
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / PostgresSql vs Ent. Postgres
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]