powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
25 сообщений из 27, страница 1 из 2
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063110
Фотография Bimon Subio
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если рассматривать большие базы от террабайта и выше, то скорее всего это будет только OLTP?

Насколько я понял, теперь можно поднять до 3х! стэндбаев?
Значит отчетную нагрузку с select-ами можно грузить только на стэндбаи?

Мало того, вероятно можно зареплицироваться с бесплатной Pentaho, которую можно закешировать в Clickhouse,
и вот это уже будет достаточно производительная система?

Если нагрузку на 3 стэндбая DB2 разбрасывать равномерно с балансира?

Это же получается, на мастере 16 гиг 4 ядра для набивки + еще 3 раза по столько же на запросы.
По опыту я знаю, что даже в старой коммерческой 9-ой версии DB2 на сервере с всего лишь 48 гигами оперативки обрабатывал под 100-300K селектов в секунду на достаточно нагруженном федеральном комплексе.
И СУБД явно работала не на пределе, потому что было относительно старое хранилище на железе десятилетней давности всего с 4мя дисками в RAID 10 + enterprise SSD cache for ZFS L2ARC размером примерно с половину базы данных.
Причем по iostat не хватало в основном производительности 4х HDD, просто чтобы вкачивать OLTP нагрузку.
А при этом местные запросопейсатели еще грузили систему нештатными запросами непредусмотренными разработчиками.
Мне пришлось потратить несколько недель только настройку производительности СУБД, глядя на различные метрики в прокачанных тулзах, название которых история умалчивает.

Еще и активные логи пришлось вынести на enterprise SSD.
Причем утилизация SSD редко поднималась выше 10%, а HHD диски почти постоянно около 90-99%
Если бы в хранилище хотя бы удвоили объем оперативки с 12 гиг до 24 и объем SSD для L2ARC, думаю, что с запросами вообще было бы все мгновенно, но для OLTP в любом случае было нужно наращивать количество HDD в пуле и/или их обороты.

Как высчитать, какую нагрузку сможет потянуть DB2 в той или иной конфигурации?

Понятно, что очень многое зависит от архитектуры приложения, оптимальности структуры базы, но если считать среднее по больницу при более менее оптимальном этом всем :) ?

Ведь есть какие-то естественные ограничения типа малого объема памяти для буфер пулов, для критически важных структур данных типа агентов сессий, индексов и т.п.? Чудес то не бывает ...
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063264
CawaSPb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Bimon Subio
Как высчитать, какую нагрузку сможет потянуть DB2 в той или иной конфигурации?
Теоретически, есть (был?) для этого такой хороший продукт как DB2 (IBM InfoSphere) Capture and Replay. https://learning.oreilly.com/library/view/getting-started-with/0738440396/
Были, вроде, и success story по нему. По идее, для сайзинга совершенно убойная вещь (учитывая возможность проигрывания с заданной скоростью).
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063269
Фотография Bimon Subio
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Bimon Subio

Как высчитать, какую нагрузку сможет потянуть DB2 в той или иной конфигурации?


Т.е. подразумевается, что по железу у нас самих ограничений нет, оперативки и CPU навалом.

Но в плане софтовых лицензий есть только DB2 Community, а вот тут уже софтовый лимит 16 гиг + 4ядра.

На базу какого объема хватит этих 16 гиг + 4ядра в режиме OLTP мастера и балансира запросов на три асинхронных стэндбая?

Три стэндбая - это предел , все верно?

IBMHADR allows you to have up to three standby databases in your setup.

Можно ли сделать один синхронный standby и остальные 2 асинхронные?

3 стэндбая - это предел?
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063309
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Bimon Subio,

Если в системе больше 16 GB памяти, то вы можете создать табличные пространства с включенным FILE SYSTEM CACHING. Db2 никак не может ограничить размер файлового кэша. Т.е. вы получите для своего "очень большого" пространства двойную буферизацию (в буфере Db2 и кэше OC), но это может быть гораздо эффективнее, чем неиспользование кэша ОС для пространств, как по-умолчанию.

В HADR вы можете иметь:
- 1 Principle Standby (для которого вы можете выбрать любой из 4-х доступных режимов синхронизации)
- еще не более 2-х Auxiliary Standby, для которых доступен только SUPERASYNC режим

Т.е. 3 Standbys - это предел.
Именно так и написано по вами приведенной ссылке.
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063320
CawaSPb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Bimon Subio
Т.е. подразумевается, что по железу у нас самих ограничений нет, оперативки и CPU навалом.

Но в плане софтовых лицензий есть только DB2 Community, а вот тут уже софтовый лимит 16 гиг + 4ядра.
А смысл? Мне кажется, Вы придумываете что-то не то.
Если есть необходимость оптимизировать стоимость лицензий DB2, можно много чего сделать (начиная с прямых переговоров с IBM; покупки лицензий, но отказа от renewal (== поддержки и апгрейдов); ...).
Закладывать заранее хитро-вывернутую архитектуру приложения, где часть нагрузки идёт на Read Only серверы... RO - это всё-таки удел вынесенных отчётов.

Что на HADR будет только один (!) честный главный Standby, и то на 99% не в полностью синхронном режиме (иначе он и сеть подсадят производительность изменений на Primary). Что 1000 других способов сделать копии основного сервера (репликации различных видов) на чтение - они не дадут полностью синхронного состояния. Для OLTP приложения это добавит огромное количество "чудес".
Селекты, опять же, не в воздухе сами по себе висят. Даже если какая-то большая часть транзакций Read Only, приложению в какой-то момент потребуется сделать update. И чего, менять соединение?

Надо также не забывать, что HADR - это всё-таки HA и DR решение. И когда Primary накернится, нужно будет как-то держать полную нагрузку.

На базу какого объема хватит этих 16 гиг + 4ядра в режиме OLTP мастера и балансира запросов на три асинхронных стэндбая?Очевидно, "it depends". Хотя у IBM и есть некоторый официальный sizing, но...

Три стэндбая - это предел , все верно?С помощью HADR без PureScale - да.

Можно ли сделать один синхронный standby и остальные 2 асинхронные?Только так и можно. Точнее 1 основной standby (principal) - это как правило NEARSYNC (крайне редко ставят полностью SYNC - он не бесплатен по части задержек на Primary). А дополнительные два - они вообще в режиме auxiliary (==SUPERASYNC режим).
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063348
Фотография Bimon Subio
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CawaSPb
Очевидно, "it depends". Хотя у IBM и есть некоторый официальный sizing, но...

Можно, пожалуйста пример такой инструкции? Не гуглится :(

CawaSPb

С помощью HADR без PureScale - да.


А насколько кривой получился бы pureScale на обычных недорогих X86 железках, 10 гбитном Ethernet и т.п.?
Внедрений pureScale ведь почти нет? Вакансий нет? Что ни так?

Можно было бы что-то выиграть по сравнению с 3мя standbys по схеме пары серверов только для OLTP: master + principal, когда на них не идет отчетная нагрузка, а только для набивалок данных? Сколько такое недожелезо осилит дополнительных pureScale "share all" узлов для разбрасывания на них отчетной нагрузки?

Кстати, как называется "share nothing" решение от IBM для шардинга? Data-warehouse?
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063589
CawaSPb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Bimon Subio
CawaSPb
Очевидно, "it depends". Хотя у IBM и есть некоторый официальный sizing, но...

Можно, пожалуйста пример такой инструкции? Не гуглится :(
В своё время получали такой сайзинг непосредственно от IBM (некоторая форма для заполнения не то в ворде или экселе, не то через веб - не помню уж). Но вы ж понимаете, по факту одна база будет с одним характером нагрузки, другая с другим, даже если про обе можно сказать, что они OLTP.

А насколько кривой получился бы pureScale на обычных недорогих X86 железках, 10 гбитном Ethernet и т.п.? Внедрений pureScale ведь почти нет? Вакансий нет? Что ни так?Почему кривой. Делайте в соответствии с рекомендациями. Помните, что этот 10Gb Ethernet должен быть честным switch'ем с минимальными задержками, чтобы RDMA не тормозил.
Инсталляции - есть. Не знаю, есть ли в России, но у нас по факту и рынка как позиций DB2'шных, так и специалистов по большому счёту нет.
Другой вопрос необходимо ли вообще огород с PureScale городить.

Ответьте на вопрос "зачем":
1) защита от сбоев железа;
имеет смысл, когда не хватает HA части HADR технологии, но в определённой степени "поддержка" со стороны приложения всё равно требуется (понимание, что делать с прервавшейся по техническим причинам транзакцией).
2) ускорение;
один фиг выгодней наращивать память и ядра на одном сервере, пока это возможно. Современные конфигурации достаточно мощные, их банально будет хватать на подавляющее большинство задачь.
кроме того, хотя лично я вижу DB2 как отличную "молотилку", чисто исторически (если мы не говорим про mainframe'ы) часто на OLTP используют Oracle (тот же Oracle RAC), а DB2 пускают на хранилища/аналитику (к вопросу, почему мало инсталляций).
3) разделение нагрузки и мониторинга;
PureScale даёт отличную возможность развести нагрузку от разных приложений (особенно, если база - своеобразная точка интеграции данных и приложений) на разные узлы и просто физически их отдельно контролировать/мониторить; прилетевшая 100% нагрузка на второстепенном приложении не затронет основных и сразу будет видна без поисков "кто бросил валенок на "Пуск"".
Но надо, чтобы было кому этим плотно заниматься. До определённой степени можно подобное на Workload Management съэмулировать (кроме физического разнесения).
4) Комбинация 1 и 2.
Ну... сначала найдите такую задачу (задачу == чтобы выхлоп в денежном исчислении соответствовал).
Найдёте, уверяю, вопросов о покупке лицензий и правильного железа не возникнет.

Та инсталляция PureScale, с которой я лично имел дело (Европа, Скандинавия, поддержка во время нагрузочного тестирования по мелочи на время отпуска другого админа) была переходом с Db2/zOS на Db2 for LUW PureScale.
Марк, огромный поклон за помощь! (PureScale строится на TSA, и хотя с TSA много имел дела напрямую, включая хитрые варианты upgrade'ов, там у них была полная чехарда с зарегистрированными ресурсами, сам не справился)

Можно было бы что-то выиграть по сравнению с 3мя standbys по схеме пары серверов только для OLTP: master + principal, когда на них не идет отчетная нагрузка, а только для набивалок данных? Сколько такое недожелезо осилит дополнительных pureScale "share all" узлов для разбрасывания на них отчетной нагрузки?
Чтобы не было недопонимания, на всякий случай изложу.
1) В HADR изменения идут только на один узел. Все standby большей или меньшей степени синхронность - только на чтение.
2) HADR standby - отличное место для запуска отчётов (но, например, вы можете захотеть увеличить время задержки наката изменений, чтобы иметь быстродоступную "недавнюю" копию данных; надо смотреть, для каких отчётов это подходит)
3) PureScale - это не "Shared memory + Shared disks" вот прям так напрямую. Общий пул памяти (на CF) живёт как бы следующим уровнем кэша над локальными буфферпулами. Быстрый обмен между ними через RDMA - крайне важен. Shared диски организуются через GPFS, но, очевидно, на физическом уровне это может быть сделано тысячей разных способов и от этого (и от того, как вы разбросаете нагрузку) будет зависеть, как быстро каждый конкретный узел будет писать/читать и будет ли он мешать остальным.
Пара источников по GPFS - http://www.redbooks.ibm.com/redbooks/pdfs/sg248254.pdf, http://www.redbooks.ibm.com/redpapers/pdfs/redp3945.pdf
Я бы вообще никак не сравнивал HADR с Read Only Standby с PureScale конфигурациями. На пару порядков разница в степени потенциального геморроя и необходимых компетенций.

Хотя в целом, PureScale - отличная проверенная временем технология, просто снятая калькой с IBM Parallel Sysplex под z/OS.

Кстати, как называется "share nothing" решение от IBM для шардинга? Data-warehouse?
Database Partitioning Feature. Входит в различные редакции/offerings (включая облачные или on-premise инсталляции). Первое название на моей памяти (в 1996) - DB2 EEE (Extended Enterprise Edition).
Честная Share nothing. Конкретные пользовательские таблицы по желанию или реплицируются, или размазываются по узлам.
Очевидно, крайне важна быстрая внутренняя сеть на честном свиче для коммуникации "каждый-с-каждым" для обмена данными на объединениях/агрегациях.
С этой же точки зрения (аналитика) крайне интересна "теперешняя" технология BLU-Acceleration. Хотя тоже со своими сложностями и хитростями.

На уровне таблиц Partitioning - это уже другое. От обычного Range, продолжая, к примеру структурой, идентичной просто "массиву" с пропусками и с прямым доступом по id (фактически по offset).
Там много чего крайне эффективного можно навертеть, если к месту применять.
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063590
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CawaSPb

Хотя в целом, PureScale - отличная проверенная временем технология, просто снятая калькой с IBM Parallel Sysplex под z/OS.

да бредовая же технология, не имевшая шансов взлететь где-то кроме маркетинговых материалов. там же все блокировки на одном единственном CF узле живут, все ноды на каждый чих лезут туда установить блокировку, cнять блокировку. db2 блокировочник, т.е. лезут туда абсолютно на каждый чих, ведь даже что бы прочесть, необходимо поставить/снять блокировку. при этом эта CF нода превращается в singe point of failure. значит требуется эту херь еще и продублировать на дублирующий узел. плюс туда же запихнули кеш второго уровня, т.е. ноды не только на тему блокировок но и на тему кеша насилуют бедный CF узел и его дубль.
у PureScale не было шансов просто на уровне идеи.
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063615
CawaSPb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1
CawaSPb

Хотя в целом, PureScale - отличная проверенная временем технология, просто снятая калькой с IBM Parallel Sysplex под z/OS.

да бредовая же технология, не имевшая шансов взлететь где-то кроме маркетинговых материалов. там же все блокировки на одном единственном CF узле живут, все ноды на каждый чих лезут туда установить блокировку, cнять блокировку. db2 блокировочник, т.е. лезут туда абсолютно на каждый чих, ведь даже что бы прочесть, необходимо поставить/снять блокировку. при этом эта CF нода превращается в singe point of failure. значит требуется эту херь еще и продублировать на дублирующий узел. плюс туда же запихнули кеш второго уровня, т.е. ноды не только на тему блокировок но и на тему кеша насилуют бедный CF узел и его дубль.
у PureScale не было шансов просто на уровне идеи.

Не нравится, не ешьте :)

Если серьёзно, то
а) Вы говорите про блокировочник так, как буд-то это плохо.
б) Смысл говорить про единственность точки отказа CF, когда их всегда два (пока один не сломался)?
в) Обмен страницами локальных буффер-пулов с глобальным достаточно интеллектуален. Да, CF должны быть в достаточной степени мощными. Ну так они и не лицензируются :P
По факту, Вы встречали, чтобы на живой системе и рабочей нагрузке CF оказалась узким местом? Ну или ссылку на то, что у кого-то в них всё упёрлось (по выводу от MON_GET_CF_WAIT_TIME() и агрегированных CF_WAITS, CF_WAIT_TIME от MON_GET_PKG_CACHE_STMT())?

Главная причина малого количества инсталляций - место на рынке занято, всё, проехали. Хотя за последние лет 5 количество упоминаний в требованиях на вакансии увеличилось.
Ну а так - всегда чем-то за что-то приходится платить. Скажите ещё, что у Oracle RAC потенциальных узких мест нет.
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063616
Фотография Bimon Subio
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CawaSPb,

Все таки по pureScale больше вопросов чем ответов даже при попытке понимания, где его можно использовать.
Хотя бы какие-то примеры успешных внедрений, тем более на обычных X86 без мощных AIX координаторов.

Можете хотя бы привести примеры, где бесплатная редакция DB2 может оказаться лучше других популярных бесплатных СУБД типа PostgreSQL?

Лично мне в DB2 нравится консистентность документации на сайте и удобство админить эту СУБД, а так же мой опыт работы с ней.
Некоторые другие СУБД после DB2 кажутся какими-то поделками с точки зрения удобства их админских утилит.
Возможно еще и богатый функционал Db2, когда самостоятельно ненужно прикручивать никаких костылей с гитхаба.
Вероятно меньшая нагрузка на IO дисков по сравнению с версионниками при сравнимой нагрузке от приложения?

Но вот последнее время PostgreSQL стал очень популярен в облачных решениях, у DevOps и т.п.
Строят огромные кластера с большим количеством реплик всех видов и сортов, по оперативке и ядрам там ограничений нет.
Как тут может конкурировать с ними DB2? Платный дорогой, а бесплатный слабенький.
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063628
Фотография Bimon Subio
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CawaSPb

в) Обмен страницами локальных буффер-пулов с глобальным достаточно интеллектуален. Да, CF должны быть в достаточной степени мощными. Ну так они и не лицензируются :P


Пожалуйста, уточните, какие лимиты у pureScale, когда он используется с бесплатной редакцией DB2?

Где остается ограничение 16 GB оперативки + 4 ядра - это на каждый узел или на весь кластер pureScale?
Или можно поднять например, 10 узлов pureScale и это будет уже 40 ядер и 160GB оперативки? Имеет ли смысл так делать?
Какой вообще фактический осмысленный предел на количество узлов в недорогом конфиге X86 с 10гбитной сетью, когда добавление узлов уже не будет увеличивать производительность кластера?
Не софтовый лимит скажем на 128 узлов, которые наверно не удастся объединить в кластер на недорогом железе?
Центральный узел CF в бесплатной редакции тоже без лимитов? Т.е. прям хоть 500 гиг оперативы можно зарядить, и он почти всю ее задействует под общий для всех узлов буфер пул?
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063654
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CawaSPb
Не нравится, не ешьте :)

так никому не нравится, нет ни инсталяций ни людей с опытом.

CawaSPb

Если серьёзно, то
а) Вы говорите про блокировочник так, как буд-то это плохо.

это плохо, рынок этот спор уже рассудил, но для pureScale это просто катастрофа, т.к. абсолютно каждый запрос вынужден комуницировать с CF.

CawaSPb

б) Смысл говорить про единственность точки отказа CF, когда их всегда два (пока один не сломался)?

их всегда одна, вторая запасная и только тормозит процесс, ничем не помогая разгрузить ту единственную CF.

CawaSPb

в) Обмен страницами локальных буффер-пулов с глобальным достаточно интеллектуален. Да, CF должны быть в достаточной степени мощными. Ну так они и не лицензируются :P
По факту, Вы встречали, чтобы на живой системе и рабочей нагрузке CF оказалась узким местом? Ну или ссылку на то, что у кого-то в них всё упёрлось (по выводу от MON_GET_CF_WAIT_TIME() и агрегированных CF_WAITS, CF_WAIT_TIME от MON_GET_PKG_CACHE_STMT())?

по факту технология нигде не работает и никого за десятилетие не заинтересовала. выкатили уже лет 12 назад, когда db2 уверенно второе место занимало.
если бы хоть как-то работало, выкатили бы тесты sap-sd, нарисовали бы сайзинги под sap.
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063709
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Смысл бесплатной версии DB2 в том, что вы "подсядете", упрётесь в лимиты и таки будете платить IBM. Иначе-то зачем она?
Но при прочив равных, как я понимаю, у DB2 лучше (чем у Postgres) оптимизатор и работа с XML. Кроме того, есть Index Adviser...
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063714
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CawaSPb,

кстати вспомнил что ibm собирал стенд для sap и прогнал там левый бенчмарк, который хорошо параллелится и никто там не соревнуется. т.е. что бы ни с rac ни со стандартным sap-sd сравнить нельзя было:

https://web.archive.org/web/20111030134629if_/http://www.sap.com:80/solutions/benchmark/pdf/Cert11035.pdf

и тут видно
Код: plaintext
1.
2.
3.
4.
5.
Part II: Night Processing
No. of balanced accounts/hour:
22,382,000
CPU utilization database servers:
36% ( CF: 75% , Member 0: 26%, Member 1: 26%, Member 2: 26%, Member 3: 25%)
ноды нагружены на 26%, а CF на 75%
при этом sap сертификацию проходили с одной единственной CF нодой, хотя рядом есть документ описывающий, что этот стенд и с двумя CF они собирали
https://pdfslide.net/documents/sap-trbk-banking-benchmark-using-ibm-db2-db2-ps-sap-trbk-7168-david-gelardi.html

а sap-sd так и не показали, хотя стенд был. ясно что с такой арихитектурой, плохо разделяемая нагрузка sap-sd не по силам pureScale из-за блокировок.
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063731
Фотография Bimon Subio
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Victor Metelitsa
Смысл бесплатной версии DB2 в том, что вы "подсядете", упрётесь в лимиты и таки будете платить IBM. Иначе-то зачем она?


Я про преимущества для пользователя, а не преимущества для IBM.

Речь о небогатых стартапах, имеет им хоть какой-то смысл выбрать DB2 вместо PostgreSQL?

Victor Metelitsa

Но при прочив равных, как я понимаю, у DB2 лучше (чем у Postgres) оптимизатор и работа с XML. Кроме того, есть Index Adviser...

Это мантра 10 летней давности или до сих пор актуально для DB2 vs PostgreSQL?

Есть какие-то еще преимущества? Может быть, более высокая надежность работы при прочих равных условиях (архивные логи, бэкапы и вот это все в обоих случаях)?

У блокировочника DB2 какие преимущества перед версионниками? Меньшая нагрузка на диски? Версии то ненадо писать?
Хотя в активных логах - это не почти что версии? Туда пишутся незакомиченные еще транзакции с возможностью дальнейшего отката? Перенос активных логов на SSD зеркало дает огого какой прирост производительности DB2.
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063736
Фотография Bimon Subio
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mark Barinstein
Bimon Subio,
Если в системе больше 16 GB памяти, то вы можете создать табличные пространства с включенным FILE SYSTEM CACHING. Db2 никак не может ограничить размер файлового кэша. Т.е. вы получите для своего "очень большого" пространства двойную буферизацию (в буфере Db2 и кэше OC), но это может быть гораздо эффективнее, чем неиспользование кэша ОС для пространств, как по-умолчанию.


Имеет ли в таком случае смысл и возможно ли это в рамках существующих настроек максимально уменьшить буферные пулы DB2 под данные в больших таблицах и оставить память только для часто используемых малых таблиц, индексов всех таблиц и других важных структур данных? Чтобы данные для таблицы брались из файлового кэша операционной системы, а индексы и другие структуры данных из 16GB, доступных для DB2?
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063738
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Bimon Subio
Но вот последнее время PostgreSQL стал очень популярен в облачных решениях, у DevOps и т.п.
Строят огромные кластера с большим количеством реплик всех видов и сортов, по оперативке и ядрам там ограничений нет.
Как тут может конкурировать с ними DB2? Платный дорогой, а бесплатный слабенький.

Если вы уверены, что можете реализовать свою систему на бесплатной базе, то вам, конечно, никакая Db2 не нужна.
Может быть, можно довольно серьезные системы реализовывать без технической поддержки извне, но это надо спрашивать у тех, у кого есть такой опыт разработки / эксплуатации на том же PG.
Мы вот в свое время тоже годами работали на Db2 без всякой поддержки, справлялись сами. Но однажды у меня возикла серьезная функциональная проблема, которую я никак не смог побороть по-хорошему, а поддержки не было. И я стал тратить около 30% своего рабочего времени на ежедневное приведение подсистемы в чувство. По вечерам после рабочего времени.

Поэтому, можно, конечно, сыграть в рулетку, но для серьезных систем лучше всё-таки иметь поддержку. А поддержка везде платная. Я не знаю, кто и с каким качеством может оказывать поддержку PG, что у этих контор с долговечностью существования и качеством (надо опять же у людей с такого рода практикой спрашивать), но у той же Db2 квалифицированная поддержка от производителя существует давно и работает довольно хорошо. Считайте, что плата за лицензии в Db2 в первый год - это стоимость поддержки, от которой вы не можете отказаться :). За этот первый год как раз вы и можете потом принять решения, нужна вам поддержка или нет.

В общем, часто получается так, что бесплатный сыр бывает только в мышеловке.
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063740
Фотография Bimon Subio
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1
CawaSPb,

кстати вспомнил что ibm собирал стенд для sap и прогнал там левый бенчмарк, который хорошо параллелится и никто там не соревнуется. т.е. что бы ни с rac ни со стандартным sap-sd сравнить нельзя было:

https://web.archive.org/web/20111030134629if_/http://www.sap.com:80/solutions/benchmark/pdf/Cert11035.pdf

и тут видно
Код: plaintext
1.
2.
3.
4.
5.
Part II: Night Processing
No. of balanced accounts/hour:
22,382,000
CPU utilization database servers:
36% ( CF: 75% , Member 0: 26%, Member 1: 26%, Member 2: 26%, Member 3: 25%)
ноды нагружены на 26%, а CF на 75%


Но ведь это было почти 10 лет назад, сейчас мощные процессоры с большим количеством ядер намного доступнее.
Под CF можно взять намного более интересную железку? А в качестве узлов использовать более слабые сервера?
Вопрос еще, насколько вообще удобно админить весь этот pureScale, да с учетом того, что ни специалистов, ни обсуждений на форумах, быть может, кроме нашего :)
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063745
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Bimon Subio
Имеет ли в таком случае смысл и возможно ли это в рамках существующих настроек максимально уменьшить буферные пулы DB2 под данные в больших таблицах и оставить память только для часто используемых малых таблиц, индексов всех таблиц и других важных структур данных? Чтобы данные для таблицы брались из файлового кэша операционной системы, а индексы и другие структуры данных из 16GB, доступных для DB2?

Да, это стандартные рекомендации при нехватке памяти для OLTP систем:
- оставлять в ней наиболее часто используемые данные (вынося их в отдельные пространства с отдельными пулами) - как правило это справочники
- если bp hit ratio у больших таблиц "маленькое" - стараться повысить его хотя бы для индексов (то же самое), а данным отдать то, что осталось

Но это очень общие рекомендации для того, с чего можно начать.
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063748
Фотография Bimon Subio
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CawaSPb
Bimon Subio
Т.е. подразумевается, что по железу у нас самих ограничений нет, оперативки и CPU навалом.

Но в плане софтовых лицензий есть только DB2 Community, а вот тут уже софтовый лимит 16 гиг + 4ядра.
А смысл? Мне кажется, Вы придумываете что-то не то.
Если есть необходимость оптимизировать стоимость лицензий DB2, можно много чего сделать (начиная с прямых переговоров с IBM; покупки лицензий, но отказа от renewal (== поддержки и апгрейдов); ...).
Закладывать заранее хитро-вывернутую архитектуру приложения, где часть нагрузки идёт на Read Only серверы... RO - это всё-таки удел вынесенных отчётов.


В смысле можно получить от IBM скидку за вообще без поддержки или только отказ от продления поддержки?

Просто кому-то может быть важна возможность купить поддержку вообще когда-нибудь, а не прямо сейчас, а сию минуту наоборот важнее сэкономить.

Что сейчас с вариантами недорогих EDU лицензий DB2? Ведь осталось всего 3 редакции DB2, наверно и ассортимент EDU лицензий уменьшилось?
Сколько стоят EDU лицензии DB2 на 128GB RAM и 8 ядер?
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063752
Фотография Bimon Subio
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mark Barinstein
Bimon Subio
Но вот последнее время PostgreSQL стал очень популярен в облачных решениях, у DevOps и т.п.
Строят огромные кластера с большим количеством реплик всех видов и сортов, по оперативке и ядрам там ограничений нет.
Как тут может конкурировать с ними DB2? Платный дорогой, а бесплатный слабенький.

Если вы уверены, что можете реализовать свою систему на бесплатной базе, то вам, конечно, никакая Db2 не нужна.
Может быть, можно довольно серьезные системы реализовывать без технической поддержки извне, но это надо спрашивать у тех, у кого есть такой опыт разработки / эксплуатации на том же PG.


Все таки я надеялся, что у DB2 есть хоть какие-то значительные технологические преимущества, в т.ч. из-за того, что он блокировочник, а не версионник.
Если наличие поддержки - это единственный аргумент в пользу DB2 по сравнению с PostgreSQL, то это очень грустно :(

Я бы хотел узнать преимущества именно СУБД движка DB2, если они есть, а не поддержки IBM.

Тогда даже я с опытом работы с DB2 выбрал бы PostgreSQL, потому что уверен, что качественную платную поддержку для PostgreSQL найти сейчас можно.
А уж найти бесплатную поддержку для PostgreSQL тем более легче.
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063762
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Bimon Subio
Пожалуйста, уточните, какие лимиты у pureScale, когда он используется с бесплатной редакцией DB2?

Где остается ограничение 16 GB оперативки + 4 ядра - это на каждый узел или на весь кластер pureScale?

В лицензионном соглашении на IBM Db2 Community Edition 11.5.5.1 (Community) даже слово pureScale не упоминается, хотя ограничений на использование нет. Тут нам как бы намекают, что не надо этой функциональностью пользоваться в этой редакции :).
Во всех остальных, например, в IBM Db2 Standard Edition 11.5.5.1
сказано так
Licensee may install and use the following Program components, under the license terms, but these components are not used to determine the number of entitlements required for the Program .
Data Server Clients
IBM Data Server Driver for JDBC and SQLJ
pureScale cluster caching facility (CF)

...

5. Usage Restrictions

The Program may use a maximum of 16 processor cores and 128 GB of memory on each physical or virtual server; however, if the Program is used on a cluster of servers configured to work together using either database partitioning or pureScale clustering technology, the Program may use a maximum of 16 processor cores and 128 GB of memory across all virtual or physical servers in that cluster.

Т.е.:
- ресурсы pureScale CF не учитываются
- ограничения на ресурсы - на весь кластер в сумме


В случае нашего Community Edition иметь 2 members по 8GB RAM и 2 ядра бессмысленно. Накладные расходы на коммуникации через TCPIP (вы навряд ли будете для такой системы иметь сетевые карты и свичи с RoCE), скорее всего, превысят мендленное использование больших ресурсов CF.

А вообще pureScale (как и другие похожие кластерные технологии) - больше для надежности и удобства обслуживания + приемлемая производительность. Фикспак в онлайне поставить, отказ хоста обработать без прерывания обслуживания . Для достижения похожей с SMP системой производительности вам в общем случае (если только ваше система не очень хорошо партиционируется) может понадобиться в несколько раз больше ресурсов в распределенной системе.

В результате люди часто приходят к выводу, что для их системы можно и downtime организовать для обслуживания, и денег они потеряют не так много, если вдруг она поднимется на несколько минут позже. Но зато система проще в обслуживании и не требует от админов дополнительных знаний о том, как это всё работает.
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063783
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Bimon Subio
Все таки я надеялся, что у DB2 есть хоть какие-то значительные технологические преимущества, в т.ч. из-за того, что он блокировочник, а не версионник.
Если наличие поддержки - это единственный аргумент в пользу DB2 по сравнению с PostgreSQL, то это очень грустно :(

Я бы хотел узнать преимущества именно СУБД движка DB2, если они есть, а не поддержки IBM.

Такими вопросами обычно начинают холивары. Это очень общие вопросы, которые чуть менее, чем всегда, скатываются в длинные субъективные споры, заканчивающиеся ничем.

Если ваша практическая цель - узнать, можно ли построить похожую на вашу систему, скажем, на PG, то это надо к ним в ветку идти и спрашивать об опыте такого рода построений. Или то же самое искать в интернете. Но не затевать теологические споры.
Навряд ли в этой ветке есть серьезные разработчики на PG, которые могут ответить вам, что можно, а что нельзя там сделать. Только те, кто что-то сделал, могут сказать, чего им не хватает в PG, и насколько плохо без этого жить.
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063825
Фотография Bimon Subio
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mark Barinstein

В случае нашего Community Edition иметь 2 members по 8GB RAM и 2 ядра бессмысленно. Накладные расходы на коммуникации через TCPIP (вы навряд ли будете для такой системы иметь сетевые карты и свичи с RoCE), скорее всего, превысят мендленное использование больших ресурсов CF.

В результате люди часто приходят к выводу, что для их системы можно и downtime организовать для обслуживания, и денег они потеряют не так много, если вдруг она поднимется на несколько минут позже. Но зато система проще в обслуживании и не требует от админов дополнительных знаний о том, как это всё работает.


Тогда с моей точки зрения DB2 Community в production имеет смысл использовать только для обработки OLTP нагрузки и дальнейшей выгрузки для аналитики в Pentaho с super async узлов кластера. Ведь для OLTP нагрузки ненужно много вычислительных ресурсов?

А преимущества, которые в таком случае даст DB2 Community:
1) Удобство работы с ним для человека, который уже имеет какой-то опыт с DB2.
2) Развитие специалиста, с возможностью перейти на позицию с коммерческой инстоляцией DB2.

Т.е. для работодателя от DB2 совсем никаких преимуществ (если только ему специально не нужен прям именно блокировочник)?
А для работника смутные эфимерные преимущества перспективы устроиться потом в банк на админство более тяжеловесного кластера DB2?
...
Рейтинг: 0 / 0
Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
    #40063923
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Bimon Subio
Тогда с моей точки зрения DB2 Community в production имеет смысл использовать только для обработки OLTP нагрузки и дальнейшей выгрузки для аналитики в Pentaho с super async узлов кластера. Ведь для OLTP нагрузки ненужно много вычислительных ресурсов?
Смысл Community всех производителей хорошо описал Виктор выше - ознакомить со своими технологиями в надежде, что вы в дальшейшем примете участие в проекте, который потребует платной лицензии.
Вычислительные ресурсы нужны всегда и для любой системы.
Bimon Subio
Т.е. для работодателя от DB2 совсем никаких преимуществ (если только ему специально не нужен прям именно блокировочник)?
Работодатель таких слов, как правило, вообще не знает. Ему надо, чтоб система работала. А реализовать любую систему можно на чем угодно, лишь бы голова и руки на месте были.
Bimon Subio
А для работника смутные эфимерные преимущества перспективы устроиться потом в банк на админство более тяжеловесного кластера DB2?
Для работника любой опыт участия в разработке должен быть полезен. Никто заранее не знает, где ему потом придется работать и чем заниматься.
...
Рейтинг: 0 / 0
25 сообщений из 27, страница 1 из 2
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Для чего подходит бесплатная редакция DB2 Community в реальной жизни? объем базы, нагрузка
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]