Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
В безумной "гонке вооружений" IBM снова впереди Oracle :) Кластер из трех POWER 780 + ....дикий storage = 10,366,254 tpmC Но самое любопытное, что кластер-то на .....96-ти партишенах DB2 9.7 DPF :)) Странно это как-то - DPF для "жесткого" OLTP. А где-же, где-же пресловутый pureScale ? :) "Меня терзают смутные сомнения" (с) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.08.2010, 11:12 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
mitekНо самое любопытное, что кластер-то на .....96-ти партишенах DB2 9.7 DPF :)) Странно это как-то - DPF для "жесткого" OLTP. А где-же, где-же пресловутый pureScale ? :) "Меня терзают смутные сомнения" (с)tpc-c хорошо физически партиционируется. Именно для такого теста производительность в DPF выше. pureScale планируется использовать в бенчмарках, где не так просто партиционировать данные. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.08.2010, 11:34 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
Mark Barinstein tpc-c хорошо физически партиционируется. Именно для такого теста производительность в DPF выше. Тем не менее это первый случай использования DPF в TPC -C , до этого как-то обходились. Мне всегда казалось, что DPF это фича для распареллеливания селектов в DWH-базах. Как оно "распарралеливает" INSERT'ы ? Или там сессии просто принудительно коннектят к конкретным нодам ? Mark Barinstein pureScale планируется использовать в бенчмарках, где не так просто партиционировать данные. в SAP SD тоже не видно, а пора бы уже :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.08.2010, 12:01 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
при DPF в транзакционный лог больше инфы пишется, примерно как при распределенной транзакции. Интересно будет на PureScale глянуть. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.08.2010, 15:42 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
gardenman, Да ну ?! Каждый раздел DPF - имеет свой лог (если конечно у Вас не SMP-big server with SAN Disk Storage). Я так понимаю, что InfoSphere Balanced, ведет себя по другому ... :) Да, и вот еще, в DB2 используется значительно меньший размер записи для регистрации транзакции, чем в Oracle !!! С уважением, Вадим. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.08.2010, 22:12 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
GVF112GVF , вот те крест! У них даже Transaction Id имет другой формат. и инфа о том, что транзакция была, пишется по всем нодам, даже если на ноде никаких данных не менялось. Я потому так уверенно говорю, что сам логи от PDF парсил, и смотрел что к чему. поэтому мы и отказались PDF поддерживать, когда лог-ридер делали. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.08.2010, 10:24 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
gardenman, Вообще-то странно. Что может записываться в логический журнал на узле (DB2 with DPF), если транзакция не затрагивает данные на этом узле (кроме служебной информации) ?! Решение DB2 with DPF, наиболее часто, используется для DWH.Заливка данных в DWH, проводится планово (с использованием - ETL или DB2 IMPORT, DB2 LOAD и т.д.). Использовать DB2 with DPF в транзакционных системах - что-то новенькое. Уж лучше DB2 pureScale ... :) ... или OLTP-решение на Informix !!! С уважением, Вадим. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.08.2010, 18:34 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
Recovering from transaction failures in a partitioned database environment : When the application issues a COMMIT statement for a transaction, the coordinator agent commits the transaction by using the two-phase commit protocol. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.08.2010, 18:56 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
Mark Barinstein, Все верно. If a transaction failure occurs in a partitioned database environment, database recovery is usually necessary on both the failed database partition server and any other database partition server that was participating in the transaction . .... In a partitioned database environment, the database partition server on which a transaction is submitted is the coordinator partition, and the first agent that processes the transaction is the coordinator agent. Ключевая фраза ... The coordinator agent is responsible for distributing work to other database partition servers, and it keeps track of which ones are involved in the transaction. С уважением, Вадим. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.08.2010, 21:04 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
GVF112GVF, Ключевая фраза здесь 'two-phase commit'. Очень часто узкое место даже самой хорошо натроенной OLTP системы - это запись в лог. Когда же появляются массовые 2-х фазные транзакции, то в лог дополнительно начинает писАться много лишнего из Transaction manager log records . И эти дополнительные записи (которые не появляются в обычной системе) появляются, даже если удалось провести транзакцию только на одном узле. Для OLTP системы эта доп. нагрузка весьма значительна, в отличии от DWH. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2010, 14:23 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
Mark Barinstein, Распределенные транзакции, как правило, применяют в гетерогенных и распределенных системах. На мой взгляд, наиболее целесообразно, использовать мониторы танзакций - CICS, Tuxedo and so on. Порождать распределенные транзакции на уровне Engine сервера базы данных - создавать себе дополнительные проблемы (надежность, быстродействие, гибкость и логика взаимодействия подсистем и т.д.). Думаю, что использовать DB2 with DPF в OLTP-окружении, не совсем коректно. Решение DB2 with DPF скорее для OLCP=OLTP+DSS и DWH-систем. Порождать для OLTP-транзакции, синхронизацию узлов кластера на базе протокола two-phase commit, слишком дорогое удовольствие. Какой же это OLTP-решение и главное зачем?!!! Это все равно, что у Вас есть несколько отдельных систем на базе DB2, которые в рамках распределенной трнзакции выполняет SQL-запросы в режиме работы OLTP-систем. Уж лучше использовать DB2 9.8 pureScale или быстрый OLTP-движок IBM Informix !!! То, что распределенные транзакции более ресурсоемкие и требует дополнительных, накладных расходов - это понятно. Для OLTP-систем наиболее важно, чтобы время реакции на SQL-запрос пользователя было детерменированное (не более 3-5 секунд). Время выполнения распределенной транзакции, зависит от многих факторов - времени исполнение SQL-запроса на каждом узле, синхронизации полученных данных, операций журналирования и т.д. Вообщем - за все нужно платить. Другое дело, цена вопроса. С уважением, Вадим Головский. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2010, 18:57 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
GVF112GVFПорождать для OLTP-транзакции, синхронизацию узлов кластера на базе протокола two-phase commit, слишком дорогое удовольствие. Какой же это OLTP-решение и главное зачем?!!! Это все равно, что у Вас есть несколько отдельных систем на базе DB2, которые в рамках распределенной трнзакции выполняет SQL-запросы в режиме работы OLTP-систем. Уж лучше использовать DB2 9.8 pureScale или быстрый OLTP-движок IBM Informix !!!Я это всё к вопросу: почему для tpc-c взяли db2 + dpf а не, скажем, db2 pureScale. Они посчитали, что именно для этого теста , где базу легко партиционировать, относительно легко переписать приложение для работы в кластере (а в коде из FDR есть вызовы получения distribution map), даже несмотря на значительные затраты, связанные с two-phase commit, показатели у dpf будут всё равно лучше, чем у pureScale. К вопросу о том, почему раньше dpf для OLTP никогда не использовали, а вот сейчас начали. Просто далеко не каждую OLTP систему так вот можно построить, и, наверное, боялись обвинений в том, что сделали, мол, для частного случая. Но раз Оракл этим занялся, то почему бы и нам так не сделать... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2010, 09:58 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
Марк, а можно по подробнее, почему "показатели у dpf будут всё равно лучше, чем у pureScale"? На ваш взгляд?... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2010, 15:16 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
gardenmanМарк, а можно по подробнее, почему "показатели у dpf будут всё равно лучше, чем у pureScale"? На ваш взгляд?...Моё личное мнение: Если базу удалось разбить на части так, что транзакции каждого приложения работают только с одной частью базы (да ещё и если локально), то получается что: - у dpf межнодовый обмен минимален - в pureScale каждое соединение работает со всей базой, а не с её частью, т.е. bufferpool hit ratio хуже, несмотря на то, что будет помогать общий кэш горячих страниц - в pureScale от доп. издержек по межнодовому обмену (CF - Member) никуда не денешься В результате для таких систем, как мне кажется, издержек у dpf меньше. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2010, 16:50 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
Mark Barinstein(а в коде из FDR есть вызовы получения distribution map) т.е. получается, что сессии все-таки "биндили" к конкретным партициям ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2010, 17:01 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
mitekт.е. получается, что сессии все-таки "биндили" к конкретным партициям ?Мне было лень разбираться - там дюже много кода. Навскидку я не смог разобраться, добивались ли они того, чтоб транзакции выполнялись именно локально. Скорее всего - да, иначе зачем такие вызовы нужны... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2010, 17:31 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
Mark BarinsteinМне было лень разбираться - там дюже много кода. Навскидку я не смог разобраться, добивались ли они того, чтоб транзакции выполнялись именно локально. Скорее всего - да, иначе зачем такие вызовы нужны... Хм... тогда получается, что в данном случае это, по сути, шардинг и DPF выступает лишь как средство объединения "кусков" в логически целое. Марк, а нет информации почему IBM не учавствует в TPC-E ? Он вроде бы более близок к реальности. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.08.2010, 17:51 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
mitek, Уважаемые коллеги. Во-первых, не всегда можно оптимальным образом размазать таблицы по узлам кластера DB2 with DPF для OLTP-приложений (очень многое зависит от природы данных, гистограммы распределения и т.д). Опять же вопрос с обновлением или удалением записей по Primary Key (включая первичный ключ), выбор Partitionong Key, выполнение сложных JOIN (not collocation join) и т.д. Во-вторых, вопрос относительно тестов TPC-E и TPC-H носит больше политический подтекст. Нужно просто посмотреть, кто выступил инициатором тестов TPC-E и для чего ... :) Думаю, что если Марк захочет, то информацию найдет. Другое дело, сможет ли он ее предоставить для публичного доступа. С уважением, Вадим Головский. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.08.2010, 13:42 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
GVF112GVF Во-первых, не всегда можно оптимальным образом размазать таблицы по узлам кластера DB2 with DPF для OLTP-приложений (очень многое зависит от природы данных, гистограммы распределения и т.д). Опять же вопрос с обновлением или удалением записей по Primary Key (включая первичный ключ), выбор Partitionong Key, выполнение сложных JOIN (not collocation join) и т.д. Это все понятно. TPC-C с его бузумными стороджами и "притянутым за уши" партицированием давно уже не актуален как сколько-нибудь значимый для реального мира тест. Большие корпорации играют в "царь горы" да и только. Ну а данный результат на DPF это ответ ораклу в стиле "ты первый начал" :) GVF112GVF Во-вторых, вопрос относительно тестов TPC-E и TPC-H носит больше политический подтекст. Нужно просто посмотреть, кто выступил инициатором тестов TPC-E и для чего ... :) Инициатор TPC-E, вроде бы Microsoft. И какова же цель, если не секрет ? :) Захватить мир ? :) И что мешает Oracle и IBM в нём успешно выступать ? Уж не "Partitioning was not used for this benchmark" ли ? :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.08.2010, 14:40 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
mitek, Инициатор TPC-E, вроде бы Microsoft. И какова же цель, если не секрет ? :) Захватить мир ? :) ... Все верно, инициатор TPC-E - Microsoft !!! Какова же цель - они лучше знают ... :) ... И что мешает Oracle и IBM в нём успешно выступать ? Думаю, что ничего ... есть же тесты TPC-H для DWH(DSS) ... :) Думаю, они не сочли нужным поддерживать инициативу компании, которая борется за свой кусок пирога ... :) Но лучше спросить у IBM или Oracle !!! С уважением, Вадим. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.08.2010, 16:11 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
а, вообще, коллеги, в каком статусе сейчас pureScale? Я так полагаю, что коммерческих инсталляций еще не было? Т.е. на самом деле технология не до конца обкатана, живет только под AIX и в каком-то виде под Linux? Т.е. TPC-C/H еще не скоро будут? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.08.2010, 17:26 |
|
||
|
TPC-C
|
|||
|---|---|---|---|
|
#18+
gardenmanа, вообще, коллеги, в каком статусе сейчас pureScale?Вот тут можно будет узнать: DB2 pureScale: Always-on, Unlimited Database Cluster ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.08.2010, 20:55 |
|
||
|
|

start [/forum/topic.php?fid=43&msg=36797274&tid=1602619]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
72ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
56ms |
get tp. blocked users: |
1ms |
| others: | 17ms |
| total: | 192ms |

| 0 / 0 |
