донкихотПроясним ситуацпропущено...


Какой глубокомысленный, высококвалифицированный и всеобъемлющий ответ, спасибо!

Но вот конкретно привести пример M:N справочника можно? Название его?
Который ну никак не поддается репликации на 1024 ноды?
Простейший пример, при снятии денег в таблицу пишутся записи ссылающиеся на справочник с карточками и справочник с точками съема денег. С любой карточки можно снять с любого банкомата/магазина/...
Вот вы бы все 3 таблицы по какому ключу их секционировали?


Карточка привязана к своей ноде (шарду), а банкоматов по стране всего несколько десятков тысяч, для любого сервера БД это семачки - т.е. можно их (справочники банкоматов) смело прокопировать по нодам.

Это раз.

Два - ты видать сильно не в курсе, что там никаких M:M и прочих подобных глупостей нет. При транзакции код банкомата просто тупо пишется в таблицу фактов, вместе с данными о принадлежности того банкомата и т.п. (это называется денормализация, дети).

Что тебе с того справочника банкоматов надо? Модель, дата выпуска, инвентарный номер, версия установленного ПО? Да неужели?

В общем ты походу видать совсем не в теме, так, поговорить решил, о чем-то там неведомом?

iv_an_ruдонкихот,

Если все равно с избыточностью копий хранить, то почему бы несколько копий не нарезать по карточкам, а ещё несколько --- по банкоматам? И пусть оптимизатор решает, то ли на одной половине colocation устроить, то ли на другой, то ли распилить какой матерный агрегат вообще по всем копиям всех видов.

Просто гениально, просто. Рукоплескание в студии.

На одной ноде повесить карточки, на другой - банкоматы, и зарядить remote query, со всеми вытекающими сетевыми тормозами и прочими SCN synchronization (в терминах Oracle).

Решение вполне достойно звания Архитектора.

С двух больших букв А

донкихотНазовите название системы процессирования карточных транзакций в которой реализовано как вы говорите?

Шардирование в этих системах в явном виде не реализовано вообще. Как минимум в way4 его пока нет.
Потому они и требуют покупать гробы вроде ibm p795

донкихотПроясним ситуацпропущено...



Карточка привязана к своей ноде (шарду), а банкоматов по стране всего несколько десятков тысяч, для любого сервера БД это семачки - т.е. можно их (справочники банкоматов) смело прокопировать по нодам.
По карточкам можно ещё совершать покупки, по всему миру, в десятках миллионов магазинов.

Отлично! Ты поведал нам уникальный факт, доселе неведомый прогрессивному человечеству.

И сталобыть эти справочники магазинов в каждый банк сотнями тыщ изменений ежедневно реплицируются, да?
Как много нового узнаешь порой.

донкихотИли предлагает денормализацию, чтобы каждый писал в "факты" что захочется, без обращения к справочнику для хотя бы минимальной проверки сразу . Проясним ситуац видимо занимается веб-проектами.

Нет, я занимаюсь высоконагруженными базами данных. И денормализация там - первое, с чего вообще начинается проектирование.

Все эти 3БНФ - это хорошо для студентов, теоретиков и баз данных вида АРМ-Кадры размером с 100MB.
Но при количестве фактов более 10млн в день обычно науступает просветвление.

донкихотПроясним ситуацпропущено...


Шардирование в этих системах в явном виде не реализовано вообще. Как минимум в way4 его пока нет.
Потому они и требуют покупать гробы вроде ibm p795
Ну видите, вы умнее их всех. Лично я горд что общаюсь с вами! :)

Нет, я не умнее. Я лишь указал - что банку ничто не мешает себя представить банком из 32 маленьких подбанков под одним управлением и общим лейблом (у ОПСОСов так и происходит).
И поставить для каждого "подбанка" отдельный, независимый процессинг - тем самым минимизировать масштаб и последствия глобальных
отказов, удешевить затраты на оборудование и ПО (серверы по цене растут совсем нелинейно от мощности).

Сейчас пока известно лишь то, что наши банки так не делают - мелочевке это не актуально, а у крупных еще понимание не
наступило, хотя недавние эпические отказы вроде бы должны были надоумить.

MasterZivOn 09/11/2012 04:31 PM, донкихот wrote:

Все кто хотит реально холивара, идите в аналогичтный топик на RSDN.


Тынц на топик где?

Послать в неопределенность я тоже могу, запросто.

[quot донкихот]Проясним ситуацпропущено...


Нет, я занимаюсь высоконагруженными базами данных. И денормализация там - первое, с чего вообще начинается проектирование.

Все эти 3БНФ - это хорошо для студентов, теоретиков и баз данных вида АРМ-Кадры размером с 100MB.
Но при количестве фактов более 10млн в день обычно науступает просветвление.
В случае банков жертвуют скоростью ради надежности, нельзя чтобы все писали что попало, надо проверять.


Причем тут скорость, причем тут надежность?

Вот стоит четыре банкомата. Какая разница, сколько за ними банков - четыре разных или один, которые обслуживает их все четыре?

Как быстрее будет? Четыре разных, или один большой? Подумай хорошо (на предмет конкуренции за некий разделяемый ресурс, блокировок и прочего).

донкихотЯ так понимаю "высоконагруженными базами данных" для OLTP задач и у вас обычно все необходимые данные кэшированы в ОЗУ?

Это уже прояснялось. Если workset активно обновляется - да, он хранится в ОЗУ. Если данные перетекли в историческую плоскость, и интересны только аналитикам - там все компрессируется (поколоночно), специальными джобами, за счет переноса
в другие БД, где в ОЗУ практически ничего не хранится, т.к. шанс того, что обрабатываемые 10 терабайт уместятся в достижимые на сегодняшний день объемы ОЗУ - ничтожно мал.

донкихотЕсли про Сбер, то допустим OracleRAC их бы не спас от переполнения СХД под редо.
Ты походу попутал RAC - share everything, и sharding - share nothing.
Сходил бы подучил основы, а потом бы вещал истины, а?

донкихотИли вы предлагаете руками шардировать и у ОПСОСов так же делают?
Да, именно руками и делают. Абоненты Москвы вручную привязаны к одним серверам и базам, а какого Питера - к другим, и обе группы
друг про друга ничего не знают, физически и логически они вообще друг для друга - абоненты разных операторов. Не знал?

донкихотПроясним ситуацпропущено...

Да, именно руками и делают. Абоненты Москвы вручную привязаны к одним серверам и базам, а какого Питера - к другим, и обе группы
друг про друга ничего не знают, физически и логически они вообще друг для друга - абоненты разных операторов. Не знал?
И почему же в банках так не делают, как считаешь?


Делают, просто в РФ крупных банков только один, остальным это просто не актуально - не те объемы данных.
Даже самый крупный пока справляется вертикальным масштабированием - тупо покупает более мощное железо.

У ОПСОСов проблемы с базами данных начались намного раньше и глобальнее - человек в среднем за сутки
делает порой по 10-20 звонков, но лишь один раз в день (и то не каждый) пользуется пластиковой картой.

Т.е. 100 млн транзакций какой Sun M8000 или p795 за сутки пережует легко (реально там сильно меньше, в районе 50-60 млн операций в сутки), а вот 2 млрд - уже врядли.

Ваш КО

донкихотПроясним ситуацДелают, просто в РФ крупных банков только один, остальным это просто не актуально - не те объемы данных.
Например в каком иностранном банке так?

В любом глобальном (международном).