|
|
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
Проясним ситуацдонкихотпропущено... Например в каком иностранном банке так? В любом глобальном (международном). Ну хоть одно название приведите в котором "именно руками и делают" шардинг? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 19:15 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
А на основании чего делать валидацию, не на основании ли данных из справочника филиалов? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 19:17 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
донкихотПроясним ситуацпропущено... В любом глобальном (международном). Ну хоть одно название приведите в котором "именно руками и делают" шардинг? Что такое в твоем понимании "вручную"? Я тебя понимаю просто - сидит индус Рамеш Кутрапали, и на каждую входящую транзакцию делает привязку к серверу. Я прав? Нет, тогда поясни, в чем тебе там мерешится мерзкое и богопротивное слуху кодера любой среднести руки слово "вручную"? Мне вообще кажется ты не понимаешь смысл слова шардинг. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 19:21 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
донкихот100мс это большие задержки. Маленькие это 10мкс.Хорошо, давайте сторгуемся на лишних 20 мс. Это меньше времени реакции экрана банкомата. Или хотелось бы узнать, какая задача может упереться именно в 10 мкс. донкихотА на основании чего делать валидацию, не на основании ли данных из справочника филиалов?Ну и делайте. Оптимистично начинайте транзакцию, обновляйте всё в своё удовольствие, а тем временем те ноды, на которых лежат нужные куски справочников, выполнят валидацию и при необходимости обломят транзакцию. Что особенно приятно, карта юзера и терминал оказываются достаточно надёжными мьютексами сами по себе --- один чел одновременно не делает несколько транзакций в разных местах и несколько человек не дают несколько одновременных транзакций с одной кассы. Это не значит, что в базе лочить не надо --- надо, но lock contention будет радовать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 19:56 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
Проясним ситуацдонкихотпропущено... Ну хоть одно название приведите в котором "именно руками и делают" шардинг? Что такое в твоем понимании "вручную"? Я тебя понимаю просто - сидит индус Рамеш Кутрапали, и на каждую входящую транзакцию делает привязку к серверу. Я прав? Нет, тогда поясни, в чем тебе там мерешится мерзкое и богопротивное слуху кодера любой среднести руки слово "вручную"? Мне вообще кажется ты не понимаешь смысл слова шардинг. У вас галлюцинации, вы уже забыли что сами писали и мне это приписываете. Вот этот человек вам объяснит что значит: Проясним ситуацДа, именно руками и делают. Абоненты Москвы вручную привязаны к одним серверам и базам, ... Если не знаете таких банков так и скажите, чего пыжитесь? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 20:09 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
iv_an_ruдонкихот100мс это большие задержки. Маленькие это 10мкс.Хорошо, давайте сторгуемся на лишних 20 мс. Это меньше времени реакции экрана банкомата. Или хотелось бы узнать, какая задача может упереться именно в 10 мкс. 100мс, 10мкс, откуда взялись 20мс? К сожалению с СУБД торговаться не выйдет. iv_an_ruдонкихотА на основании чего делать валидацию, не на основании ли данных из справочника филиалов? Ну и делайте . Если мы все равно используем справочники, то на кой нам денормализация? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 20:15 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
донкихотiv_an_ruпропущено... Хорошо, давайте сторгуемся на лишних 20 мс. Это меньше времени реакции экрана банкомата. Или хотелось бы узнать, какая задача может упереться именно в 10 мкс. 100мс, 10мкс, откуда взялись 20мс? К сожалению с СУБД торговаться не выйдет.Ну если вы считаете, что собирать запросы в вектор на протяжении 100мс долго, давайте собирать их на протяжении 20 мс. Торговаться в данном случае не надо ни с кем, надо просто спросить заказчика, какую максимальную латентность он готов терпеть за какие деньги. донкихотЕсли мы все равно используем справочники, то на кой нам денормализация?Кроме валидации и записи новых операций, наверняка будет ещё какая-то активность, а то получается write-only memory из первоапрельского прайса. Вот для неё может и пригодиться "2.5-нормальная" форма. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 20:26 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
iv_an_ruдонкихотпропущено... 100мс, 10мкс, откуда взялись 20мс? К сожалению с СУБД торговаться не выйдет.Ну если вы считаете, что собирать запросы в вектор на протяжении 100мс долго, давайте собирать их на протяжении 20 мс. Торговаться в данном случае не надо ни с кем, надо просто спросить заказчика, какую максимальную латентность он готов терпеть за какие деньги. донкихотЕсли мы все равно используем справочники, то на кой нам денормализация?Кроме валидации и записи новых операций, наверняка будет ещё какая-то активность , а то получается write-only memory из первоапрельского прайса. Вот для неё может и пригодиться "2.5-нормальная" форма. Например какая активность? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 20:32 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
донкихот, Ну не знаю, я ж не банкир. Какие-нибудь отчёты, выписки по счетам, в общем какие-то чтения из таблиц, и вполне возможно, что юзер захочет видеть внятные текстовые имена и прочие подробности вместо целочисленных идентификаторов и прочей абракадабры, выбранной на роль разнообразных связующих полей. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 20:39 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
донкихотЕсли не знаете таких банков так и скажите, чего пыжитесь? Чтобы ответить на твой поток бессвязного бессознательного - нужно сначала попытаться найти в нем суть вопроса. Итак - прояснение понятия "вручную" будет, или спишем на приступы какие? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 21:01 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
донкихотПроясним ситуацДа, именно руками и делают. Абоненты Москвы вручную привязаны к одним серверам и базам, ... Если не знаете таких банков так и скажите, чего пыжитесь? Перечитал еще раз. Это конечно пять. Не догадаться, что под понятием "вручную привязаны" это лишь про телефонные коды (495, 499, 916), и требовать примера подобной "ручной" привязки от банков - это конечно нечто. Ну так вот - клиенты банков в массе своей также имеют приписанные отделения. А если не отделения, то как минимум деление по странам. К примеру тот-же Альфа не обслужит тебя в "не твоем" отделении - у них до сих пор "привязка" (хотя может что-то изменилось). Пример подойдет? Про другие банки я без понятия, если честно, тем более западные какие-то - я там не работаю и я там не обслуживаюсь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 22:17 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
Проясним ситуацдонкихотпропущено... Если не знаете таких банков так и скажите, чего пыжитесь? Перечитал еще раз. Это конечно пять. Не догадаться, что под понятием "вручную привязаны" это лишь про телефонные коды (495, 499, 916), и требовать примера подобной "ручной" привязки от банков - это конечно нечто. Ну так вот - клиенты банков в массе своей также имеют приписанные отделения. А если не отделения, то как минимум деление по странам. К примеру тот-же Альфа не обслужит тебя в "не твоем" отделении - у них до сих пор "привязка" (хотя может что-то изменилось). Пример подойдет? Про другие банки я без понятия, если честно, тем более западные какие-то - я там не работаю и я там не обслуживаюсь. То есть не знаем, но утверждаем, это относится только к банкам или ко всему что тут говорили? Если не заметили, то речь идет про карточный процессинг, значит по карточке Альфа-банка нельзя снять деньги нигде кроме как в своём отделении? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 22:32 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
iv_an_ruдонкихот, Ну не знаю, я ж не банкир. Какие-нибудь отчёты, выписки по счетам, в общем какие-то чтения из таблиц, и вполне возможно, что юзер захочет видеть внятные текстовые имена и прочие подробности вместо целочисленных идентификаторов и прочей абракадабры, выбранной на роль разнообразных связующих полей. Тогда да, вы во всем правы :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 22:34 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
донкихотiv_an_ruдонкихот, Ну не знаю, я ж не банкир. Какие-нибудь отчёты, выписки по счетам, в общем какие-то чтения из таблиц, и вполне возможно, что юзер захочет видеть внятные текстовые имена и прочие подробности вместо целочисленных идентификаторов и прочей абракадабры, выбранной на роль разнообразных связующих полей. Тогда да, вы во всем правы :)Логика непонятна :) Но хорошо, что против разного секционирования разных копий таблицы возражений не последовало. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 23:12 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
iv_an_ruдонкихотпропущено... Тогда да, вы во всем правы :)Логика непонятна :) Но хорошо, что против разного секционирования разных копий таблицы возражений не последовало. Как можно возражать если не написано по каким диапазонам секционируются эти разные копии, исходя из чего эти диапазоны выбираются и собственно кто всем этим занимается? :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 23:32 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
донкихотТо есть не знаем, но утверждаем, это относится только к банкам или ко всему что тут говорили? Я тебе привел пример (пример, внимание - пример, еще раз повторить? пример!) логического шардинга на примере опсосов - деление по телефонному региональному коду. Как именно устроенно в том или ином банке - нужно идти в тот или иной банк, и там выяснять. донкихотЕсли не заметили, то речь идет про карточный процессинг, значит по карточке Альфа-банка нельзя снять деньги нигде кроме как в своём отделении? Речь не идет про карточный процессинг, речь идет о шардировании и примерах его применения, в т.ч. о потенциально возможных применениях. Я кажется говорил о том, что банку ничего не мешает поделить своих клиентов - рассчитать их по порядковому номеру карты и дальше или диапазонами номеров, или хешем - тупо взять остаток от деления номера карты на 32. Но как они (банки) делают или не делают - я абсолютно без понятия - я не работаю ни в банке, ни над процессингом. В с другой стороны я имел опыт работы в крупном банке соседней страны, и могу сказать смело - каждое отделение - это логически, физически и юридически независимое юрлицо, с отдельным МФО, балансом, бухгалтерией и прочей атрибутикой. У них свои базы данных, свои локальные серверы (не на все виды услуг, естественно), даже банкоматы привязаны к конкретному отделению - числятся на их отдельном балансе и т.п. Т.е. деление банка на "подбанки" у них есть, и вовсю применяется на практике. Дальше см. выше про "ничто не мешает" Что еще разжевать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 23:36 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
донкихотКак можно возражать если не написано по каким диапазонам секционируются эти разные копии, исходя из чего эти диапазоны выбираются и собственно кто всем этим занимается? :)Поскольку операции по разным катрам и в разных кассах не связаны друг с другом никак, выбирать придётся исключительно из профилей _читающих_ запросов, а не активность писателей. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 23:39 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
iv_an_ruдонкихотКак можно возражать если не написано по каким диапазонам секционируются эти разные копии, исходя из чего эти диапазоны выбираются и собственно кто всем этим занимается? :)Поскольку операции по разным катрам и в разных кассах не связаны друг с другом никак, выбирать придётся исключительно из профилей _читающих_ запросов, а не активность писателей. Т.е. общая логика, сначала создаются несколько копий полностью идентичных инстансов, затем средствами MPP-СУБД каждый из них ещё шардится на несколько инстансов, причем в каждой копии по своему ключу? И в чем профит? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.09.2012, 23:57 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
донкихотiv_an_ruпропущено... Поскольку операции по разным катрам и в разных кассах не связаны друг с другом никак, выбирать придётся исключительно из профилей _читающих_ запросов, а не активность писателей. Т.е. общая логика, сначала создаются несколько копий полностью идентичных инстансов, затем средствами MPP-СУБД каждый из них ещё шардится на несколько инстансов, причем в каждой копии по своему ключу? И в чем профит?Не так. Создаётся один кластер, с общей схемой, и разумеется с избыточностью. Но при этом если одна таблица ссылается на несколько справочников, секционированных по разным ключам, то копии её индексов размещаются на одних ящиках с этими справочниками, и каждая копия секционируется в соответствием с секционированием "своего" справочника. Оптимизатор знает, какие копии могут выполнить какие джойны локально, без лишнего трафика в кластере. Вот и всё. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.09.2012, 00:39 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
On 09/11/2012 06:20 PM, Проясним ситуац wrote: > Все кто хотит реально холивара, идите в аналогичтный топик на RSDN. > Тынц на топик где? http://rsdn.ru/forum/flame.comp/4888289.flat.aspx Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.09.2012, 11:35 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
> А на основании чего делать валидацию, не на основании ли данных из справочника > филиалов? А какая вообще разница, ты делаешь эту валидацию на нормализованной структуре или на денормализованной ? Ведь суть валидации -- проверить, есть ли это значение в списке (словаре). Тут что нормализованная структура, что денормализованная -- всё едино. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.09.2012, 11:50 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
MasterZivOn 09/11/2012 06:20 PM, Проясним ситуац wrote: > Все кто хотит реально холивара, идите в аналогичтный топик на RSDN. > Тынц на топик где? http://rsdn.ru/forum/flame.comp/4888289.flat.aspx Самая эээ... "умная" мысль на первой странице. авторАга, сказочки всё это. Начнём например с постоянной необходимости понимать конструкцию "ссылка (в виде указателя) на созданных в хипе объект, передаваемая по ссылке, с возможностью изменения ссылки". Это конечно постижимо, не rocket science, но всё же -- если на каждом шагу, очень путает. Прямо сборище тех самых substandart coders, с выломанным в голове блоком понимания указателей и ссылок. Эдакая Специальная Олимпиада. Читай сам такое, дорогой, набирайся опыта и откровений, ага. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.09.2012, 11:56 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
iv_an_ru Но при этом если одна таблица ссылается на несколько справочников, секционированных по разным ключам, то копии её индексов размещаются на одних ящиках с этими справочниками, и каждая копия секционируется в соответствием с секционированием "своего" справочника. Оптимизатор знает, какие копии могут выполнить какие джойны локально, без лишнего трафика в кластере. Вот и всё. Т.е. hash joinы остались у вас за гранью понимания? Забавно... а вроде эра nested-loop аka slow-by-slow закончилась уже в 90-х... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.09.2012, 12:09 |
|
||
|
Плюсы против голого Си, холивар #9
|
|||
|---|---|---|---|
|
#18+
Проясним ситуацiv_an_ru Но при этом если одна таблица ссылается на несколько справочников, секционированных по разным ключам, то копии её индексов размещаются на одних ящиках с этими справочниками, и каждая копия секционируется в соответствием с секционированием "своего" справочника. Оптимизатор знает, какие копии могут выполнить какие джойны локально, без лишнего трафика в кластере. Вот и всё.Т.е. hash joinы остались у вас за гранью понимания?Конкретный тип джойнов тут вообще не важен, важна возможность выполнить на одной машине как можно более длинные куски плана исполнения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.09.2012, 12:19 |
|
||
|
|

start [/forum/topic.php?fid=16&msg=37953491&tid=1342110]: |
0ms |
get settings: |
8ms |
get forum list: |
19ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
56ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
80ms |
get tp. blocked users: |
1ms |
| others: | 222ms |
| total: | 400ms |

| 0 / 0 |
