|
|
|
Шардинг
|
|||
|---|---|---|---|
|
#18+
Соломон Кацandrey_anonymousпропущено... Общие слова. Бизнес-требования озвучены. Каков правильный шардо-дизайн? Не мучай человека, он не шарит. спасибо за декларацию того, что ты у нас шаришь в том кто в чем шарит. еще чего выдать можешь? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2013, 18:57 |
|
||
|
Шардинг
|
|||
|---|---|---|---|
|
#18+
дуалотехничкинпрочитай все ото выше про аппсерверы и независимые между собой датабазы Про независимость уже выяснили - это работает в идеальной бизнес-модели, представляющие собой изолированные куски. В принципе, в такой модели никакого шардинга не надо - достаточно поставить X отдельных систем и выгонять периодически агрегированную отчетность в единый сервер отчетности. Осталось про дизайн для случая, когда бизнес-модель допускает некоторую связность данных с различных серверов. Итак, организуем высоконагруженную пиццерию :) Руководство пиццерии почитало рекламные буклеты от техничкина и украинского блюда, впечатлено успехами ebay, но к началу проекта поглотить ebay не готово - к примеру, не позволил антимонопольный комитет или финдир купил себе новый феррари, на ebay не хватило пары баксов. Имеется: - Сервера ДБ_А(Москва), ДБ_Б(Питер) - Сервера приложений АП_А(Москва), АП_Б(Питер) - web-сервера в количестве После успешного запуска проекта планируется расширение сети на все города РФ. Среднесрочный план предполагает захват рынков пиццы США, Японии и Папуа Новой Гвинеи. Долгосрочная цель - охватить услугами колонии на Марсе, Венере и Альдебаране. Сущности: - Клиент (геопривязка, фио, баланс, бонусы, кем_приведен, индекс лояльности) - Услуга (геопривязка, наименование, цена) - Заказ (клиент, услуга, количество, сумма, начисленные бонусы) Принято решение делить клиенскую базу и базу заказов по территориальному признаку. (Не согласны? Предложите иной вариант) Требуется: 1. Предложить схему предоставления услуги "продажа пиццы" для случая, когда клиент_А (Москва) пытается получить услугу_Б (Питер). 2. Предложить схему реализации маркетинговой кампании "приведи друга" для случая, когда клиент_А приводит клиента_Б. По условиям компании клиент_А должен получать бонусы с каждой продажи клиенту_Б в течение года. Схема предоставления услуги должна включать: - рекомендации (if any) по разделению данных сущностей Клиент, Услуга, Заказ по Независимым Изолированным Серверам. - схему взаимодействия серверов приложений и серверов БД - схему движение данных (у кого что спрашиваем, куда что дублируем) Ах-да-забыл, ebay, обиженный отказом от сделки по ее, ebay, поглощению, категорически отказалась раскрыть секрет Полишинеля, поэтому ссылки на "почитай про шардинг у ebay" ведут в пустоту. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2013, 19:42 |
|
||
|
Шардинг
|
|||
|---|---|---|---|
|
#18+
ты много написал (выдыхай) а по сути - заведи сервер клиентов (типо LDAP) Питерский апп сервер, получив логин по oauth и не обнаружив московского чувака у себя в локальной базе - резко добавляет его себе локально в клиенты, бодро сдернув всю инфу из центра, а дальше как обычно - считает его типо питерцем. центральный сервер клиентов при этом питерцем не нужен - они сразу ходят в свой вот и все. таких случаев понаехалов будет от силы 1%, ничего страшного ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2013, 19:53 |
|
||
|
Шардинг
|
|||
|---|---|---|---|
|
#18+
не тупиПитерский апп сервер, получив логин по oauth и не обнаружив московского чувака у себя в локальной базе - резко добавляет его себе локально в клиенты, бодро сдернув всю инфу из центра, а дальше как обычно - считает его типо питерцем. центральный сервер клиентов при этом питерцем не нужен - они сразу ходят в свой Очень хорошо, поехали. Как данные о заказах и начисленных в Питере бонусах попадают на московские сервера? Как московскому гостю начисляются бонусы за продажи Питерскому другу? А за продажи Питерскому другу, сделанные в Москве? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2013, 19:56 |
|
||
|
Шардинг
|
|||
|---|---|---|---|
|
#18+
andrey_anonymousне тупиПитерский апп сервер, получив логин по oauth и не обнаружив московского чувака у себя в локальной базе - резко добавляет его себе локально в клиенты, бодро сдернув всю инфу из центра, а дальше как обычно - считает его типо питерцем. центральный сервер клиентов при этом питерцем не нужен - они сразу ходят в свой Очень хорошо, поехали. Как данные о заказах и начисленных в Питере бонусах попадают на московские сервера? Как московскому гостю начисляются бонусы за продажи Питерскому другу? А за продажи Питерскому другу, сделанные в Москве? обычно вообще никак (ибо нефиг), а если ну очень сильно надо - то через soap какой (все помнят рекламный ролик про java) в soap даже email как транспорт числится, фигли ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2013, 20:02 |
|
||
|
Шардинг
|
|||
|---|---|---|---|
|
#18+
не мудриобычно вообще никак (ибо нефиг), а если ну очень сильно надо - то через soap какой (все помнят рекламный ролик про java) в soap даже email как транспорт числится, фигли Всех спасет великий соап и голубиная почта. Что куда пересылать - соап решит сам, думать тут не о чем. В крайнем случае - задачу решать не будем, ибо нефиг. Позиция понятна, спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.07.2013, 20:06 |
|
||
|
Шардинг
|
|||
|---|---|---|---|
|
#18+
Андрей, мне кажется всем кто в теме уже давно очевидно, что шардинг не панацея, и техничкин, не имея опыта работы с такими системами, предлагает просто покласть на "неформаты": не тупи таких случаев понаехалов будет от силы 1%, ничего страшного Хрен ли типа эта бузинес модель не укладывается в моё решение?! Порезать бузинес модель!!! В Терадате тоже часть запросов проходят через All-AMPs операции, если вы про её устройство тут намекали. И ничего, проходит через все ампы/ноды - ну что поделать,жизь такова.. Запросов таких ведь относительно немного, и разрабы пускай количество таких запросов максимально сводят к нулю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.07.2013, 00:36 |
|
||
|
Шардинг
|
|||
|---|---|---|---|
|
#18+
pectopatopАндрей, мне кажется всем кто в теме уже давно очевидно, что шардинг не панацея, и техничкин, не имея опыта работы с такими системами, предлагает просто покласть на "неформаты": Ну и на основании чего ты сделал такие выводы, про не форматы и не опыты? На моем утверждении того, что на такие неформаты обычно (для плохо понимающих русский язык: слово "обычно" применяется как краткая форма - "в большинстве случаев") забивают т.к. они просто не несут никакой практической ценности даже для самих этих ритейловых клиентов? О боже... Местные аналитики такие аналитики.... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.07.2013, 17:14 |
|
||
|
Шардинг
|
|||
|---|---|---|---|
|
#18+
открываем каталог Openworld 2015: https://events.rainfocus.com/oow15/catalog/oracle.jsp?search.event=openworldEvent Linear Scalability and Fault Isolation with the Next Release of Oracle Database 12c [CON8829] Srinagesh Battula, Senior Principal Product Manager, Oracle Mark Dilman, Director, Software Development, Oracle Database sharding is an architectural pattern where data is horizontally partitioned across multiple discrete databases that share no hardware or software. It provides linear scalability and complete fault isolation for transaction processing applications designed for a sharded architecture—attributes that are not possible by scaling-out or scaling-up a single database. Join this session to hear Oracle Development present how the next release of Oracle Database 12c automates the deployment of a sharded architecture, and enables elastic scaling, rebalancing, data-dependent routing, and cross-shard queries. And it does all this while rendering strict consistency, the full power of SQL, developer agility with JSON, and the proven enterprise qualities of Oracle Database. Deep-Dive into High Availability with the Next Release of Oracle Database 12c [CON8827] Wei Hu, Vice President - High Availability Technologies, Oracle Have you ever wished you had the army of PhDs needed to achieve the level of high availability (HA) and scalability of Google or Facebook? Ever wondered if you could utilize similar techniques on commodity platforms without sacrificing the enterprise qualities of Oracle Database? Both are possible using a new HA architecture included with the next release of Oracle Database 12c. Join this session to learn about designing transaction processing systems for linear scalability with complete fault isolation—on commodity hardware without shared storage . ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 17:06 |
|
||
|
Шардинг
|
|||
|---|---|---|---|
|
#18+
12.2, Было, видимо это еще меньше надо чем CDB, а жаль http://www.sql.ru/forum/1176601/oracle-12-2-out-of-the-box-sharding ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.09.2015, 04:41 |
|
||
|
Шардинг
|
|||
|---|---|---|---|
|
#18+
о1222видимо это еще меньше надо чем CDB, а жальшардинг, это особенность приложения, а не субд. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.09.2015, 08:40 |
|
||
|
Шардинг
|
|||
|---|---|---|---|
|
#18+
sharing no oneо1222видимо это еще меньше надо чем CDB, а жальшардинг, это особенность приложения, а не субд.не совсем так. Например, MPP-базы данных - это шардинг на уровне базы данных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.09.2015, 11:04 |
|
||
|
Шардинг
|
|||
|---|---|---|---|
|
#18+
кстати, Next-Gen Database Enhancements for Java Application Performance and Scalability [CON10310] Jean De Lavarene, Software Development Director, Oracle Michael Mcmahon, Member of Technical Staff, Oracle Nirmala Sundarappa, Principal Product Manager, Oracle Developers, architects, and DBAs: Are you looking to design or deploy Java applications while reaping the performance and scalability features of the next-generation Oracle database? This session deep-dives into Oracle driver support for Java 8/JDBC 4.2, and then discusses how to increase application performance by compressing Java DB traffic on the wire, directing Java DB traffic over InfiniBand in the Oracle Exadata/Oracle Exalogic environment, and faster connection allocation through a wait-free enhancement in Oracle Universal Connection Pool (Java connection pool). The session also addresses how Java web applications can achieve extreme scalability through a sharded database architecture. может это уже 13-я версия? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.09.2015, 14:28 |
|
||
|
Шардинг
|
|||
|---|---|---|---|
|
#18+
Выскажу сугубое HO в противовес прозвучавшему тут ранее мнению "Шардинг - это для фейсбук": А если посмотреть на данный вопрос в связке "бизнес в сегменте СМБ" и "Облачная инфраструктура" ? В сегменте СМБ занимаются собственными разработками достаточно активно. И имеют постоянную, если не головную боль, то хорошую занозу с вопросом сопровождения инфраструктуры - достаточно посмотреть на перманентное нытье в разделе "Вакансии" - ну почему тут еще и обязанности DBA :) - да и без раздела "Вакансии" понятно, что как только потребность в каком-то специалисте выражается цифрой меньше двух (и этот специалист завязан на вопросы эксплуатации), так жди на этом самом месте проблем. Если приспособиться "жить в облаке" - многие вопросы по управлению инфраструктурой отпадут сами собой. И тут становится интересной другая особенность "облачного существования": как формулируют это сами облачные провайдеры - "Платите за то, что потребляете". Одно дело выбивать из руководства бизнеса новый сервер (с запасом по производительности, на вырост, а как еще ?) - действие, как-никак, одноразовое. Другое дело - ежемесячная оплата счетов за ресурсы "в облаке". IMHO, такие решения как шардинг, программная репликация - и именно там, где занимаются собственными разработками "для бизнеса" - могут быть весьма полезны для использования возможностей облачной инфраструктуры в части управления потребляемыми ресурсами. Понятно, что внедрить в разработку такой подход потребует серьезных усилий. Это не канбан доску в уголок поставить и доложить: А мы тут Agile внедрили... :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.09.2015, 15:13 |
|
||
|
Шардинг
|
|||
|---|---|---|---|
|
#18+
kva6513 А если посмотреть на данный вопрос в связке "бизнес в сегменте СМБ" и "Облачная инфраструктура" ? Эта фича 99% будет доступна только в EE. Стоимость лицензий EE не подъемна для СМБ. Минимально необходимый набор в виде RAC option, partition, diagnostics+tuning pack поднимает цену за ядро до 93к + надо поддержку платить. Если это будет реализовано через shard aware jdbc pool, то это костыль. Такое уже давно "запилили" кому надо... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.09.2015, 17:56 |
|
||
|
Шардинг
|
|||
|---|---|---|---|
|
#18+
о1222Эта фича 99% будет доступна только в EE. Так я не про обещания Oracle, который совершенно недвусмысленно демонстрирует, в т.ч. и последними новациями в лицензионной политике, что сегмент СМБ ему не интересен. Я про потенциальную востребованность сторонней разработки в этом направлении. Правда, в российских реалиях с востребованностью явно будет плохо: местных облачных ресурсов, ориентированных на работу с Oracle, IMHO, просто нет, а выносить что-то серьезное на зарубежные ресурсы - подставляться под закон о хранении персональных данных. PS: Буквально сегодня сравнивал цены Oracle Virtual Image Standard Edition Service и Amazon RDS for Oracle Database (тоже предоставляемый вместе с лицензией на SE). По-моему предложение Amazon выглядит интереснее. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.09.2015, 18:11 |
|
||
|
Шардинг
|
|||
|---|---|---|---|
|
#18+
Alexander Ryndinsharing no oneпропущено... шардинг, это особенность приложения, а не субд.не совсем так. Например, MPP-базы данных - это шардинг на уровне базы данных. пока выглядит так что у Оракл никакого MPP не будет. Тупо шардинг уровня MySQL без распределенных запросов ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.04.2017, 14:06 |
|
||
|
|

start [/forum/topic.php?fid=52&msg=39062754&tid=1886157]: |
0ms |
get settings: |
8ms |
get forum list: |
9ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
183ms |
get topic data: |
6ms |
get forum data: |
2ms |
get page messages: |
33ms |
get tp. blocked users: |
1ms |
| others: | 236ms |
| total: | 482ms |

| 0 / 0 |
