powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Шардинг
17 сообщений из 142, страница 6 из 6
Шардинг
    #38342773
Соломон Кацandrey_anonymousпропущено...

Общие слова.
Бизнес-требования озвучены.
Каков правильный шардо-дизайн?

Не мучай человека, он не шарит.

спасибо за декларацию того, что ты у нас шаришь в том кто в чем шарит. еще чего выдать можешь?
...
Рейтинг: 0 / 0
Шардинг
    #38342804
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
дуалотехничкинпрочитай все ото выше про аппсерверы и независимые между собой датабазы
Про независимость уже выяснили - это работает в идеальной бизнес-модели, представляющие собой изолированные куски.
В принципе, в такой модели никакого шардинга не надо - достаточно поставить X отдельных систем и выгонять периодически агрегированную отчетность в единый сервер отчетности.

Осталось про дизайн для случая, когда бизнес-модель допускает некоторую связность данных с различных серверов.

Итак, организуем высоконагруженную пиццерию :)
Руководство пиццерии почитало рекламные буклеты от техничкина и украинского блюда, впечатлено успехами ebay, но к началу проекта поглотить ebay не готово - к примеру, не позволил антимонопольный комитет или финдир купил себе новый феррари, на ebay не хватило пары баксов.

Имеется:
- Сервера ДБ_А(Москва), ДБ_Б(Питер)
- Сервера приложений АП_А(Москва), АП_Б(Питер)
- web-сервера в количестве

После успешного запуска проекта планируется расширение сети на все города РФ.
Среднесрочный план предполагает захват рынков пиццы США, Японии и Папуа Новой Гвинеи.
Долгосрочная цель - охватить услугами колонии на Марсе, Венере и Альдебаране.

Сущности:
- Клиент (геопривязка, фио, баланс, бонусы, кем_приведен, индекс лояльности)
- Услуга (геопривязка, наименование, цена)
- Заказ (клиент, услуга, количество, сумма, начисленные бонусы)


Принято решение делить клиенскую базу и базу заказов по территориальному признаку.
(Не согласны? Предложите иной вариант)

Требуется:
1. Предложить схему предоставления услуги "продажа пиццы" для случая, когда клиент_А (Москва) пытается получить услугу_Б (Питер).
2. Предложить схему реализации маркетинговой кампании "приведи друга" для случая, когда клиент_А приводит клиента_Б. По условиям компании клиент_А должен получать бонусы с каждой продажи клиенту_Б в течение года.

Схема предоставления услуги должна включать:
- рекомендации (if any) по разделению данных сущностей Клиент, Услуга, Заказ по Независимым Изолированным Серверам.
- схему взаимодействия серверов приложений и серверов БД
- схему движение данных (у кого что спрашиваем, куда что дублируем)

Ах-да-забыл, ebay, обиженный отказом от сделки по ее, ebay, поглощению, категорически отказалась раскрыть секрет Полишинеля, поэтому ссылки на "почитай про шардинг у ebay" ведут в пустоту.
...
Рейтинг: 0 / 0
Шардинг
    #38342815
не тупи
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ты много написал (выдыхай)

а по сути - заведи сервер клиентов (типо LDAP)

Питерский апп сервер, получив логин по oauth и не обнаружив московского чувака у себя в локальной базе - резко добавляет его себе локально в клиенты, бодро сдернув всю инфу из центра, а дальше как обычно - считает его типо питерцем. центральный сервер клиентов при этом питерцем не нужен - они сразу ходят в свой

вот и все. таких случаев понаехалов будет от силы 1%, ничего страшного
...
Рейтинг: 0 / 0
Шардинг
    #38342817
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
не тупиПитерский апп сервер, получив логин по oauth и не обнаружив московского чувака у себя в локальной базе - резко добавляет его себе локально в клиенты, бодро сдернув всю инфу из центра, а дальше как обычно - считает его типо питерцем. центральный сервер клиентов при этом питерцем не нужен - они сразу ходят в свой

Очень хорошо, поехали.
Как данные о заказах и начисленных в Питере бонусах попадают на московские сервера?
Как московскому гостю начисляются бонусы за продажи Питерскому другу?
А за продажи Питерскому другу, сделанные в Москве?
...
Рейтинг: 0 / 0
Шардинг
    #38342823
не мудри
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
andrey_anonymousне тупиПитерский апп сервер, получив логин по oauth и не обнаружив московского чувака у себя в локальной базе - резко добавляет его себе локально в клиенты, бодро сдернув всю инфу из центра, а дальше как обычно - считает его типо питерцем. центральный сервер клиентов при этом питерцем не нужен - они сразу ходят в свой

Очень хорошо, поехали.
Как данные о заказах и начисленных в Питере бонусах попадают на московские сервера?
Как московскому гостю начисляются бонусы за продажи Питерскому другу?
А за продажи Питерскому другу, сделанные в Москве?

обычно вообще никак (ибо нефиг), а если ну очень сильно надо - то через soap какой (все помнят рекламный ролик про java)

в soap даже email как транспорт числится, фигли
...
Рейтинг: 0 / 0
Шардинг
    #38342827
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
не мудриобычно вообще никак (ибо нефиг), а если ну очень сильно надо - то через soap какой (все помнят рекламный ролик про java)
в soap даже email как транспорт числится, фигли

Всех спасет великий соап и голубиная почта.
Что куда пересылать - соап решит сам, думать тут не о чем.
В крайнем случае - задачу решать не будем, ибо нефиг.
Позиция понятна, спасибо.
...
Рейтинг: 0 / 0
Шардинг
    #38346516
pectopatop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Андрей,
мне кажется всем кто в теме уже давно очевидно,
что шардинг не панацея,
и техничкин, не имея опыта работы с такими системами, предлагает просто покласть на "неформаты":
не тупи таких случаев понаехалов будет от силы 1%, ничего страшного

Хрен ли типа эта бузинес модель не укладывается в моё решение?! Порезать бузинес модель!!!

В Терадате тоже часть запросов проходят через All-AMPs операции, если вы про её устройство тут намекали. И ничего, проходит через все ампы/ноды - ну что поделать,жизь такова.. Запросов таких ведь относительно немного, и разрабы пускай количество таких запросов максимально сводят к нулю.
...
Рейтинг: 0 / 0
Шардинг
    #38349167
не тупи
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
pectopatopАндрей,
мне кажется всем кто в теме уже давно очевидно,
что шардинг не панацея,
и техничкин, не имея опыта работы с такими системами, предлагает просто покласть на "неформаты":
Ну и на основании чего ты сделал такие выводы, про не форматы и не опыты?

На моем утверждении того, что на такие неформаты обычно (для плохо понимающих русский язык: слово "обычно" применяется как краткая форма - "в большинстве случаев") забивают т.к. они просто не несут никакой практической ценности даже для самих этих ритейловых клиентов?

О боже... Местные аналитики такие аналитики....
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
Шардинг
    #39061500
12.2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
открываем каталог Openworld 2015:
https://events.rainfocus.com/oow15/catalog/oracle.jsp?search.event=openworldEvent

Linear Scalability and Fault Isolation with the Next Release of Oracle Database 12c [CON8829]
Srinagesh Battula, Senior Principal Product Manager, Oracle
Mark Dilman, Director, Software Development, Oracle

Database sharding is an architectural pattern where data is horizontally partitioned across multiple discrete databases that share no hardware or software. It provides linear scalability and complete fault isolation for transaction processing applications designed for a sharded architecture—attributes that are not possible by scaling-out or scaling-up a single database. Join this session to hear Oracle Development present how the next release of Oracle Database 12c automates the deployment of a sharded architecture, and enables elastic scaling, rebalancing, data-dependent routing, and cross-shard queries. And it does all this while rendering strict consistency, the full power of SQL, developer agility with JSON, and the proven enterprise qualities of Oracle Database.

Deep-Dive into High Availability with the Next Release of Oracle Database 12c [CON8827]
Wei Hu, Vice President - High Availability Technologies, Oracle

Have you ever wished you had the army of PhDs needed to achieve the level of high availability (HA) and scalability of Google or Facebook? Ever wondered if you could utilize similar techniques on commodity platforms without sacrificing the enterprise qualities of Oracle Database? Both are possible using a new HA architecture included with the next release of Oracle Database 12c. Join this session to learn about designing transaction processing systems for linear scalability with complete fault isolation—on commodity hardware without shared storage .
...
Рейтинг: 0 / 0
Шардинг
    #39062754
о1222
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
12.2,

Было, видимо это еще меньше надо чем CDB, а жаль

http://www.sql.ru/forum/1176601/oracle-12-2-out-of-the-box-sharding
...
Рейтинг: 0 / 0
Шардинг
    #39062791
sharing no one
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
о1222видимо это еще меньше надо чем CDB, а жальшардинг, это особенность приложения, а не субд.
...
Рейтинг: 0 / 0
Шардинг
    #39062921
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sharing no oneо1222видимо это еще меньше надо чем CDB, а жальшардинг, это особенность приложения, а не субд.не совсем так. Например, MPP-базы данных - это шардинг на уровне базы данных.
...
Рейтинг: 0 / 0
Шардинг
    #39063122
Sal
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
кстати,

Next-Gen Database Enhancements for Java Application Performance and Scalability [CON10310]
Jean De Lavarene, Software Development Director, Oracle
Michael Mcmahon, Member of Technical Staff, Oracle
Nirmala Sundarappa, Principal Product Manager, Oracle
Developers, architects, and DBAs: Are you looking to design or deploy Java applications while reaping the performance and scalability features of the next-generation Oracle database? This session deep-dives into Oracle driver support for Java 8/JDBC 4.2, and then discusses how to increase application performance by compressing Java DB traffic on the wire, directing Java DB traffic over InfiniBand in the Oracle Exadata/Oracle Exalogic environment, and faster connection allocation through a wait-free enhancement in Oracle Universal Connection Pool (Java connection pool). The session also addresses how Java web applications can achieve extreme scalability through a sharded database architecture.

может это уже 13-я версия?
...
Рейтинг: 0 / 0
Шардинг
    #39063193
kva6513
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Выскажу сугубое HO в противовес прозвучавшему тут ранее мнению "Шардинг - это для фейсбук":

А если посмотреть на данный вопрос в связке "бизнес в сегменте СМБ" и "Облачная инфраструктура" ? В сегменте СМБ занимаются собственными разработками достаточно активно. И имеют постоянную, если не головную боль, то хорошую занозу с вопросом сопровождения инфраструктуры - достаточно посмотреть на перманентное нытье в разделе "Вакансии" - ну почему тут еще и обязанности DBA :) - да и без раздела "Вакансии" понятно, что как только потребность в каком-то специалисте выражается цифрой меньше двух (и этот специалист завязан на вопросы эксплуатации), так жди на этом самом месте проблем.
Если приспособиться "жить в облаке" - многие вопросы по управлению инфраструктурой отпадут сами собой. И тут становится интересной другая особенность "облачного существования": как формулируют это сами облачные провайдеры - "Платите за то, что потребляете". Одно дело выбивать из руководства бизнеса новый сервер (с запасом по производительности, на вырост, а как еще ?) - действие, как-никак, одноразовое. Другое дело - ежемесячная оплата счетов за ресурсы "в облаке".
IMHO, такие решения как шардинг, программная репликация - и именно там, где занимаются собственными разработками "для бизнеса" - могут быть весьма полезны для использования возможностей облачной инфраструктуры в части управления потребляемыми ресурсами.
Понятно, что внедрить в разработку такой подход потребует серьезных усилий. Это не канбан доску в уголок поставить и доложить: А мы тут Agile внедрили... :)
...
Рейтинг: 0 / 0
Шардинг
    #39063457
о1222
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
kva6513 А если посмотреть на данный вопрос в связке "бизнес в сегменте СМБ" и "Облачная инфраструктура" ?
Эта фича 99% будет доступна только в EE. Стоимость лицензий EE не подъемна для СМБ. Минимально необходимый набор в виде RAC option, partition, diagnostics+tuning pack поднимает цену за ядро до 93к + надо поддержку платить.

Если это будет реализовано через shard aware jdbc pool, то это костыль. Такое уже давно "запилили" кому надо...
...
Рейтинг: 0 / 0
Шардинг
    #39063475
kva6513
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
о1222Эта фича 99% будет доступна только в EE.

Так я не про обещания Oracle, который совершенно недвусмысленно демонстрирует, в т.ч. и последними новациями в лицензионной политике, что сегмент СМБ ему не интересен. Я про потенциальную востребованность сторонней разработки в этом направлении.
Правда, в российских реалиях с востребованностью явно будет плохо: местных облачных ресурсов, ориентированных на работу с Oracle, IMHO, просто нет, а выносить что-то серьезное на зарубежные ресурсы - подставляться под закон о хранении персональных данных.

PS: Буквально сегодня сравнивал цены Oracle Virtual Image Standard Edition Service и Amazon RDS for Oracle Database (тоже предоставляемый вместе с лицензией на SE). По-моему предложение Amazon выглядит интереснее.
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
Шардинг
    #39433487
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexander Ryndinsharing no oneпропущено...
шардинг, это особенность приложения, а не субд.не совсем так. Например, MPP-базы данных - это шардинг на уровне базы данных.
пока выглядит так что у Оракл никакого MPP не будет. Тупо шардинг уровня MySQL без распределенных запросов
...
Рейтинг: 0 / 0
17 сообщений из 142, страница 6 из 6
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Шардинг
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]