powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Зачем все пилят монолит?
25 сообщений из 172, страница 5 из 7
Зачем все пилят монолит?
    #40062124
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sayan Malakshinov
Leonid Kudryavtsev
Дофига транзакций и никакого ACID.
Ну, почему, в большинстве таких примеров, все же есть ACID на уровне микротранзакций с их фиксацией в базе/базах (естественно, сложные многоступенчатые операции с возможностью отмены на каждом из шагов состоят из микротранзакций, с возможностью их повтора, но не потери).


Наблюдал ситуацию, когда в выписке эквайринга СберБанка данные менялись задним числом. Выгрузили выписку на след. день, у операции с одним кодом и uid - одна сумма. Выгрузили через пару дней - код операции тот же, uid тот же, дата и время те же, сумма другая.

И какой тут ACID ? ))) Это Сбербанк )))
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062127
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sayan Malakshinov
Охъ, ну и каша у тебя в голове...
Во-первых, почему сразу банки? А не Sony, не Амазон, ни Озон, например?
Во-вторых, а где это у вас "там" не периферия?
В-третьих, сразу видно, что даже о банках у тебя посредственные знания. Например, я могу в веллс фарго перевести со своего депозитного счета на депозитный счет жены, и, представь, они оба не картсчета :)

да, у меня каша. но ты давай не стесняйся, похвались, где конкретно ты видел фин транзакции в рамках одной бд, с acid ? Sony, Амазон, Озон ?
если ты не понял, то я над тобой потешаюсь. у того же веллс фарго это будет огромной длины сага, которая сформирует задачу ночному джобу на закрытие твоего счета, какие-нить запросы во внешние скоринг системы, проверки на фрод. если это не ларек с 1с, ничего похожего на acid транзакцию субд не будет. все устроено много сложней.
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062128
Фотография Sayan Malakshinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Leonid Kudryavtsev
Выгрузили через пару дней - код операции тот же, uid тот же, дата и время те же, сумма другая.
у меня такая хрень была, когда курс шикарно попрыгал в декабре 2014, а мы на рождество в египте были я так и не стал разбираться как он определяется
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062130
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1

да, у меня каша. но ты давай не стесняйся, похвались, где конкретно ты видел фин транзакции в рамках одной бд, с acid ?

Любая транзакция в рамках одной системы/одной организации ?

Правда не уверен, какое конкретное значение Вы вкладываете в слова "фин транзакция".
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062134
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsev

Любая транзакция в рамках одной системы/одной организации ?

Правда не уверен, какое конкретное значение Вы вкладываете в слова "фин транзакция".


потешатся я начал вот с этой фразы
Sayan Malakshinov
Одно дело какой-нибудь сайт: потерялись изменения - ну и хрен с ним, пользователь не помрет - повторит все заново. Другое дело, перевод денег со счета на счет: с одного снялись, на другой не попали - звони в тп - ручками поправят

не знаю, что он имел ввиду потому и спрашиваю, где он видел, что бы свелось к примитивной acid транзакции
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062137
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sayan Malakshinov
у меня такая хрень была, когда курс шикарно попрыгал в декабре 2014...

курс не при чем.

где-то сайт Сбербанка сглючил. Было две операции на разные суммы: одна отклонилась, вторая прошла. В эквайринге изначально отразилась отклоненная операция, в банковскую выписку (деньги) попала вторая (банковскую выписку у меня не сквитовалась, т.к. суммы не совпали). Через пару дней выписка эквайрига с сайта Сбера исправилась. Подозреваю, в Сбере сами обнаружил расхождение (или наш клиент им позвонил) и кто-то просто ручками в БД исправил.

Поскольку у меня операции удаления (или перезагрузки) уже загруженной выписки эквайринга не реализована, то так же пришлось ручками в БД удалять.

Удивительно, что id / uid при этом не изменилось. Если бы было две операции и изменился бы статус операции - это я бы еще понял, но изменение суммы при одном и том же id - за гранью добра и зла.
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062144
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1

не знаю, что он имел ввиду потому и спрашиваю, где он видел, что бы свелось к примитивной acid транзакции

Про банки не знаю.

Но у нас в биллинге операции вида "списать деньги с аванса/предоплаты, оплатить счет" выполняются в рамках одной примитивной acid транзакции. Если деньги будут с аванса будут списываться в междумодульное пространство или оплата счета появлятся ниоткуда - в конце месяца, при закрытие периода, нам голову оторвут.

Поэтому делить единую систему "счета и платежи" на два микросервиса, задолженность по счетам отдельно + прием платежей отдельно - можно конечно, но головной боли и кол-во ошибок это явно добавит. Транзакции и ACID "из коробки" это удобно и убирает массу проблем.

Это не значит, что такого междуомодульного пространства найти нельзя. Например комисия Сбербанка за эквайринг - вполне таким междумодульным пространством является. У пользователя списывается с карточки одна сумма, а на счет продавца приходит уже другая. В рамках сбербанка происходит "усушка и утряска" на сумму комиссии. Лично я в законности такой усушки сомневаюсь, но это пусть у юристов Сбербанка голова болит.

С точки зрения отчетности, получается хрень. Счетов выставили на 100 рублей, денег пришло на 97 рублей, а еще 3 рубля приходится "рисовать" внутри системы. Понятно, что при должной ловкости и желании, такой учет отрывает "большие переспективы"

p.s.
другие "агрегаторы" платежей (например Почта России) работают по более прозрачной схеме. Они присылают полную сумму и выставляют отдельный счет за свои услуги на сумму комиссии.
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062151
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1
не знаю, что он имел ввиду потому и спрашиваю, где он видел, что бы свелось к примитивной acid транзакции


А как делать "не примитивную" транзакцию?

Вот например бизнес процесс эквайринга сбербанка.

Счет 100 рублей, человек оплатил 100 рублей со своей карточки, 3 рубля "усушилось" в Сбербанка, 97 руб дошло.

Ok.

Человек пишет заявление, что оплата была ошибочной. Ему нужно вернуть деньги. Сделать rollback. Кто и как будет возврашать?

Наша система, не против. Но нам пришло 97 рублей, мы и вернуть можем 97 рублей. А вот кто и на каком основании ему будет 3 рублей усушенных Сбербанком возврашать? То есть большой вопрос.

Это при том, что документация от Сбера около нуля. Типы транзакций возврат денег, вроде у эквайринга Сбера есть, но как они работают - не понятно совершенно. Но за > 3 года ни разу транзакций возвратов не было. Но пару раз было несовпадение сумм в выписках Сбербанка и реального поступление денег - приходилось руками подшаманивать/исправлять в базе. Подозреваю, это могло быть и по причине возвратов/технических ошибок процессинга карточек.

Была бы одна база и ACID - таких бы проблем не было как класс.

p.s.
Пример не выдуманный. Был случай, когда человек по ошибке вместо 2 тыс. рублей оплатил 20 000 рублей. Просил, что бы ему вернули ))) Чем закончилось не знаю, но через 3-х месяца после написания заявления фиг он получил, а не деньги )))

Россия. Все во имя человека, все во благо человека и многие даже догадываются, что это за человек (советский анекдот, своими словами)
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062153
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sayan Malakshinov
mayton
Ты мобилу пополняешь когда-нибудь? Видел, сколько шагов такая операция занимает?
Это - тоже не в рамках одного закона ACID происходит. Не одним UPDATE-ом...
Причем тут один апдейт или одна операция? Речь про потерю кэша или его несогласованность. Верность и надежность кэшей одна из самых сложных вещей.

Это интересная и сложная тема. И она - будоражит этот форум.

Вы сказали о потерях. Очевидно был печальный опыт.

Мне вспоминается кто-то известный из ... эээ короче он сказал дескыть что две темы актуальны
для разработки софта - 1) как назвать переменную и 2) как инвалидировать кеш.
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062154
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Melkomyagkii_newbi
H5N1
пропущено...


и что, где-то в серьез существуют проекты где как полагается поднимается оракл с партишенами в докере, разворачиваются таблицы, заполняются и тестируется pl/sql код каждого пекеджа ?


бывает и такое, думаю не такая уж и редкость для продуктов в которых ключевая роль у базы данных.


Ну, вот у нас так сейчас. Правда, не оракл.
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062155
Фотография Sayan Malakshinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
H5N1
да, у меня каша
остановись на этом и прекрати фантазировать о том, чего не ведаешь.
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062163
Melkomyagkii_newbi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MasterZiv
Melkomyagkii_newbi
пропущено...


бывает и такое, думаю не такая уж и редкость для продуктов в которых ключевая роль у базы данных.


Ну, вот у нас так сейчас. Правда, не оракл.


тож, оракл. на каждый коммит собираются стенды и гоняются все тесты.
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062164
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AmKad
Господа, вы обсуждаете абстрактные микросервисы в вакууме. Опишите задачу, чтобы можно было предметно обсуждать, из каких микро- или наносерсивов может состоять система, ее решающая.


Вполне конкретно всё. Есть многозвенная система с одной центральной базой данных.
Люди испытывают проблемы с производительностью БД.
Начинают проетк по распиливанию системы и БД на микросервисы.
В ЧЁМ БУДЕТ В ТАКОЙ АРХИТЕКТУРЕ ПРОФИТ, ВЫГОДА?
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062165
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster
Sayan Malakshinov
ох, да я вообще хотел бы увидеть хоть один реальный, не надуманный пример, когда вынос логики из базы на апп.сервер реально поможет снизить нагрузку

Вопрос религиозный. Если тебя ткнуть носом в реальный пример, всё равно будешь орать, "ви всё врёти!".


Ну так, ткни...
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062176
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Класик-- Что такое! -- сказал вдруг Балаганов, переставая работать. -- Три часа уже пилю, а оно все еще не золотое.
Паниковский не ответил. Он уже все понял и последние полчаса водил ножовкой только для виду.
-- Ну-с, попилим еще! - бодро сказал рыжеволосый Шура.
-- Конечно, надо пилить, - заметил Паниковский, стараясь оттянуть страшный час расплаты.
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062177
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mad_nazgul
Ну использовать на проде БД в docker - ИМХ такая себе идея.
Чем она "такая себе"? Кто-то в интернете чет ляпнул, поэтому так себе? Operations после появления миграции в vmware ссали кипятком наконец-то расслабились и стали устанавливать все что можно в vmware, и плевать они хотели на то что по этому поводу думали вендоры БД, что MS, что Oracle, что консерваторы с форма PostgreSQL. Если смотреть на докер, то у него все крутится вокруг специфичного драйвера ФС (который можно не использовать) и вызова nsenter , чем конкретно плох вызов nsenter?


mad_nazgul

А вот для части интеграционных тестов - почему бы и нет.
Как минимум получаем контролируемое окружение.

Но все равно. В настройках где-то прописаны настройки подключения к БД, в т.ч. хост, название БД, логин/пароль.

Если тестировать, то по хорошему нужно для каждой поднятой БД эти настройки писать и как-то передать приложению.
Желательно автоматом.

Поэтому docker - норм решение, чтобы протестировать какую-то логику работы с БД.

Т.к. это проще, чем поднимать на каждый тест БД на уже существующем хосте.
Как бы в docker - это уже будет сделано. Главное туда скрипты закинуть для инициализации данных.


есть мнение что кто-то что-то "не договаривает", вся эта история про пространства имен и пр. работает _только_ из линукса, больше нигде она не работает: в MS крутится линусковая виртуалка, в OS X - тоже виртуалка, поэтому с рабочего десктопа до докеровского окружения толком достучаться нельзя (попробуй-те ради развлечения запустить отладку PL/SQL в SQL Developer), а для меня "возможность запускать тесты на декстопе" - это в первую очередь возможность отладки, которая по сути в докере-то и отсутствует, т.е. или кто-то на самом деле никакие интеграционные тесты не пишет, либо эти интеграционные тесты никакие не интеграционные и не тесты.
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062180
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MasterZiv
В ЧЁМ БУДЕТ В ТАКОЙ АРХИТЕКТУРЕ ПРОФИТ, ВЫГОДА?

у микросервисов есть эластичность (не путать с производительностью и масштабируемостью), а у немикросервисов - нет.
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062182
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У микросервисов может отсутствовать SPOF.
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062191
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsev

А как делать "не примитивную" транзакцию?

Вот например бизнес процесс эквайринга сбербанка.

Счет 100 рублей, человек оплатил 100 рублей со своей карточки, 3 рубля "усушилось" в Сбербанка, 97 руб дошло.

Ok.

Человек пишет заявление, что оплата была ошибочной. Ему нужно вернуть деньги. Сделать rollback. Кто и как будет возврашать?

вы реально ничего не слышали про патерн Saga ?

Sayan Malakshinov
остановись на этом и прекрати фантазировать о том, чего не ведаешь.

я не ведаю откуда такая серость. так давай, разрушь мой маленький и уютный мирок, где даже внутри организации, типа сбера вылазит "вот где карту открывали, туда и идите".
в котором ларьке у тебя опыт ? я не хочу фантазировать, я просто хочу понять где столь примитивный взгляд на вещи мог сохранится. ведь в моих краях даже ларек в рамках транзакции начислит всякие бонусные очки или запроцессит какую-нить подарочную карту.
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062196
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1

вы реально ничего не слышали про патерн Saga ?

Не слышал. Нужды не было. Но сомневаюсь, что какие нибудь патерны могут бизнес проблемы исправить.

Бизнес кейс привел. 3-и рубля комиссии которые забрал себе Сбербанк, он врят ли отдаст. Что с Saga, что без Saga. Вот такие вот "фин транзакции" когда "это всегда туча сервисов, начиная с VISA/Mastercard, заканчивая парой банков посредников"

Если сможете объяснить, откуда при возврате средств брать 3-и рубля комиссии и как их показать бухгалтерии - буду рад.
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062198
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Капец. Как вообще SWIFT-у после этого доверять можно.
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062202
Фотография Sayan Malakshinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
H5N1
я не хочу фантазировать
сев разок в лужу, ты все-таки настаиваешь и вылазить из нее не хочешь...
H5N1
ведь в моих краях
где ничего не слышал про нормальные банки и население страны меньше, чем округ в Москве? :)
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062203
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsev

Не слышал. Нужды не было. Но сомневаюсь, что какие нибудь патерны могут бизнес проблемы исправить.

Бизнес кейс привел. 3-и рубля комиссии которые забрал себе Сбербанк, он врят ли отдаст. Что с Saga, что без Saga. Вот такие вот "фин транзакции" когда "это всегда туча сервисов, начиная с VISA/Mastercard, заканчивая парой банков посредников"

Если сможете объяснить, откуда при возврате средств брать 3-и рубля комиссии и как их показать бухгалтерии - буду рад.

ну известный патерн, на хабре наверно через день наверно о нем судачат. вкратце ты там описываешь, что надо сделать в рамках "транзакции" и что в рамках отката. что там в откате ты нарисуешь, тебе решать. надо вернуть включаю комиссию - рисуй включая.
суть то не в этом, суть в том, что все в современном мире длинные распределенные саги. от платежа за мороженого, до withdrawal с Binance биржи это распределенные транзакции цепляющие тучи сервисов.
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062272
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
У микросервисов может отсутствовать SPOF.
это совершенно ниоткуда не следует, эта вера основывается исключительно на предположении, что инфраструктурные сервисы достаточно "тупы", чтобы там чему-то ломаться, т.е. те, кто организовывает обмен сообщениями через очереди, слепо верят, что очереди не падают (ага, очереди же не БД, поэтому не SPOF), те, кто гонит трафик через HTTP верят в то, что там не бывает таймаутов....
...
Рейтинг: 0 / 0
Зачем все пилят монолит?
    #40062312
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Андрей Панфилов
mayton
У микросервисов может отсутствовать SPOF.
это совершенно ниоткуда не следует, эта вера основывается исключительно на предположении, что инфраструктурные сервисы достаточно "тупы", чтобы там чему-то ломаться, т.е. те, кто организовывает обмен сообщениями через очереди, слепо верят, что очереди не падают (ага, очереди же не БД, поэтому не SPOF), те, кто гонит трафик через HTTP верят в то, что там не бывает таймаутов....

Давай смягчим это утверждение. Пускай будет не SPOF, но нечто, декларирующее устойчивость
бизнеса, в условиях когда часть сервисов находятся в down-time. Про БД мы такое сказать не можем.
Если датацентр упал (вследствие пожара или землетрясения) - то и все сервисы - недоступны.
...
Рейтинг: 0 / 0
25 сообщений из 172, страница 5 из 7
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Зачем все пилят монолит?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]