|
|
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
Андрей Панфилов andreykaT только не понял зачем там флаги вы так до EJB дойдете) не нужны ему никакие флаги и прочая шляпа- пусть пробует хибер батч и отпишется по результату- у нас такое на проде шас стоит 6000 инсертов держит ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.07.2020, 19:57 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
вадя когда id даёт не база - будет куча проблем.... в чем проблема с id я не пойму, в постгрес делаешь один запрос "дай мне sequence + 10000" и вот у тебя 10000 уникальных для таблицы айдишников, которые уже никто на займет - юзай не хочу ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.07.2020, 20:04 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
asv79 Андрей Панфилов пропущено... ну ты посмотри как асинхронные сервлеты реализованы - там все ждет когда флаг выставится. вы так до EJB дойдете) не нужны ему никакие флаги и прочая шляпа- пусть пробует хибер батч и отпишется по результату- у нас такое на проде шас стоит 6000 инсертов держит у меня нету хибера. говорил же вроде? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.07.2020, 20:08 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
chpasha в чем проблема с id я не пойму, в постгрес делаешь один запрос "дай мне sequence + 10000" и вот у тебя 10000 уникальных для таблицы айдишников, которые уже никто на займет - юзай не хочу ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.07.2020, 20:09 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
chpasha в чем проблема с id я не пойму, в постгрес делаешь один запрос "дай мне sequence + 10000" и вот у тебя 10000 уникальных айдишников, которые уже никто на займет - юзай не хочу первое - надо контролировать диапазон - у тебя 10 000 - первая вставка - 7000 и вторая 7000 - что будет? второе - тебе выделили - и сбой питания - что есть что? ну и далее.... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.07.2020, 20:10 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
вадя первое - надо контролировать диапазон - у тебя 10 000 - первая вставка - 7000 и вторая 7000 - что будет? еще 3 тыщи запросили, или какой там модуль вадя второе - тебе выделили - и сбой питания - что есть что? и что во время сбоя питания проникнет враг и сожрет наши 10 тыщ айдишников? вадя ну и далее.... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.07.2020, 20:13 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
вадя первое - надо контролировать диапазон - у тебя 10 000 - первая вставка - 7000 и вторая 7000 - что будет? Никто не заставляет выдавать именно long и вообще брать sequence с базы. вадя второе - тебе выделили - и сбой питания - что есть что? ИБП. Потеря питания в таком-то году оправдана только взрывом сервера. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.07.2020, 20:21 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
andreykaT самый простой вариант что? правильно кэп, очередь! очередь с одним кансамером. Выгребли один и больше нет? Отправили один. Выгребли три? Собрали в пачку и отправили всю пачку с одной фиксацией. Накидано столько, что насобирали лимит, а они всё не заканчиваются - отправили пачку максимального размера и продолжаем.то что пришло и кидаем в базу. полученное из базы возвращаем назад по другой очереди и раскидываем клиентам.Скорее так - отправили пачку и (в этом потоке) ждём ответа базы. Другой поток в это время собирает (и отправляет) новую пачку. Ну и контролируем, чтобы параллельных потоков было не слишком много. В качестве первого лимита для "слишком много" - не более трёх или даже двух параллельных потоков. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.07.2020, 20:25 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
Андрей Панфилов еще 3 тыщи запросили, или какой там модуль Андрей Панфилов и что во время сбоя питания проникнет враг и сожрет наши 10 тыщ айдишников? всё это как бы просто... до поры. в итоге ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.07.2020, 20:35 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
crutchmaster ИБП. Потеря питания в таком-то году оправдана только взрывом сервера. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.07.2020, 20:37 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
вадя запросить не проблема - вот только каждый раз надо это контролировать ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.07.2020, 20:42 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
Андрей Панфилов Вот что ты контролировать собрался? длина лонга 4 байта, ну пусть 8 как нынче принято, 10 тысяч лонгов - это же просто нереально памяти нужно, аж 80Kb! - целых 12 процентов от того что достаточно всем. вырубили питание и просрали 10 тыщ идентификаторов? ну и хрен с ними, у нас питание не каждую секунду вырубают. так у тебя может не хватить - из-за пустых мест в id согласись, что в данном случае это не нулевая вероятность ну и не известно сколько надо этих id бронировать - по 10000 ? по 20? по 78? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.07.2020, 21:24 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
вадя по 600 в секунду а таких и не понятно сколько за раз - 2 или 2000 так у тебя может не хватить - из-за пустых мест в id bigint/bigserial = 9223372036854775807, можешь посчитать на сколько лет хватит ;) вадя ну и не известно сколько надо этих id бронировать - по 10000 ? по 20? по 78? ну сколько нибудь батчей, чтоб не каждые 2 сек. в базу бегать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.07.2020, 22:00 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
chpasha ну сколько нибудь батчей, чтоб не каждые 2 сек. в базу бегать. chpasha bigint/bigserial = 9223372036854775807, можешь посчитать на сколько лет хватит ;) я не говорю что это не правильный путь - только на нём тоже не всё так просто и прямо... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.07.2020, 22:06 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
вадя ну сколько-нибудь.... это на каком ЯП? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.07.2020, 22:55 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
chpasha вадя по 600 в секунду а таких и не понятно сколько за раз - 2 или 2000 так у тебя может не хватить - из-за пустых мест в id bigint/bigserial = 9223372036854775807, можешь посчитать на сколько лет хватит ;) вадя ну и не известно сколько надо этих id бронировать - по 10000 ? по 20? по 78? ну сколько нибудь батчей, чтоб не каждые 2 сек. в базу бегать. У меня была ситуация когда лонг кончился. А чеб ууиды не генерить? Каков шанс дубль словить? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.07.2020, 00:06 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
andreykaT У меня была ситуация когда лонг кончился. Есть (более практичные) ограничения на размеры хранилища или/и самой базы. При более-менее разумной стратегии выделения идентификаторов вы не можете исчерпать long (int64) в роли первичного ключа таблицы в базе. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.07.2020, 05:09 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
andreykaT А чеб ууиды не генерить? Каков шанс дубль словить? но это уже строка - со всеми вытекающими ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.07.2020, 05:47 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
Basil A. Sidorov andreykaT У меня была ситуация когда лонг кончился. Есть (более практичные) ограничения на размеры хранилища или/и самой базы. При более-менее разумной стратегии выделения идентификаторов вы не можете исчерпать long (int64) в роли первичного ключа таблицы в базе. так там была не рдбмс и вообще не база. я к тому что они могут кончиться. тут сверху предлагают кусками драть а потом забывать про них. мне кажется, с таким подходом очень даже можно и упереться. ну конечно надо постараться. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.07.2020, 09:51 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
вадя andreykaT А чеб ууиды не генерить? Каков шанс дубль словить? но это уже строка - со всеми вытекающими в контексте перформаса конкретно что? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.07.2020, 09:51 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
вадя andreykaT А чеб ууиды не генерить? Каков шанс дубль словить? но это уже строка - со всеми вытекающими Есть несколько независимых алгоритмов генерации UUID. Есть такие которые основаны просто на SecuredRandom генераторе. И есть такие что включают в себя сочетание timestamp + Mac-адрес сетевого адаптера который принадлежит серверу сгенерировавшему UUID. Можно сделать свой собственный генератор который например инкапсулирует номер ноды кластера которая сгенерила UUID. Это дает также возможность потом трабл-шутить потерянные месседжи. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.07.2020, 10:48 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
andreykaT тут сверху предлагают кусками драть а потом забывать про них если сервер у тебя упал, то может кусок id пропасть. у тебя часто сервер падает? andreykaT мне кажется, с таким подходом очень даже можно и упереться не надо кажется, возьми калькулятор в мышку и посчитай исходя из пессимистичного пиковое кол-ва инсертов (можешь для успокоения еще на 10 или 100 умножить). Я подозреваю, что у тебя винты кончатся гораздо раньше ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.07.2020, 11:28 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
andreykaT так там была не рдбмс и вообще не база Но, как бы, "в контексте" речь идёт про идентификаторы первичного ключа записи СУБД? Не? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.07.2020, 12:16 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
Basil A. Sidorov andreykaT так там была не рдбмс и вообще не база Но, как бы, "в контексте" речь идёт про идентификаторы первичного ключа записи СУБД? Не? да. короче. выносим айдихи с базы на среднее звено. понял. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.07.2020, 12:26 |
|
||
|
акка или кафка?
|
|||
|---|---|---|---|
|
#18+
andreykaT Basil A. Sidorov пропущено... "Вообще" я достаточно изобретателен и много чего могу представить/вообразить. Но, как бы, "в контексте" речь идёт про идентификаторы первичного ключа записи СУБД? Не? да. короче. выносим айдихи с базы на среднее звено. понял. Андрейка. Почитай еще про системы которые входят в класс event-store https://db-engines.com/en/system/Event Store Может пригодится. У них - максимальная пропускная по количеству вставок. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.07.2020, 12:59 |
|
||
|
|
start [/forum/search_topic.php?author=Ukraina&author_mode=last_topics&do_search=1]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
get settings: |
8ms |
get forum list: |
16ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
30ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
68ms |
get tp. blocked users: |
1ms |
| others: | 9759ms |
| total: | 9928ms |
| 0 / 0 |
