powered by simpleCommunicator - 2.0.48     © 2025 Programmizd 02
Форумы / Java [игнор отключен] [закрыт для гостей] / акка или кафка?
17 сообщений из 192, страница 8 из 8
акка или кафка?
    #39979432
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
tpc-c на 32 ядрах 1.6 млн tpc-c транзакций
http://www.tpc.org/tpcc/results/tpcc_result_detail5.asp?id=112092601

у постгрес конечно кривоватая архитектура с вакумом, но миллионы инсертов вытянуть обязан.
...
Рейтинг: 0 / 0
акка или кафка?
    #39979680
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ты давно не встречал это сколько не встречал?))
...
Рейтинг: 0 / 0
акка или кафка?
    #39979698
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT,

какие глупые разработчики субд .. до сих пор делают автоинкрементные поля....
...
Рейтинг: 0 / 0
акка или кафка?
    #39979720
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zzz79
вообще давно не встречал я ничего кроме UUID в качестве PK
"Есть много, друг Горацио, ..."
...
Рейтинг: 0 / 0
акка или кафка?
    #39979721
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zzz79
у тебя id бд чтоль генерит?
вообще давно не встречал я ничего кроме UUID в качестве PK,странно что ты юзаешь что то другое
Стас, вот откуда у тебя такие познания если ты работаешь без году неделю и ничего кроме поделок, которые отдали на откуп бодишопу, не видел? У идентификаторов, которые генерятся при помощи последовательности есть один существенный недостаток (и он не звучит как "Стас не одобряет"), а именно: "из коробки" такие идентификаторы нельзя переносить из одной базы в другую, т.е. флоу вида: тут чет консультанты поделали в тестовой БД, чего-то поназаводили, давайте то что они сделали перетащим в прод, работает так себе, но эта проблема с легкостью решается путем подмешивания информации о среде в сам идентификатор (просто берем и старшие биты резервируем под идентификатор системы), даже более того, в идентификатор можно подмешивать тип сущности и получить возможность обращаться к сущностям из вне без указания типа сущности, и при этом "число" останется "числом", а с ууидами ты такое уже не провернешь. Кроме этого с рандомными PK существуют проблемы в базах (в особенности в которых принято кластеризовывать данные в таблицах на основе PK: MSSQL и InnoDB, насколько мне известно) - в каких-то случаях это хорошо (нет горячих блоков в индексе и таблице), а в каких-то наоборот плохо - на больших вставках нужно много IO (вот здесь заливка батчами реально всосет если РК - это uuid).
...
Рейтинг: 0 / 0
акка или кафка?
    #39979843
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zzz79

А что ты используешь в качестве ORM или у тебя чистый jdbc?

он уже раз 10 сказал что используется слик. Ты спеки также внимательно читаешь?
...
Рейтинг: 0 / 0
акка или кафка?
    #39979892
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zzz79
забыл ник
пропущено...

он уже раз 10 сказал что используется слик. Ты спеки также внимательно читаешь?

а какое отношение имеет слик к java?)
это же для скалы ORM

а какое отношение этот топик имеет к java?
...
Рейтинг: 0 / 0
акка или кафка?
    #39980124
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вадя
andreykaT,

какие глупые разработчики субд .. до сих пор делают автоинкрементные поля....

Вот. Вадя говорит что с выдачи айди лонговых в бд уходить не надо. Зизи. Учись. Правда Вадя - консерватор. не уверен насколько это консервативное решение юзать айди от базы. для меня это - лишняя депенденси.

Кстати озвучил варианты самым главным конечно же нанятым людям в роли архитекторов они прям кивнули головой за кафку и развязку от базы. хотя я теперь топлю за мультиплексор
...
Рейтинг: 0 / 0
акка или кафка?
    #39980126
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zzz79
andreykaT
Ты давно не встречал это сколько не встречал?))

если честно вообще не встречал,после того как стал работать на реальных проектах.
Long и автоинкремент у меня был в пет проектах только.

Я против Long ничего не имею ,но вроде как твоя проблема бы решилась если бы ты генерил сам Id - и писал в бд уже имя на руках Id,тогда бы тебе хватило обычной кафки без каких то доп манипуляций .

А что ты используешь в качестве ORM или у тебя чистый jdbc?

не поверишь, я НЕ лонги видел гораздо реже чем лонги. скажем так, 1 к 10ти.
...
Рейтинг: 0 / 0
акка или кафка?
    #39980129
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я один раз видел систему, где ВСЕ Primary Key были.....
были....
не поверите...
они были.... FLOAT !
...
Рейтинг: 0 / 0
акка или кафка?
    #39980132
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zzz79
забыл ник
пропущено...

он уже раз 10 сказал что используется слик. Ты спеки также внимательно читаешь?

а какое отношение имеет слик к java?)
это же для скалы ORM

не уверен что слик это орм:

Slick is not an object-relational mapper (ORM) like Hibernate or others. Slick is a data persistence solution like ORMs and naturally shares some concepts, but it also has significant differences. ... ORMs focus on persisting an object-graph. ORMs are a natural approach when using databases from object-oriented languages.

https://scala-slick.org/doc/2.1.0/orm-to-slick.html#:~:text=Slick is not an object,it also has significant differences.&text=ORMs focus on persisting an,databases from object-oriented languages.

но в целом, дерьмо то еще. но если у тебя в приложении десяток таблиц и ноль-один джойн, то вполне себе норм.
...
Рейтинг: 0 / 0
акка или кафка?
    #39980133
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsev
Я один раз видел систему, где ВСЕ Primary Key были.....
были....
не поверите...
они были.... FLOAT !

у еня был проект где были байтарраи в качестве пк. я до сих пор не пойму зОчем. я убежал оттуда через месяц. это был какой то бред кобылы.
...
Рейтинг: 0 / 0
акка или кафка?
    #39980135
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
насчет кафки и ее затаскивания в проект.. мне оч понравилось как это сделано в кварке и вертиксе. прям всё на аннотациях типа продюс консам

типа

@Consume("topic-name")
@Produce("just-one-more-topic-name")
public String myMethod(String string) {
...do stuff...
return newString;
}

где string это то что залетело в топик-нейм и newString - это то что вылетело в just+one+more+topic+name - прям фантастическая простота.
...
Рейтинг: 0 / 0
акка или кафка?
    #39980136
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У меня как-то была идея. Для дата-аналитики. Грузили мы сет документов. Разного типа.
Ключом было поле long (64bit). Надо было побить документы на непересекающиеся классы
для быстрой выборки и обработки и поскольку это было на 99% NoSQL решение то я
решил завязаться на диапазоны PK. Сколько классов - столько и sequences. Только
надо было что sequences не пересекались и был запас по росту. И не было избыточного расхода.

Я разбил условно long на положительные и отрицательные. Потом прилетел еще 1 субтип.
И я разделил положительные на два под-диапазона. Постепенно если изобразить на плоскости
все 2^64 степени ключей то вырисовывалась картинка похожая на квадраты IP-blocks
как любят рисовать в аналитике провайдеров интернета.

Разумеется моя картинка была не такая красивая т.к. заполнялась змейкой а не Гилбертом.



Но я стал думать о менеджменте диапазонов. И чтоб сиквенсы были инкрементные и декрементные
ради экономии свободных пространств. Хотелось нарисовать тулзу для менеджмента но... тут пришел
коронавирус и кастомер что данное направление не будет развивать. :)
...
Рейтинг: 0 / 0
акка или кафка?
    #39980142
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT
не уверен насколько это консервативное решение юзать айди от базы.
тут надо всё взвесить
вот мне это понравилось
Код: sql
1.
postgres=> insert into t (x) values ('a'),('b'),('c') returning id, x;


сокращает число обращений
но в твоём случае - вариант очень и очень спорный.
использовать генерируемые uuid , а скока времени затрачивается на генерацию uuid?
а насколько быстр поиск по uuid? ведь надо хранит uuid не в varchar , а бинари.
т.е. ещё и преобразовывать varchar от клиента в бинари для селекта
как бы всё это мелочи , но в них и прячется некто...
...
Рейтинг: 0 / 0
акка или кафка?
    #39980164
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT

у еня был проект где были байтарраи в качестве пк. я до сих пор не пойму зОчем. я убежал оттуда через месяц. это был какой то бред кобылы.
это какбы самая передовая технология:
https://asktom.oracle.com/pls/asktom/f?p=100:11:0::::P11_QUESTION_ID:2570145300346198113 a GUID should be a 16 byte raw (hopefully they are not using a 32 byte varchar2..) and will perform adequately as a primary key.
...
Рейтинг: 0 / 0
акка или кафка?
    #39980907
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
БД оказалась на хдд
...
Рейтинг: 0 / 0
17 сообщений из 192, страница 8 из 8
Форумы / Java [игнор отключен] [закрыт для гостей] / акка или кафка?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]