powered by simpleCommunicator - 2.0.48     © 2025 Programmizd 02
Форумы / Java [игнор отключен] [закрыт для гостей] / акка или кафка?
25 сообщений из 192, страница 5 из 8
акка или кафка?
    #39979140
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT

причем часть этих селектов вполне можно вынести на какой-нибудь редис


Можно вопрос: а каким образом, это вообще может сказаться на производительности ?
PostgreSQL не все равно, откуда пришли запросы, на которых он "лег" ?

подскажи о добрый человек, куда мне дописать пару строчек чтоб оно работало не на 600 запросов а хотя бы на 6000? ведь это же просто. как в стековерфлоу - ктрл-ц ктрл-в и всё работает. ведь это же так просто исходя из твоих слов?

Oracle - действительно просто, в init.ora надо добавить fast = true, к сожалению PostgreSQL значительно отстал в развитии

сначала определяют, чего именно не хватает СУБД и что конкретно потребляет ее ресурсы

ищут запросы, которые генерируются чаще всего и дольше всего выполняются, их пытаются ускорить, есть например, такая вещь, как индекс ))) и они даже бывают разные ))). Смотрять план запросов

если есть подозрение, что "тяжелые" это insert и commit, смотрять статистику по записи на диск и время ожидания фонового процесса сброса грязных буферов и лог врайтера, насколько часто и безболезненно проходят чекпоинты (терминология у меня хромает, но postgresql вроде один в один Oracle 8i). Чем грязных буферов больше, а сбросов/чекпоинтов меньше, тем быстрее работает

думают, можно ли проапгрейдить железо или поменять параметры (для Oracle например размер redo log buffer и время до чекпоинтов / размер redo log файлов, с PostreSQL сложнее и не настолько явное влияние оказывает afaik)

если диски HDD, то крайне осмысленно/желательно вынесение redo log на отдельные диски и вынесение на отдельные диски redo log archive, что бы при архивирование redo log была минимальная конкуренции с текущими транзакциями

и так далее и тому подобное

зная, что конкретно "плохо", можно уже думать, как это плохо убрать

IMHO

п.с. под PostgreSQL есть еще такая вещь, как Vacuum, но ее ни разу не пытался тюнить / настраивать, не сталкивался
...
Рейтинг: 0 / 0
акка или кафка?
    #39979141
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79
mayton


Да и еще. Самый пустяк. Исходные коды. А-то вдруг ты там Thread.sleep(1) вставил. Просто чтоб гонок
не было. Я такое видел. Да.

андреич по классике сделал - сначала thread.interapt() потом thread.sleep()

Еще Thread.yield() такой был. Типа уступить лыжню.
...
Рейтинг: 0 / 0
акка или кафка?
    #39979143
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsev
терминология у меня хромает, но postgresql вроде один в один Oracle 8i
Чет я не припомню, чтобы для 8i писали рекомендации в духе: ну если вам нужна более быстрая запись redo, то вы его на отдельную FS переместите, а потом создайте символическую ссылку (пользователи MS Windows тут особо рады кмк)
...
Рейтинг: 0 / 0
акка или кафка?
    #39979144
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
asv79
пропущено...

андреич по классике сделал - сначала thread.interapt() потом thread.sleep()

Еще Thread.yield() такой был. Типа уступить лыжню.

короче что мы выяснили ? давайте подведем итоги)
1.человек -сеньер из епам != реальный сьньер
2.в финляндии кодируют бомжи
3.памфилов всем утер нос ( !точно)

по асинхроности комитов - ведь тогда же надо распаралелить и инсерты или бд их сама там распаралелит?
...
Рейтинг: 0 / 0
акка или кафка?
    #39979145
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsev
andreykaT

причем часть этих селектов вполне можно вынести на какой-нибудь редис


Можно вопрос: а каким образом, это вообще может сказаться на производительности ?
PostgreSQL не все равно, откуда пришли запросы, на которых он "лег" ?

если у тебя 100500 повторяющихся запросов которые удовлетворились тем что нашли в редисе то они прости за банальность тупо до постгреса не дойдут и не отъедят его перформанс. или ты что то другое меня спрашиваешь?
...
Рейтинг: 0 / 0
акка или кафка?
    #39979146
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsev

п.с. под PostgreSQL есть еще такая вещь, как Vacuum, но ее ни разу не пытался тюнить / настраивать, не сталкивался

Я думаю что Вакуум Андрейке не мешал. Его работа - периодична. Можно настроить на maintenance окна в ночное время.
У нашего друга - проблема была постоянна. И под нагрузкой. Хотя единоразовая акция вакуумирования - могла
хотя-бы просто отбросить гипотезу о том что мешает быстрый рост основной таблицы фактов вследствие частых updates.

Здесь Oracle действительно был-бы лучше т.к. ему пофиг на частые updates. В отличие от.
...
Рейтинг: 0 / 0
акка или кафка?
    #39979147
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Андрей Панфилов
asv79

этот фокус пройдет с чистым jdbc?
жук тут не прокатит или любая другая имлементация JPA?
ну чего ты дичь спрашиваешь-то, в доке же пишут:
https://www.postgresql.org/docs/12/wal-async-commit.html Asynchronous commit is an option that allows transactions to complete more quickly, at the cost that the most recent transactions may be lost if the database should crash. In many applications this is an acceptable trade-off.

andreykaT имеет желание сделать то же самое, но только через жопу.
ну по итогу ты так и не ответил - поддерживается ли это жпа)
то что компромис между потерей данных и производительностью это и так понятно
...
Рейтинг: 0 / 0
акка или кафка?
    #39979148
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79
mayton
пропущено...

Еще Thread.yield() такой был. Типа уступить лыжню.

короче что мы выяснили ? давайте подведем итоги)
1.человек -сеньер из епам != реальный сьньер
2.в финляндии кодируют бомжи
3.памфилов всем утер нос ( !точно)

по асинхроности комитов - ведь тогда же надо распаралелить и инсерты или бд их сама там распаралелит?

1. а кто тут сеньор из епам?
2. гагой смешной чувак из твери с зарплатой в 30 тыщ.
3. возможно. осталось получить две строчки кода которые поднимут производительность в 100 раз.
...
Рейтинг: 0 / 0
акка или кафка?
    #39979149
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Андрей Панфилов
andreykaT
а причем тут графана. ну хотят графану пусть шатают графану. приложению то пофиг. может вкарячил своего прометея оно его и гребет. а можешь и не корячить.
Люди, использующие графану, теряют связь с реальностью, их цель - красивые картинки, а правильная цель следующая: если метрики, снимаемые с приложения, нарушают пороги, то должен быть заведен инцидент с последующим расследованием. Твои 100 секунд на ответ - это вообще зашквар (читай про правило трех сигм)

andreykaT
я вот не хочу например возиться с оптимизацией. так как это надо быть на нее сильно заточенным. и заниматься только ей. нюансов не очень много но где их взять и как набить я хз да мне и не интересно. а тыкать пальцем в небо можно до бесконечности. ща я бабахну 100500 часов и впилю прослойку для батчинга а на выхлопе окажется шиш да моленько. потому что не все предусмотрели и ваши рассуждения на тему батчинга хороши для кейса А и совершенно бесполезны для кейса Б.
А чего, у вас в Финляндии тоже бомжи в IT работают?

1. 100 секунд на ответ - это повод заводить инцидент. не понимаю, причем тут зашквар или ты без багов сразу в прод пишешь?
2. может и бомжи. всякие. человека-программиста, разбирающегося во многих тонкостях, как увеличить перф по различным технологиям, чуть выше уровня "а проверьте индексы" я в своей скромной карьере видел только РАЗ. я сейчас рассуждаю про действиетльно серьезные умения а не какие-то там банальности типа тех же индексов или хиберовских н+1. но может у вас в мельбурне каждый первый и швец и жнец и на дуде игрец и хибер улучшает и оракл дба, и в монгу может и амазон кинезис перформит наравне с кафкой и т.п. у вас там всё с ног на голову. согласен.
...
Рейтинг: 0 / 0
акка или кафка?
    #39979150
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT
asv79
пропущено...

короче что мы выяснили ? давайте подведем итоги)
1.человек -сеньер из епам != реальный сьньер
2.в финляндии кодируют бомжи
3.памфилов всем утер нос ( !точно)

по асинхроности комитов - ведь тогда же надо распаралелить и инсерты или бд их сама там распаралелит?

1. а кто тут сеньор из епам?
2. гагой смешной чувак из твери с зарплатой в 30 тыщ.
3. возможно. осталось получить две строчки кода которые поднимут производительность в 100 раз.

Эй. А вот с этого момента - стоп! Обсуждать личности и их зарплаты мы не будем.
...
Рейтинг: 0 / 0
акка или кафка?
    #39979151
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79
дядь ты вообще видимо не понимаешь что такое каффка) каким образом там что упрется в базу то?

Да, ты всё правильно понял, там индекс раздаёт ид из базы => все ждут базу. Если у него будет кафка, то это ничего не изменит, все также будут ждать базу, просто еще кафка сбоку.

Какой я тебе дядя, ты на 10 лет меня старше.

asv79
если хочешь можно в тимс я тебе покажу решение на 6000 инсертов

6к инсертов можно хоть на микроволновке сделать. Даже Mysql в лохматом году давал 50к при разворачивании дампа. Там не всё так просто, мало инфы.
...
Рейтинг: 0 / 0
акка или кафка?
    #39979152
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Андрей Панфилов
(пользователи MS Windows тут особо рады кмк)

В венде есть симлинки и хардлинки, я не знаю, насчёт ограничений, правда.
...
Рейтинг: 0 / 0
акка или кафка?
    #39979154
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
andreykaT
пропущено...

1. а кто тут сеньор из епам?
2. гагой смешной чувак из твери с зарплатой в 30 тыщ.
3. возможно. осталось получить две строчки кода которые поднимут производительность в 100 раз.

Эй. А вот с этого момента - стоп! Обсуждать личности и их зарплаты мы не будем.

ну почему бомжей же обуждаем финских? хотелось бы поговорить про тверских небомжей с лухарилайф на 30к?
...
Рейтинг: 0 / 0
акка или кафка?
    #39979155
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster
asv79
дядь ты вообще видимо не понимаешь что такое каффка) каким образом там что упрется в базу то?

Да, ты всё правильно понял, там индекс раздаёт ид из базы => все ждут базу. Если у него будет кафка, то это ничего не изменит, все также будут ждать базу, просто еще кафка сбоку.

если ид генерить не на уровне базы. я об этом. т.е. тебе ид особо и не нужен по факту становится и ответ базы в разумных пределах уже роли играть не будет. главное чтоб он был в принципе.
...
Рейтинг: 0 / 0
акка или кафка?
    #39979156
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79

ну по итогу ты так и не ответил - поддерживается ли это жпа)
то что компромис между потерей данных и производительностью это и так понятно
тут достаточно сложно вопрошающему что-либо отвечать, если он откровенно отвергает чтение документации. Со стороны БД контракт "commit" выглядит примерно так: если клиент выдал "коммит" и ему ответили "ок", то это значит, то в тот же момент можно БД жестко выключить (прямо питание вырубить), потом включить и данные клиента останутся на месте (естественно без учета влияния конкурирующих транзакций). Ни JDBC, ни JOOQ никаким образом на этот контракт не влияют. В БД исполнение этого контракта просто нереально дорого - что Oracle, что MSSQL, что PostgreSQL приходится писать данные не только в файлики БД, а еще в redo, transaction log, wal (в зависимости от реализации), причем запись происходит последовательно, в один поток - от этого факта никуда не уйти.
...
Рейтинг: 0 / 0
акка или кафка?
    #39979157
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster
asv79
дядь ты вообще видимо не понимаешь что такое каффка) каким образом там что упрется в базу то?

Да, ты всё правильно понял, там индекс раздаёт ид из базы => все ждут базу. Если у него будет кафка, то это ничего не изменит, все также будут ждать базу, просто еще кафка сбоку.
.

мы давно поняли проблему автора,в его случае вариком был бы батчинг ,у нас такое стоит на проде и обрабатываются в 10 раз болье запросов- но на счет того чтобы сразу доствать id я не уверен,но без очередей кладем)

проблема автора в неправильной архитектуре приложения - так как если бы приложение было построено правильно- такого бы просто не наступило.Любое решение будет по сути костылем.Ну а там далее бомжи из финки подлатают где надо)
...
Рейтинг: 0 / 0
акка или кафка?
    #39979159
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Андрей Панфилов
asv79

ну по итогу ты так и не ответил - поддерживается ли это жпа)
то что компромис между потерей данных и производительностью это и так понятно
тут достаточно сложно вопрошающему что-либо отвечать, если он откровенно отвергает чтение документации. Со стороны БД контракт "commit" выглядит примерно так: если клиент выдал "коммит" и ему ответили "ок", то это значит, то в тот же момент можно БД жестко выключить (прямо питание вырубить), потом включить и данные клиента останутся на месте (естественно без учета влияния конкурирующих транзакций). Ни JDBC, ни JOOQ никаким образом на этот контракт не влияют. В БД исполнение этого контракта просто нереально дорого - что Oracle, что MSSQL, что PostgreSQL приходится писать данные не только в файлики БД, а еще в redo, transaction log, wal (в зависимости от реализации), причем запись происходит последовательно, в один поток - от этого факта никуда не уйти.

напомню, моя цель - отвязаться от базы в принципе. забыть про нее. представить это отдельным от основного функционала сервисом. понизить уровень ее важности и влияния. пусть она пишет как хочет и сколько хочет. главное не влияет на основные процессы.
...
Рейтинг: 0 / 0
акка или кафка?
    #39979160
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT
mayton
пропущено...

Эй. А вот с этого момента - стоп! Обсуждать личности и их зарплаты мы не будем.

ну почему бомжей же обуждаем финских? хотелось бы поговорить про тверских небомжей с лухарилайф на 30к?

слушай ты сам про бомжей написал)я тебя лишь поддержал)
про меня то что говорить я общепризнанный тверской it бомжара)
...
Рейтинг: 0 / 0
акка или кафка?
    #39979162
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Андрей Панфилов
asv79

ну по итогу ты так и не ответил - поддерживается ли это жпа)
то что компромис между потерей данных и производительностью это и так понятно
тут достаточно сложно вопрошающему что-либо отвечать, если он откровенно отвергает чтение документации. Со стороны БД контракт "commit" выглядит примерно так: если клиент выдал "коммит" и ему ответили "ок", то это значит, то в тот же момент можно БД жестко выключить (прямо питание вырубить), потом включить и данные клиента останутся на месте (естественно без учета влияния конкурирующих транзакций). Ни JDBC, ни JOOQ никаким образом на этот контракт не влияют. В БД исполнение этого контракта просто нереально дорого - что Oracle, что MSSQL, что PostgreSQL приходится писать данные не только в файлики БД, а еще в redo, transaction log, wal (в зависимости от реализации), причем запись происходит последовательно, в один поток - от этого факта никуда не уйти.

ну ты бы так и сказал сразу) что без разницы ждбс или жук- можно отключиь синхронный комит и база перестанет падать на 600 инстертах
...
Рейтинг: 0 / 0
акка или кафка?
    #39979163
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT

3. возможно. осталось получить две строчки кода которые поднимут производительность в 100 раз.


в config.sys добавить:

fast_insert = true
no_lock_mode = true

в autoexec.bat

smartdrv.exe c+
...
Рейтинг: 0 / 0
акка или кафка?
    #39979164
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
asv79
andreykaT
пропущено...

ну почему бомжей же обуждаем финских? хотелось бы поговорить про тверских небомжей с лухарилайф на 30к?

слушай ты сам про бомжей написал)я тебя лишь поддержал)
про меня то что говорить я общепризнанный тверской it бомжара)

у тебя всё впереди.
...
Рейтинг: 0 / 0
акка или кафка?
    #39979165
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsev
andreykaT

3. возможно. осталось получить две строчки кода которые поднимут производительность в 100 раз.


в config.sys добавить:

fast_insert = true
no_lock_mode = true

в autoexec.bat

smartdrv.exe c+

што это?
...
Рейтинг: 0 / 0
акка или кафка?
    #39979166
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster
Андрей Панфилов
(пользователи MS Windows тут особо рады кмк)

В венде есть симлинки и хардлинки, я не знаю, насчёт ограничений, правда.
есть, только где-то пишут сразу что "вот тут есть хрень, которую нужно вынести куда-то в другое место", а где-то "ну вы там как-то поприседайте, авось получится".
Я вот совсем недавно с кафкой столкнулся - они оказывается наркоманы еще те:

https://stackoverflow.com/questions/40369238/which-directory-does-apache-kafka-store-the-data-in-broker-nodes The default log.dir is /tmp/kafka-logs which you may want to change in case your OS has a /tmp directory cleaner.

т.е. вот *удакам не то что не хватило мозгов написать пару строк кода, что если у них log.dir смотрит в /tmp, то при запуске сразу слать всех нахер, так они еще и расположение по-умолчанию умудрились в /tmp вкорячить.
...
Рейтинг: 0 / 0
акка или кафка?
    #39979167
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT

напомню, моя цель - отвязаться от базы в принципе. забыть про нее. представить это отдельным от основного функционала сервисом. понизить уровень ее важности и влияния. пусть она пишет как хочет и сколько хочет. главное не влияет на основные процессы.

если ты хочешь отвязаться от бд,это жпа и вопрос твой тогда немного по другому должен был звучать

но вообще очень странно - я еще раз повторю у нас есть сервис который кушает до 6000 рестов - все это успешно кладется в бд с обыычнм хибером и батчингом
вообще я у коллег это спросил - они удивились такому вопросу
...
Рейтинг: 0 / 0
акка или кафка?
    #39979168
Фотография asv79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot Андрей Панфилов#22166769]
crutchmaster
пропущено...

Я вот совсем недавно с кафкой столкнулся - они оказывается наркоманы еще те:

что именно тебя в ней не устроило)
...
Рейтинг: 0 / 0
25 сообщений из 192, страница 5 из 8
Форумы / Java [игнор отключен] [закрыт для гостей] / акка или кафка?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]