|
акка или кафка?
|
|||
---|---|---|---|
#18+
andreykaT причем часть этих селектов вполне можно вынести на какой-нибудь редис Можно вопрос: а каким образом, это вообще может сказаться на производительности ? PostgreSQL не все равно, откуда пришли запросы, на которых он "лег" ? подскажи о добрый человек, куда мне дописать пару строчек чтоб оно работало не на 600 запросов а хотя бы на 6000? ведь это же просто. как в стековерфлоу - ктрл-ц ктрл-в и всё работает. ведь это же так просто исходя из твоих слов? Oracle - действительно просто, в init.ora надо добавить fast = true, к сожалению PostgreSQL значительно отстал в развитии сначала определяют, чего именно не хватает СУБД и что конкретно потребляет ее ресурсы ищут запросы, которые генерируются чаще всего и дольше всего выполняются, их пытаются ускорить, есть например, такая вещь, как индекс ))) и они даже бывают разные ))). Смотрять план запросов если есть подозрение, что "тяжелые" это insert и commit, смотрять статистику по записи на диск и время ожидания фонового процесса сброса грязных буферов и лог врайтера, насколько часто и безболезненно проходят чекпоинты (терминология у меня хромает, но postgresql вроде один в один Oracle 8i). Чем грязных буферов больше, а сбросов/чекпоинтов меньше, тем быстрее работает думают, можно ли проапгрейдить железо или поменять параметры (для Oracle например размер redo log buffer и время до чекпоинтов / размер redo log файлов, с PostreSQL сложнее и не настолько явное влияние оказывает afaik) если диски HDD, то крайне осмысленно/желательно вынесение redo log на отдельные диски и вынесение на отдельные диски redo log archive, что бы при архивирование redo log была минимальная конкуренции с текущими транзакциями и так далее и тому подобное зная, что конкретно "плохо", можно уже думать, как это плохо убрать IMHO п.с. под PostgreSQL есть еще такая вещь, как Vacuum, но ее ни разу не пытался тюнить / настраивать, не сталкивался ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:19 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
asv79 mayton Да и еще. Самый пустяк. Исходные коды. А-то вдруг ты там Thread.sleep(1) вставил. Просто чтоб гонок не было. Я такое видел. Да. андреич по классике сделал - сначала thread.interapt() потом thread.sleep() Еще Thread.yield() такой был. Типа уступить лыжню. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:19 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev терминология у меня хромает, но postgresql вроде один в один Oracle 8i ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:24 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
mayton asv79 пропущено... андреич по классике сделал - сначала thread.interapt() потом thread.sleep() Еще Thread.yield() такой был. Типа уступить лыжню. короче что мы выяснили ? давайте подведем итоги) 1.человек -сеньер из епам != реальный сьньер 2.в финляндии кодируют бомжи 3.памфилов всем утер нос ( !точно) по асинхроности комитов - ведь тогда же надо распаралелить и инсерты или бд их сама там распаралелит? ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:24 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev andreykaT причем часть этих селектов вполне можно вынести на какой-нибудь редис Можно вопрос: а каким образом, это вообще может сказаться на производительности ? PostgreSQL не все равно, откуда пришли запросы, на которых он "лег" ? если у тебя 100500 повторяющихся запросов которые удовлетворились тем что нашли в редисе то они прости за банальность тупо до постгреса не дойдут и не отъедят его перформанс. или ты что то другое меня спрашиваешь? ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:25 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev п.с. под PostgreSQL есть еще такая вещь, как Vacuum, но ее ни разу не пытался тюнить / настраивать, не сталкивался Я думаю что Вакуум Андрейке не мешал. Его работа - периодична. Можно настроить на maintenance окна в ночное время. У нашего друга - проблема была постоянна. И под нагрузкой. Хотя единоразовая акция вакуумирования - могла хотя-бы просто отбросить гипотезу о том что мешает быстрый рост основной таблицы фактов вследствие частых updates. Здесь Oracle действительно был-бы лучше т.к. ему пофиг на частые updates. В отличие от. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:26 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
Андрей Панфилов asv79 этот фокус пройдет с чистым jdbc? жук тут не прокатит или любая другая имлементация JPA? https://www.postgresql.org/docs/12/wal-async-commit.html Asynchronous commit is an option that allows transactions to complete more quickly, at the cost that the most recent transactions may be lost if the database should crash. In many applications this is an acceptable trade-off. andreykaT имеет желание сделать то же самое, но только через жопу. ну по итогу ты так и не ответил - поддерживается ли это жпа) то что компромис между потерей данных и производительностью это и так понятно ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:26 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
asv79 mayton пропущено... Еще Thread.yield() такой был. Типа уступить лыжню. короче что мы выяснили ? давайте подведем итоги) 1.человек -сеньер из епам != реальный сьньер 2.в финляндии кодируют бомжи 3.памфилов всем утер нос ( !точно) по асинхроности комитов - ведь тогда же надо распаралелить и инсерты или бд их сама там распаралелит? 1. а кто тут сеньор из епам? 2. гагой смешной чувак из твери с зарплатой в 30 тыщ. 3. возможно. осталось получить две строчки кода которые поднимут производительность в 100 раз. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:28 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
Андрей Панфилов andreykaT а причем тут графана. ну хотят графану пусть шатают графану. приложению то пофиг. может вкарячил своего прометея оно его и гребет. а можешь и не корячить. andreykaT я вот не хочу например возиться с оптимизацией. так как это надо быть на нее сильно заточенным. и заниматься только ей. нюансов не очень много но где их взять и как набить я хз да мне и не интересно. а тыкать пальцем в небо можно до бесконечности. ща я бабахну 100500 часов и впилю прослойку для батчинга а на выхлопе окажется шиш да моленько. потому что не все предусмотрели и ваши рассуждения на тему батчинга хороши для кейса А и совершенно бесполезны для кейса Б. 1. 100 секунд на ответ - это повод заводить инцидент. не понимаю, причем тут зашквар или ты без багов сразу в прод пишешь? 2. может и бомжи. всякие. человека-программиста, разбирающегося во многих тонкостях, как увеличить перф по различным технологиям, чуть выше уровня "а проверьте индексы" я в своей скромной карьере видел только РАЗ. я сейчас рассуждаю про действиетльно серьезные умения а не какие-то там банальности типа тех же индексов или хиберовских н+1. но может у вас в мельбурне каждый первый и швец и жнец и на дуде игрец и хибер улучшает и оракл дба, и в монгу может и амазон кинезис перформит наравне с кафкой и т.п. у вас там всё с ног на голову. согласен. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:33 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
andreykaT asv79 пропущено... короче что мы выяснили ? давайте подведем итоги) 1.человек -сеньер из епам != реальный сьньер 2.в финляндии кодируют бомжи 3.памфилов всем утер нос ( !точно) по асинхроности комитов - ведь тогда же надо распаралелить и инсерты или бд их сама там распаралелит? 1. а кто тут сеньор из епам? 2. гагой смешной чувак из твери с зарплатой в 30 тыщ. 3. возможно. осталось получить две строчки кода которые поднимут производительность в 100 раз. Эй. А вот с этого момента - стоп! Обсуждать личности и их зарплаты мы не будем. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:33 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
asv79 дядь ты вообще видимо не понимаешь что такое каффка) каким образом там что упрется в базу то? Да, ты всё правильно понял, там индекс раздаёт ид из базы => все ждут базу. Если у него будет кафка, то это ничего не изменит, все также будут ждать базу, просто еще кафка сбоку. Какой я тебе дядя, ты на 10 лет меня старше. asv79 если хочешь можно в тимс я тебе покажу решение на 6000 инсертов 6к инсертов можно хоть на микроволновке сделать. Даже Mysql в лохматом году давал 50к при разворачивании дампа. Там не всё так просто, мало инфы. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:34 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
Андрей Панфилов (пользователи MS Windows тут особо рады кмк) В венде есть симлинки и хардлинки, я не знаю, насчёт ограничений, правда. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:36 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
mayton andreykaT пропущено... 1. а кто тут сеньор из епам? 2. гагой смешной чувак из твери с зарплатой в 30 тыщ. 3. возможно. осталось получить две строчки кода которые поднимут производительность в 100 раз. Эй. А вот с этого момента - стоп! Обсуждать личности и их зарплаты мы не будем. ну почему бомжей же обуждаем финских? хотелось бы поговорить про тверских небомжей с лухарилайф на 30к? ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:38 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
crutchmaster asv79 дядь ты вообще видимо не понимаешь что такое каффка) каким образом там что упрется в базу то? Да, ты всё правильно понял, там индекс раздаёт ид из базы => все ждут базу. Если у него будет кафка, то это ничего не изменит, все также будут ждать базу, просто еще кафка сбоку. если ид генерить не на уровне базы. я об этом. т.е. тебе ид особо и не нужен по факту становится и ответ базы в разумных пределах уже роли играть не будет. главное чтоб он был в принципе. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:39 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
asv79 ну по итогу ты так и не ответил - поддерживается ли это жпа) то что компромис между потерей данных и производительностью это и так понятно ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:39 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
crutchmaster asv79 дядь ты вообще видимо не понимаешь что такое каффка) каким образом там что упрется в базу то? Да, ты всё правильно понял, там индекс раздаёт ид из базы => все ждут базу. Если у него будет кафка, то это ничего не изменит, все также будут ждать базу, просто еще кафка сбоку. . мы давно поняли проблему автора,в его случае вариком был бы батчинг ,у нас такое стоит на проде и обрабатываются в 10 раз болье запросов- но на счет того чтобы сразу доствать id я не уверен,но без очередей кладем) проблема автора в неправильной архитектуре приложения - так как если бы приложение было построено правильно- такого бы просто не наступило.Любое решение будет по сути костылем.Ну а там далее бомжи из финки подлатают где надо) ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:40 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
Андрей Панфилов asv79 ну по итогу ты так и не ответил - поддерживается ли это жпа) то что компромис между потерей данных и производительностью это и так понятно напомню, моя цель - отвязаться от базы в принципе. забыть про нее. представить это отдельным от основного функционала сервисом. понизить уровень ее важности и влияния. пусть она пишет как хочет и сколько хочет. главное не влияет на основные процессы. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:42 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
andreykaT mayton пропущено... Эй. А вот с этого момента - стоп! Обсуждать личности и их зарплаты мы не будем. ну почему бомжей же обуждаем финских? хотелось бы поговорить про тверских небомжей с лухарилайф на 30к? слушай ты сам про бомжей написал)я тебя лишь поддержал) про меня то что говорить я общепризнанный тверской it бомжара) ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:42 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
Андрей Панфилов asv79 ну по итогу ты так и не ответил - поддерживается ли это жпа) то что компромис между потерей данных и производительностью это и так понятно ну ты бы так и сказал сразу) что без разницы ждбс или жук- можно отключиь синхронный комит и база перестанет падать на 600 инстертах ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:44 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
andreykaT 3. возможно. осталось получить две строчки кода которые поднимут производительность в 100 раз. в config.sys добавить: fast_insert = true no_lock_mode = true в autoexec.bat smartdrv.exe c+ ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:46 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
asv79 andreykaT пропущено... ну почему бомжей же обуждаем финских? хотелось бы поговорить про тверских небомжей с лухарилайф на 30к? слушай ты сам про бомжей написал)я тебя лишь поддержал) про меня то что говорить я общепризнанный тверской it бомжара) у тебя всё впереди. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:47 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
Leonid Kudryavtsev andreykaT 3. возможно. осталось получить две строчки кода которые поднимут производительность в 100 раз. в config.sys добавить: fast_insert = true no_lock_mode = true в autoexec.bat smartdrv.exe c+ што это? ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:47 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
crutchmaster Андрей Панфилов (пользователи MS Windows тут особо рады кмк) В венде есть симлинки и хардлинки, я не знаю, насчёт ограничений, правда. Я вот совсем недавно с кафкой столкнулся - они оказывается наркоманы еще те: https://stackoverflow.com/questions/40369238/which-directory-does-apache-kafka-store-the-data-in-broker-nodes The default log.dir is /tmp/kafka-logs which you may want to change in case your OS has a /tmp directory cleaner. т.е. вот *удакам не то что не хватило мозгов написать пару строк кода, что если у них log.dir смотрит в /tmp, то при запуске сразу слать всех нахер, так они еще и расположение по-умолчанию умудрились в /tmp вкорячить. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:48 |
|
акка или кафка?
|
|||
---|---|---|---|
#18+
andreykaT напомню, моя цель - отвязаться от базы в принципе. забыть про нее. представить это отдельным от основного функционала сервисом. понизить уровень ее важности и влияния. пусть она пишет как хочет и сколько хочет. главное не влияет на основные процессы. если ты хочешь отвязаться от бд,это жпа и вопрос твой тогда немного по другому должен был звучать но вообще очень странно - я еще раз повторю у нас есть сервис который кушает до 6000 рестов - все это успешно кладется в бд с обыычнм хибером и батчингом вообще я у коллег это спросил - они удивились такому вопросу ... |
|||
:
Нравится:
Не нравится:
|
|||
13.07.2020, 18:49 |
|
|
start [/forum/topic.php?fid=59&msg=39979164&tid=2120741]: |
0ms |
get settings: |
9ms |
get forum list: |
20ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
46ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
61ms |
get tp. blocked users: |
1ms |
others: | 253ms |
total: | 408ms |
0 / 0 |