|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
andreykaT они говорят что они профессионалы. я хз. может и джуны. мне то что? я бы понял там мегазапрос с мешком джойнов и аггрегаций там и т.п. так нет ничего. ) в оракле миллион рычажков. девопсы видевшие лишь mysql могут запросто накосячить на ровном месте. например умудрится собрать системную статистику в момент когда твоя бд в кеше сториджа. теперь оптимизатор считает что за 0.5 сек можно поднять 2Тб с дисков и бегать по индексам дороже чем фуллскан. но у тебя я почти уверен что-то много проще. то что ты принимаешь за таблицу вероятно вью, сортировка явно в память не влазит, на медленных дисках явно происходит, наверняка и сетка забита ... |
|||
:
Нравится:
Не нравится:
|
|||
31.10.2020, 22:41 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
Некто сказал. В программировании существует лишь два характерных затруднения: инвалидация кеша, наименование сущностей и ошибка на единицу Давайте андрейкину задачу просто сведем у контролю кеша и к материализации всех нужных ответов. ... |
|||
:
Нравится:
Не нравится:
|
|||
31.10.2020, 22:50 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
H5N1 andreykaT они говорят что они профессионалы. я хз. может и джуны. мне то что? я бы понял там мегазапрос с мешком джойнов и аггрегаций там и т.п. так нет ничего. ) в оракле миллион рычажков. девопсы видевшие лишь mysql могут запросто накосячить на ровном месте. например умудрится собрать системную статистику в момент когда твоя бд в кеше сториджа. теперь оптимизатор считает что за 0.5 сек можно поднять 2Тб с дисков и бегать по индексам дороже чем фуллскан. но у тебя я почти уверен что-то много проще. то что ты принимаешь за таблицу вероятно вью, сортировка явно в память не влазит, на медленных дисках явно происходит, наверняка и сетка забита это - таблица. еще раз. в таблице 30м записей. я даю селект в селекте 150к записей, я делаю сортировку, и беру 10к сверху. ну что тут не ясного то? по весам. запрос без сортировки - 45 попугаев. с сортировкой 11000 попугаев. и опять же. алё, хиберсерч. вопрос. хиберсерч работает поверх рдбмс, насколько такой подход эффективен? против подхода - а давайте всё будем хранить чисто в индексах эластика? ... |
|||
:
Нравится:
Не нравится:
|
|||
31.10.2020, 22:53 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
mayton Топик зело неясен. И ораторы не привносят ни капли ясности. У него опять "мешок". Теперь не сервисов а JOIN)) andreykaT я бы понял там мегазапрос с мешком джойнов andreykaT и вообще все запросы там тормозят ко всем бд в определенный момент времени. Сначала было "через 30 минут после первого запроса". Теперь "в определенный момент времени" - в обеденный перерыв. ))) "Если ты сервер - не суетись под клиентом" (с) ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2020, 00:00 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
andreykaT и опять же. алё, хиберсерч. вопрос. хиберсерч работает поверх рдбмс, насколько такой подход эффективен? против подхода - а давайте всё будем хранить чисто в индексах эластика? Смешно. "Прогеру лень выяснить почему в ЕГО запросах время выполнения зависит от времени на часах". И этот прогер спрашивает про эффективность как архитектурный критерий. Эффективность распила бабла? Или чего? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2020, 00:07 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
andreykaT, Совет: - разберитесь кто виноват с вашими запросами - хибер или БД или ваш код. А потом приходите по архитектре. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2020, 00:08 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
А я не понимаю вопросов Андрея. Эластик - неконсистентен с ораклом. И если его это устраивает - пускай делает решение с репликацией. И этот вопрос должен стоять во главе топика. Но всем пофиг. Почему? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2020, 00:12 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
mayton Но всем пофиг. Почему? Кому всем? ТС в пятый раз пишет что ему ПОФИГ на СУБД. Он микросервисный программист. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2020, 00:25 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
mayton А я не понимаю вопросов Андрея. Эластик - неконсистентен с ораклом. И если его это устраивает - пускай делает решение с репликацией. И этот вопрос должен стоять во главе топика. Но всем пофиг. Почему? я вот тоже не вкачу что мне все тут начесывают как оракл ускорить. еще раз повторюсь - я пишу отдельное приложение. которое сгребает данные каким то там своим внутренним образом, а потом по эндпойнтам их отдает через разные условия в запросе. ВСЁ. у меня ощущение что я пришел в магазин туалетную бумагу купить а мне советуют заглушку в задницу вставить и предлагают 25 разных моделей этих заглушек на выбор. еще раз. вопрос прост - хиберсерч использует ЕС поверх рдбмс - насколько целесообразно использовать такую схему а не полностью хранить все данные в ЕС, если у тебя скажем так, структура данных не предусматривает какие то сумасшедшие реляции? я погуглил кучу статей и не нашел однозначного ответа насклько ЕС подходит как документное хранилище. а не быстрый лукап айдишек сущностей с которыми ты идешь потом в другое хранилище (это то как работает ХС). ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2020, 00:51 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
mayton Эластик - неконсистентен с ораклом. не. Ещё круче. Хранилище и задачи эластика не совпадают с хранилищем и задачами РСУБД. Если у в эластик хранение вида Код: java 1. 2.
то какого фига ТС тут намешал всё в кучу? Типо - "я использую трамвай, осла и оленей. Но олени перестали жрать еду через 30 минут после заката. Как ехать на трамвае?" ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2020, 01:43 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
mayton И если его это устраивает - пускай делает решение с репликацией. И этот вопрос должен стоять во главе топика. Но всем пофиг. Почему? да вроде распространенный юз кейс, у нас соседний прожект с сайтиком использует оракл + solr индекс. мы им шлем данные в кафку, пишем себе, а под занавес пишем в индекс. не знаю как они точно разруливают неконсистентность, но подозреваю, что просто расчет на то, что когда мы индекс пишем, они успевают в оракл детали записать. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2020, 11:23 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
Эвеншуал консистенси вполне себе допускает что в какой то момент времени что то там может быть и не очень готово ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2020, 11:32 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
Тогда бизнес должен быть с этим ок. Типа ты пополнил телефон через терминал на ещё пол часа ждёшь пока телефонный биллинг это увидит. Да на этом eventual построены почти все оптимизации. Но об этом чьорт возьми надо сказать. Я всегда считаю что система должна быть консистентна со своими inputs. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2020, 11:54 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
andreykaT еще раз. один и тот же запрос с одним и тем же набором данных тормозит РАНДОМНО ... но не суть. я спросил про хиберсерч, а мне начинают рассказывать как оракл тюнить... ... а вы, конечно, лучше других знаете как правильно?Была у меня похожая ситуация - приложение выдавало в лог (однотипные) запросы длительностью больше 2 секунд. Запросы исполнялись секунд по 20. Выдернул несколько таких запросов, посмотрел их планы, подумал и написал эквивалентный запрос, который стабильно исполнялся за две секунды. И, довольный собой, предложил его разработчикам. Нет, ответили разработчики - план твоего запрос хуже. И вот в этот момент наступил "мой маленький звёздный час". Это всё замечательно - ответил я, но реальные планы вашего запроса на нашей базе - совсем другие. Разработчики подумали ещё немного и нашли причину - не хватало индексов внешних ключей. А индексы, как оказалось, надо было перестраивать в процессе обновления. P.S. Ваши проблемы настолько "уникальны", что не подлежат решению "стандартными" средствами? Правда? Или вам просто не хочется делать работу, за которую (по вашему мнению) вам не доплачивают? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2020, 12:56 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
andreykaT против подхода - а давайте всё будем хранить чисто в индексах эластика? Как этот подход снимает необходимость сортировки? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2020, 16:10 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
graycode andreykaT против подхода - а давайте всё будем хранить чисто в индексах эластика? Как этот подход снимает необходимость сортировки? никак. но есть мнение что эластик это умеет делать быстрее при некоторых обстоятельствах ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2020, 16:45 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
andreykaT graycode пропущено... Как этот подход снимает необходимость сортировки? никак. но есть мнение что эластик это умеет делать быстрее при некоторых обстоятельствах Эластик работает быстрее за счет шардинга. На этом все. Больше никаких магических алгоритмов у него нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2020, 18:32 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
andreykaT graycode пропущено... Как этот подход снимает необходимость сортировки? никак. но есть мнение что эластик это умеет делать быстрее при некоторых обстоятельствах ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2020, 18:52 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
Сказочный программист. И зачем его только в финку выпустили. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2020, 21:15 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
andreykaT, тебя поле для сортировки постоянно одно и то-же? если да - то можно добавить его в индекс по которому выбираешь, и от сортировки избавишься. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.11.2020, 22:01 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
Не понял про индекс и как избавиться. Ты про индекс рдбмс говоришь или про индекс эластика? ... |
|||
:
Нравится:
Не нравится:
|
|||
02.11.2020, 09:02 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
mayton andreykaT пропущено... никак. но есть мнение что эластик это умеет делать быстрее при некоторых обстоятельствах Эластик работает быстрее за счет шардинга. На этом все. Больше никаких магических алгоритмов у него нет. да. он горизонтально масштабируется слегка легче чем рдбмс. по поводу своего вопроса в первом сообщении всё больше склоняюсь что схема хиберсерча разумна когда у тебя набор данных частично обновляем и имеет зависимости на другие таблицы. то есть в индексе ты держишь только то по чему ищешь, остальное для пользователя подтягиваешь из рдбмс по механизмам рдбмс. можно держать всё в эластике но возможно тебе придется постоянно обновлять те поля, которые и не нужны в поиске вовсе. ну и перформанс - в случае эластика это только эластик. в случае эластик + рдбмс - оно будет работать настолько быстро насколько быстро работает самый медленный элемент этой схемы. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.11.2020, 09:11 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
andreykaT да. он горизонтально масштабируется слегка легче чем рдбмс. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.11.2020, 09:38 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
andreykaT насколько быстро работает самый медленный элемент этой схемы. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.11.2020, 09:39 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
PetroNotC Sharp andreykaT да. он горизонтально масштабируется слегка легче чем рдбмс. я не девопс и не дба. понятия не имею почему рдбмс в заднице. и снова это не тема про оракл и как его улучшить. давай так. мой вариант улучшить производительность там только один - написать грозное письмо и кулачком потрясти. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.11.2020, 09:40 |
|
|
start [/forum/topic.php?fid=59&msg=40014010&tid=2120628]: |
0ms |
get settings: |
27ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
44ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
537ms |
get tp. blocked users: |
2ms |
others: | 301ms |
total: | 946ms |
0 / 0 |