powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Map
Форумы / Java [игнор отключен] [закрыт для гостей] / и снова немного архитектуры и эластика с рдбмс
25 сообщений из 269, страница 2 из 11
и снова немного архитектуры и эластика с рдбмс
    #40013827
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT

они говорят что они профессионалы. я хз. может и джуны.
мне то что? я бы понял там мегазапрос с мешком джойнов и аггрегаций там и т.п. так нет ничего. )

в оракле миллион рычажков. девопсы видевшие лишь mysql могут запросто накосячить на ровном месте. например умудрится собрать системную статистику в момент когда твоя бд в кеше сториджа. теперь оптимизатор считает что за 0.5 сек можно поднять 2Тб с дисков и бегать по индексам дороже чем фуллскан. но у тебя я почти уверен что-то много проще. то что ты принимаешь за таблицу вероятно вью, сортировка явно в память не влазит, на медленных дисках явно происходит, наверняка и сетка забита
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40013831
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Некто сказал.

В программировании существует лишь два характерных
затруднения: инвалидация кеша,
наименование сущностей и ошибка
на единицу

Давайте андрейкину задачу просто сведем у контролю кеша
и к материализации всех нужных ответов.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40013833
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
H5N1
andreykaT

они говорят что они профессионалы. я хз. может и джуны.
мне то что? я бы понял там мегазапрос с мешком джойнов и аггрегаций там и т.п. так нет ничего. )

в оракле миллион рычажков. девопсы видевшие лишь mysql могут запросто накосячить на ровном месте. например умудрится собрать системную статистику в момент когда твоя бд в кеше сториджа. теперь оптимизатор считает что за 0.5 сек можно поднять 2Тб с дисков и бегать по индексам дороже чем фуллскан. но у тебя я почти уверен что-то много проще. то что ты принимаешь за таблицу вероятно вью, сортировка явно в память не влазит, на медленных дисках явно происходит, наверняка и сетка забита

это - таблица. еще раз. в таблице 30м записей. я даю селект в селекте 150к записей, я делаю сортировку, и беру 10к сверху. ну что тут не ясного то?

по весам. запрос без сортировки - 45 попугаев. с сортировкой 11000 попугаев.

и опять же. алё, хиберсерч. вопрос. хиберсерч работает поверх рдбмс, насколько такой подход эффективен? против подхода - а давайте всё будем хранить чисто в индексах эластика?
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40013844
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Топик зело неясен. И ораторы не привносят ни капли ясности.
он в своем стиле)
У него опять "мешок". Теперь не сервисов а JOIN))
andreykaT
я бы понял там мегазапрос с мешком джойнов

andreykaT
и вообще все запросы там тормозят ко всем бд в определенный момент времени.

Сначала было "через 30 минут после первого запроса".
Теперь "в определенный момент времени" - в обеденный перерыв.
)))
"Если ты сервер - не суетись под клиентом" (с)
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40013845
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT
и опять же. алё, хиберсерч. вопрос. хиберсерч работает поверх рдбмс, насколько такой подход эффективен? против подхода - а давайте всё будем хранить чисто в индексах эластика?

Смешно.
"Прогеру лень выяснить почему в ЕГО запросах время выполнения зависит от времени на часах".
И этот прогер спрашивает про эффективность как архитектурный критерий.
Эффективность распила бабла? Или чего?
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40013846
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT,
Совет:
- разберитесь кто виноват с вашими запросами - хибер или БД или ваш код.
А потом приходите по архитектре.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40013848
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А я не понимаю вопросов Андрея.

Эластик - неконсистентен с ораклом.
И если его это устраивает - пускай делает решение с репликацией. И этот вопрос должен стоять во главе топика.

Но всем пофиг. Почему?
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40013853
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Но всем пофиг. Почему?

Кому всем?
ТС в пятый раз пишет что ему ПОФИГ на СУБД. Он микросервисный программист.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40013859
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
А я не понимаю вопросов Андрея.

Эластик - неконсистентен с ораклом.
И если его это устраивает - пускай делает решение с репликацией. И этот вопрос должен стоять во главе топика.

Но всем пофиг. Почему?

я вот тоже не вкачу что мне все тут начесывают как оракл ускорить.
еще раз повторюсь - я пишу отдельное приложение. которое сгребает данные каким то там своим внутренним образом, а потом по эндпойнтам их отдает через разные условия в запросе. ВСЁ.

у меня ощущение что я пришел в магазин туалетную бумагу купить а мне советуют заглушку в задницу вставить и предлагают 25 разных моделей этих заглушек на выбор.

еще раз. вопрос прост - хиберсерч использует ЕС поверх рдбмс - насколько целесообразно использовать такую схему а не полностью хранить все данные в ЕС, если у тебя скажем так, структура данных не предусматривает какие то сумасшедшие реляции?

я погуглил кучу статей и не нашел однозначного ответа насклько ЕС подходит как документное хранилище. а не быстрый лукап айдишек сущностей с которыми ты идешь потом в другое хранилище (это то как работает ХС).
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40013866
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Эластик - неконсистентен с ораклом.

не. Ещё круче.
Хранилище и задачи эластика не совпадают с хранилищем и задачами РСУБД.
Если у в эластик хранение вида
Код: java
1.
2.
Цвет=красное
Брод=мелкий


то какого фига ТС тут намешал всё в кучу?
Типо - "я использую трамвай, осла и оленей. Но олени перестали жрать еду через 30 минут после заката. Как ехать на трамвае?"
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40013898
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton

И если его это устраивает - пускай делает решение с репликацией. И этот вопрос должен стоять во главе топика.

Но всем пофиг. Почему?


да вроде распространенный юз кейс, у нас соседний прожект с сайтиком использует оракл + solr индекс. мы им шлем данные в кафку, пишем себе, а под занавес пишем в индекс. не знаю как они точно разруливают неконсистентность, но подозреваю, что просто расчет на то, что когда мы индекс пишем, они успевают в оракл детали записать.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40013899
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Эвеншуал консистенси вполне себе допускает что в какой то момент времени что то там может быть и не очень готово
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40013902
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тогда бизнес должен быть с этим ок.

Типа ты пополнил телефон через терминал на ещё пол часа ждёшь пока телефонный биллинг это увидит.

Да на этом eventual построены почти все оптимизации. Но об этом чьорт возьми надо сказать.

Я всегда считаю что система должна быть консистентна со своими inputs.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40013915
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT
еще раз. один и тот же запрос с одним и тем же набором данных тормозит РАНДОМНО
...
но не суть. я спросил про хиберсерч, а мне начинают рассказывать как оракл тюнить...
... а вы, конечно, лучше других знаете как правильно?Была у меня похожая ситуация - приложение выдавало в лог (однотипные) запросы длительностью больше 2 секунд. Запросы исполнялись секунд по 20.
Выдернул несколько таких запросов, посмотрел их планы, подумал и написал эквивалентный запрос, который стабильно исполнялся за две секунды. И, довольный собой, предложил его разработчикам. Нет, ответили разработчики - план твоего запрос хуже.
И вот в этот момент наступил "мой маленький звёздный час". Это всё замечательно - ответил я, но реальные планы вашего запроса на нашей базе - совсем другие. Разработчики подумали ещё немного и нашли причину - не хватало индексов внешних ключей. А индексы, как оказалось, надо было перестраивать в процессе обновления.

P.S.
Ваши проблемы настолько "уникальны", что не подлежат решению "стандартными" средствами? Правда?
Или вам просто не хочется делать работу, за которую (по вашему мнению) вам не доплачивают?
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40013969
graycode
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
andreykaT
против подхода - а давайте всё будем хранить чисто в индексах эластика?

Как этот подход снимает необходимость сортировки?
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40013977
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
graycode
andreykaT
против подхода - а давайте всё будем хранить чисто в индексах эластика?

Как этот подход снимает необходимость сортировки?

никак. но есть мнение что эластик это умеет делать быстрее при некоторых обстоятельствах
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40014006
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT
graycode
пропущено...

Как этот подход снимает необходимость сортировки?

никак. но есть мнение что эластик это умеет делать быстрее при некоторых обстоятельствах

Эластик работает быстрее за счет шардинга. На этом все. Больше никаких
магических алгоритмов у него нет.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40014010
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT
graycode
пропущено...

Как этот подход снимает необходимость сортировки?

никак. но есть мнение что эластик это умеет делать быстрее при некоторых обстоятельствах
есть мнение что РСУБД делает сортировки на отлично. При некоторых обстоятельствах.)
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40014038
Фотография Vyatich
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сказочный программист. И зачем его только в финку выпустили.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40014047
pavel_nv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT,

тебя поле для сортировки постоянно одно и то-же? если да - то можно добавить его в индекс по которому выбираешь, и от сортировки избавишься.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40014112
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не понял про индекс и как избавиться. Ты про индекс рдбмс говоришь или про индекс эластика?
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40014114
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
andreykaT
пропущено...

никак. но есть мнение что эластик это умеет делать быстрее при некоторых обстоятельствах

Эластик работает быстрее за счет шардинга. На этом все. Больше никаких
магических алгоритмов у него нет.

да. он горизонтально масштабируется слегка легче чем рдбмс.
по поводу своего вопроса в первом сообщении
всё больше склоняюсь что схема хиберсерча разумна когда у тебя набор данных частично обновляем и имеет зависимости на другие таблицы.

то есть в индексе ты держишь только то по чему ищешь, остальное для пользователя подтягиваешь из рдбмс по механизмам рдбмс.

можно держать всё в эластике но возможно тебе придется постоянно обновлять те поля, которые и не нужны в поиске вовсе.

ну и перформанс - в случае эластика это только эластик. в случае эластик + рдбмс - оно будет работать настолько быстро насколько быстро работает самый медленный элемент этой схемы.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40014119
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT
да. он горизонтально масштабируется слегка легче чем рдбмс.
у тебя рдмс почему то всегда в заднице. Может дело в руках твоих, отче.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40014120
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT
насколько быстро работает самый медленный элемент этой схемы.
извини, но самый медленный в диагностике бд это ты.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40014121
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
andreykaT
да. он горизонтально масштабируется слегка легче чем рдбмс.
у тебя рдмс почему то всегда в заднице. Может дело в руках твоих, отче.

я не девопс и не дба. понятия не имею почему рдбмс в заднице.
и снова это не тема про оракл и как его улучшить. давай так. мой вариант улучшить производительность там только один - написать грозное письмо и кулачком потрясти.
...
Рейтинг: 0 / 0
25 сообщений из 269, страница 2 из 11
Форумы / Java [игнор отключен] [закрыт для гостей] / и снова немного архитектуры и эластика с рдбмс
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]