ReSQL.ru
     
powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Map
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / и снова немного архитектуры и эластика с рдбмс
25 сообщений из 269, страница 8 из 11
  8  все
и снова немного архитектуры и эластика с рдбмс
    #40014655
graycode
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
graycode
Гость
PetroNotC Sharp,

У него и запрос левый, он говорит про пагинацию, а ее нет ... ))
...
Рейтинг: 0 / 0
03.11.2020, 00:07
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014675
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
andreykaT
H5N1
пропущено...

потому что ты
а) смотришь не план выполненого запроса, а предолагаемый
б) к гадалке не ходи, смотришь после того как запрос выполнился за 30 секунд и значит все блоки уже в буферном кеше.

я говорю джун и девопс, без дба убойная смесь. в нормальной ситуации ты должен был стандартным sqlplus сказать set timing on, set autotrace on и показать резалт дба. дба со свой сороны не должны были ждать от тебя репорта, сами должны были увидеть все в админке. должны были увидеть варнинги, что заросы тупят по 30 секунд. в админке это хорошо видно и видно именно выполнившиеся планы, а не предолагаемые.

в моем видении прекрасного дба должны были сами напрячь булочки и подумать что за чухня что простой селект каунт рандомно тупит 30 сек. даже снимать ничего не надо. мне НЕ интересно колупаться в потрохах оракла. просто потому что я не сделаю это лучше чем дба за тот же отрезок времени как это мог бы сделать адекватный дба. и да, кейс я зарепортил. дальше тут вон народ уже 5 страниц никак не хочет прочесть с чего топик начался и развлекается как может. ну ладно, значит это важнее. стараюсь как могу.

Андрей. Разве dba или девопс тебе указывают брать TreeMap или HashMap?

Ты это определяешь! Ты тот кто знает потребности бизнеса! Ты знаешь алгоритмы.

ДБА может быть советчиком но он не решает какие типы данных включать в таблицу! Партишенинг. Матвью. Это продумывает в первую очередь тот кто создаёт систему!

Что за пассивная позиция! Ты согласен заниматься чепухой с эластиком вместо того чтоб открыть справочник по ораклу и просто посмотреть как можно написать create table с учётом твоих потребностей.
...
Рейтинг: 0 / 0
03.11.2020, 01:23
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014693
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hVostt
Участник
andreykaT
я напилил некий ПОЦ на хиберсерче. но хиберсерч работает поверх рдбмс. то есть прилетает пользовательский запрос -
ХС, идет за данными в эластик по индексированным полям, вытряхивает из него скажем 40 айдих (на страницу) и с этими айди прётся в рдбмс, доставая уже оттуда сущности целиком и простым запросом а ля селект туда сюда фром таблица вхере айди ин ()

собссно вопрос - насколько эта схема рациональна?


вполне рациональна.
насколько, зависит от вороха деталей.

почитал топик, подивился... народ, скажем, странно реагирует не вникнув в детали проблемы :)

делайте поиск на ЕС, это нормальное решение.
...
Рейтинг: 0 / 0
03.11.2020, 06:01
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014706
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
hVostt
вполне рациональна.
насколько, зависит от вороха деталей.
угу. Если вороха много и он плохой то задача перестает рациональной.
Так по логике вещей?
...
Рейтинг: 0 / 0
03.11.2020, 08:16
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014707
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
graycode
запрос левый,
левый запрос с которым пристает ко всем - "выпрямите мне его!"
)
...
Рейтинг: 0 / 0
03.11.2020, 08:20
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014733
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Я же говорю. Запрос - нормальный.
Надо выпрямить структуру данных по которой запрос бегает.
...
Рейтинг: 0 / 0
03.11.2020, 10:03
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014738
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
PetroNotC Sharp
graycode
запрос левый,
левый запрос с которым пристает ко всем - "выпрямите мне его!"
)

Вполне логично. Если ТВ говоришь что кривой то ты знаешь как должен выглядеть прямой. Хотя нет. Ты по ходу не знаешь. Ты даже простой вложенный селект боишься разложить :)
...
Рейтинг: 0 / 0
03.11.2020, 10:09
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014743
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
andreykaT
Если ТВ говоришь что кривой то ты знаешь как должен выглядеть прямой
пьян?
Термины - мешок, булки, прямой, кривой только твои в топике.
...
Рейтинг: 0 / 0
03.11.2020, 10:27
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014744
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
mayton
Запрос - нормальный.
мы не в курсе что это означает.
...
Рейтинг: 0 / 0
03.11.2020, 10:27
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014746
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
mayton,
У него рандомно (тоже термин) то работает то нет.
Это очень тяжелый случай. Не лечится.
...
Рейтинг: 0 / 0
03.11.2020, 10:32
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014747
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Нормальный в бытовом смысле.
Приемлемый. Достаточный чтоб не искать перфекционизма.
...
Рейтинг: 0 / 0
03.11.2020, 10:33
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014749
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
mayton
Нормальный в бытовом смысле.
Приемлемый. Достаточный чтоб не искать перфекционизма.
ок.
А что он ищет?
...
Рейтинг: 0 / 0
03.11.2020, 10:35
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014750
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
PetroNotC Sharp
mayton,
У него рандомно (тоже термин) то работает то нет.
Это очень тяжелый случай. Не лечится.

Я уже объяснил это явление. У базы остывает кеш.
За счёт конкурирующих запросов которые выталкивают полезные блоки.

И если долго ждать (сутки), то этот же запрос с этим же планом при следующем выполнении полезет вычитывать с диска все блоки.
...
Рейтинг: 0 / 0
03.11.2020, 10:37
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014751
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
mayton
Я уже объяснил это явление. У базы остывает кеш.
не явление объясни. Что не работает "так как надо".
И "как надо"
)))
...
Рейтинг: 0 / 0
03.11.2020, 10:42
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014752
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
mayton,
На уровне черного ящика субд.
Не видим никаких кешей.
Внутри ящика любая рсубд
...
Рейтинг: 0 / 0
03.11.2020, 10:43
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014754
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Я просто устал. У человека есть свои убеждения.
А у меня - просто гипотезы как улучшить.

Вот мы и кружимся в вальсе. То сходимся. То расходимся.

А почему Elastic? Давайте Tarantool.

Все одно скушно в этом топике.
...
Рейтинг: 0 / 0
03.11.2020, 10:47
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014756
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
PetroNotC Sharp
mayton,
На уровне черного ящика субд.
Не видим никаких кешей.
Внутри ящика любая рсубд

Ну сорян. Я не спец по "любым" СУБД.
...
Рейтинг: 0 / 0
03.11.2020, 10:48
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014758
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
mayton,
Да.
До эластика разговор вообще не доходил и не дойдет.
Пока ТС не прекратит парить мозги про рандомные ошибки.
Есть же анекдот про суслика.
Кто устраняет рандомность?
Думаю если есть тестировщики в штате то они.
Если нет, то программист.
...
Рейтинг: 0 / 0
03.11.2020, 10:51
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014759
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
mayton
Ну сорян. Я не спец по "любым" СУБД.

Не верю:
- стабильные результаты
- повторяемость результатов
- непротиворечивые данные
- многопользователские данные
- транзакционность
...
...
Рейтинг: 0 / 0
03.11.2020, 10:54
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014772
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
mayton
andreykaT
пропущено...

в моем видении прекрасного дба должны были сами напрячь булочки и подумать что за чухня что простой селект каунт рандомно тупит 30 сек. даже снимать ничего не надо. мне НЕ интересно колупаться в потрохах оракла. просто потому что я не сделаю это лучше чем дба за тот же отрезок времени как это мог бы сделать адекватный дба. и да, кейс я зарепортил. дальше тут вон народ уже 5 страниц никак не хочет прочесть с чего топик начался и развлекается как может. ну ладно, значит это важнее. стараюсь как могу.

Андрей. Разве dba или девопс тебе указывают брать TreeMap или HashMap?

Ты это определяешь! Ты тот кто знает потребности бизнеса! Ты знаешь алгоритмы.

ДБА может быть советчиком но он не решает какие типы данных включать в таблицу! Партишенинг. Матвью. Это продумывает в первую очередь тот кто создаёт систему!

Что за пассивная позиция! Ты согласен заниматься чепухой с эластиком вместо того чтоб открыть справочник по ораклу и просто посмотреть как можно написать create table с учётом твоих потребностей.

я не уверен что легким путем можно создать новую таблицу и туда всё перетащить с этой на которую миллион зависимостей из других таблиц и просто экземпляров этих таблиц по всем инстансам десятки. то есть масштабы бедствия несколько велики.
в общем, я зарепортил кейс. подожду что они там скажут. отмазка "у тебя кривой запрос" у них точно не прокатит, даже наш Петрушка согласился что запрос не кривой.
...
Рейтинг: 0 / 0
03.11.2020, 11:41
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014773
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
graycode
PetroNotC Sharp,

У него и запрос левый, он говорит про пагинацию, а ее нет ... ))

я гляну в код как до компа с ним доберусь. возможно там просто берется топ 10к и всё. возможно просто это запрос первой страницы без скипа.
...
Рейтинг: 0 / 0
03.11.2020, 11:43
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014781
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PetroNotC Sharp
Участник
andreykaT
я зарепортил кейс.
неужели официально написал что рандомно то работает, то нет)))).

andreykaT
возможно там просто берется топ 10к и всё. возможно просто это запрос первой страницы без скипа.
здорово, когда прогер без компа 8 страниц спорит
и не знает как взять первые N записи после сортировки.
...
Рейтинг: 0 / 0
03.11.2020, 12:00
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014842
graycode
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
graycode
Гость
andreykaT
возможно просто это запрос первой страницы без скипа.

Неважно какая страница, запрос должен быть один и запрос должен использовать связанные переменные, в противном случае будет выполняться 15 разных запросов, для каждой страницы свой и каждый из них парсится и для каждого строится свой план выполнения.

Запрос твой был бы нормальным году этак в 2005-м на 8-9-й версии Оракла, вот тебе статься от 2007 года On Top-n and Pagination Queries , приведи свой запрос хотя бы к виду актуальному на 2007 год и не забудь использовать связанные переменные, а то прям веет временами когда мамонты по земле бродили))
...
Рейтинг: 0 / 0
03.11.2020, 14:03
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014845
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Это ему не поможет. У него в плане - неэффективная выборка по индексу. И сделать с ней
вобщем ничего нельзя по причине тех 10% селективности о которых я говорил.

Грубо говоря 3% - индекс рулит.
50% рулит партишенинг (+локальный индекс).

Где-то между ними стоит мягкая граница где идет вечная война оптимизатора и хинтов.

Есть еще другие технологии такие как материализация ответа и кластеризованные таблицы.
И вообще отказ от БД как таковой (далее мы дойдем до эластиков-уястиков) но мы еще не вычерпали
Оракл. Я так считаю.
...
Рейтинг: 0 / 0
03.11.2020, 14:12
| Ответить | Цитировать | Написать  
и снова немного архитектуры и эластика с рдбмс
    #40014850
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
В смысле в стандартном виде без тюнинга оракл дохнет на паре сотен тысяч записей в таблице на десять миллионов?
...
Рейтинг: 0 / 0
03.11.2020, 14:23
| Ответить | Цитировать | Написать  
25 сообщений из 269, страница 8 из 11
  8  все
Форумы / Java [игнор отключен] [закрыт для гостей] / и снова немного архитектуры и эластика с рдбмс
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru, Чат Кролика       Пашэ: Рисунки, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=59&msg=40014750&tid=2120628]:
 0ms
get settings:
 16ms
get forum list:
 5ms
check forum access:
 1ms
check topic access:
 1ms
track hit:
 28ms
get topic data:
 2ms
get forum data:
 1ms
get page messages:
 454ms
get tp. blocked users:
 0ms
others: 285ms
total:  793ms
созд. / загр.: 793ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]