|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
Я не настаиваю. Я 2000х интересовался базами данных. Читал книжки по Postgres, Oracle, Db2. Но времена меняются. Сегодня DBA на производстве уже не нужен. Техподдержка стала более шаблонизированной. Но общий уровень знаний баз данных среди программистов сильно упал. Я не знаю с чем это связано. Наверное с трендами времени. Хотя учет денег не ушел как задача. Скорее на фоне него дурие задачи (Internet-Of-Thins, BigData, ML, FuzzyText processing) резко вышли на новый уровень и культура реляционок просела. И сам программист перестал быть мотивированным к решению таких задач. Он просто резко меняет постановку отказываясь от ACID в пользу eventual consistency/idempotancy. Благо бизнес это позволяет. А на этих евеншуал можно уже танцевать в сторону файловых хранилищ, или сообщений. Вобщем - красота. Так что я не сомневаюсь что Адрей бросит конешно разбираться с БД. Он выкрутится по своему. Просто будут заказаны и куплены серваки под кеш на базе или Эластика-уястика или Редиса-уедиса... или Ignite или Hazelcast да мало-ли чего. Кеширующих софтин тысячи. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 17:39 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
mayton, Объем необходимых знаний в каждой дисциплине растет и одному человеку сложно охватывать все и сразу, поэтому идет более глубокая дифференциация, фуллстек уже не может быть эффективным на сложных задачах, банально не хватит актуальности знаний и опыта. Чтобы заказывать серваки и развертывать новую неспецифичную для проекта архитектуру, нужно обоснование, с обоснованием есть явные проблемы ... ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 17:45 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
Биллинг. Лицензии на RDBMS были всегда дорогие. Я заметил что Амазон при прочих равных условиях тяготеет к перетаскиванию людей с нормальных БД на свой DynamoDb. И их калькуляторы биллинга обычно к этому способствуют. Люди смотрят и чешут репу. Ой блин... а нахрена нам Постгрес если мы его просто как key-value гоняем. Пускай будет Динамка она дешевле. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 17:48 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
mayton Я же говорю. Запрос - нормальный. Надо выпрямить структуру данных по которой запрос бегает. совершенно нет стойкого ощущения, что вы работали в больших корпоративных системах :) ваши "правильные" структуры там не работают. человек озвучил проблему, поиск не работает быстро, проблема плавающая -- очевидно, что задержки приходятся на моменты повышенной нагрузки. что вы заладили, исправь запрос. не пей. не кури. живи по корану. что за бестолковая идеализация мира такая у вас? и решается такое достаточно просто. либо БД выносится на отдельные мощностя, либо делается срез данных на своих мощностях. этому решению 100500 лет в обед. оно прекрасно работает. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 18:33 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
Хвост, ты запрыгнул в вагон который никуда не едет. О чем мы тут? Вот приходи в следующий топик и будешь создавать "отдельные мощности". ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 18:37 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
mayton Хвост, ты запрыгнул в вагон который никуда не едет. О чем мы тут? Вот приходи в следующий топик и будешь создавать "отдельные мощности". ни в какой вагон я не запрыгивал, я просто внимательно почитал то, что ТС написал в самом начале. вопрос простой и понятный. ответ такой же простой и понятный. я вот видал много людей, которые пальцы гнут на тему как правильно БД проектировать, запросы писать королевские, всё-то у них летает быстрее света, мастера хинтов куда не плюнь ну-ну. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 19:12 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
mayton И сам программист перестал быть мотивированным к решению таких задач. Он просто резко меняет постановку отказываясь от ACID в пользу eventual consistency/idempotancy. Благо бизнес это позволяет. А на этих евеншуал можно уже танцевать в сторону файловых хранилищ, или сообщений. Вобщем - красота. я боюсь, что вы путаете круглое с мягким. зачем-то ACID и EC противопоставляете... ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 19:15 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
Я не мастер хинтов. Я их уже 10 лет как забыл. Я же писал выше. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 19:15 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
mayton Я не мастер хинтов. Я их уже 10 лет как забыл. Я же писал выше. да я про общий фон разглагольствования.. с подобными смешными выводами: graycode В течении всего обсуждения тебя пытаются направить на путь поиска причин проблемы, казалось бы обычная работа программиста, выяснить причину и найти пути ее устранения, но что то танцору мешает ... слышал притчу про отца, сына и осла? :) ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 19:20 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
hVostt, Нормальные выводы. Вот ты шаришь в архитектуре, а ТС двух слов связать не может про: "тормозит при нагрузке или тормозит в полуденный сон". Он только борется с админом своим всю жизнь и с петро)))). Если не умеет логически думать, то кто ему даст там серверы ставить? Кафку, базы, эластик и прочее. Без эластика ему там занятся нечем. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 19:37 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
PetroNotC Sharp Вот ты шаришь в архитектуре, а ТС двух слов связать не может про: "тормозит при нагрузке или тормозит в полуденный сон". ТС не может дать вам ответ за систему, которой не владеет. Кроме того, любому самому захудалому спецу должно быть понятно, что причина плавающего времени ответа кроется в нагрузке на БД, которую создают другие системы. Как ты собираешься на это повлиять с помощью своих ЭСКУЭЛЬ запросов? Вставишь туда хинт, чтобы он матом крыл системы, которую нагрузку создают или что? В таких случаях применяют децентрализацию хранилища, забирают срез данных и пинают его как хотят. Тут вот глубокоуважаемый mayton упоминал про биллинг. В этот самый биллинг вам, как внешней системе-потребителю, никогда доступ не дадут. И если ты пойдёшь к ним, с заявлениями, что дескать АЦИД же!!, ОЛАП, и бла-бла, плохая структура, кто вас допустил до проектирования, тебя просто нахер пошлют, и правильно сделают. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 19:45 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
hVostt Кроме того, любому самому захудалому спецу должно быть понятно, что причина плавающего времени ответа кроется в нагрузке на БД, которую создают другие системы. Это и есть ВЫЯВЛЕНИЕ ЗАВИСИМОСТЕЙ. Ты предположил что зависимость от других приложений. Я предположил на второй странице что антивирус в 14 00 проверяет на вирус диск С:. Дальше? ))))) Вот этот диалог должен был быть с умным ТС. Но не случилось. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 19:52 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
hVostt ТС не может дать вам ответ за систему, которой не владеет. Вы владеете ими? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 19:54 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
hVostt, Юмор: Кстати у нас на работе реально антивирусник по понедельникам все шерстит на компе. Вырубить прав нет. Так и тормозит все пока не проверит)))))) ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 19:58 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
Хвост поднял знамя менторства? Ну что-ж. Я уступаю. Приходи в эластик миграцию. Будь уважаемым гостем. Назвался груздем - полезай в кузов. P.S. И только попробуй откажись... ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 19:58 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
mayton, Фиг придет. Он обычно в самом конце приходит)))) Когда все разошлись) ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 20:00 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
PetroNotC Sharp Это и есть ВЫЯВЛЕНИЕ ЗАВИСИМОСТЕЙ. Ты предположил что зависимость от других приложений. Я предположил на второй странице что антивирус в 14 00 проверяет на вирус диск С:. Дальше? ))))) Вот этот диалог должен был быть с умным ТС. Но не случилось. ну так задача-то другая.. понятно можно и повыяснять и даже найти виноватого :) mayton Хвост поднял знамя менторства? Ну что-ж. Я уступаю. Приходи в эластик миграцию. Будь уважаемым гостем. Назвался груздем - полезай в кузов. на этом пути у ТС встретятся куда более интересные вызовы. в этом отношении может вы и правы, надо было давить на дба, чем лезть во всё это :) но какой в этом интерес? ))) ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 20:18 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
hVostt ну так задача-то другая.. понятно можно и повыяснять и даже найти виноватого :) Так что ли? У него как у эллочки людоедки словарный запас три фразы: "мешок сервисов/шевели булками/кривой запрос". Как ты собрался лечить если не найден виновник болезни. У тебя сегодня с логикой туго. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 21:32 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
Девочки не ссорьтесь. Я вообще одинаково люблю и Elastic и Oracle. Я просто философ и эстет строительства систем и ощущаю сожаление когда какая-то из них недоисследована по каким-то причинам. В топике мы не видели AWR/ADDM статистики и говорить о проблемах на сервере пока преждевременно. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 21:55 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
andreykaT есть приложение, оно выполняет одну единственную роль - обрабатывать запросы клиентов и возвращать данные. предварительно их откуда то собрав.... я правильно понял, что есть оракл, который отвечает на запрос от 2 до 30 секунд? а ваше приложение больше похоже на прокси? т.е. перекладывает запросы на эту внешнюю базу? при этом база чужая, вы с ней ничего не можете сделать? кардинальных решений два: 1. что-то все же сделать с той внешней базой, чтобы она справлялась с запросами (оптимизировать запрос, добавить индексов, партиционирование, шардинг и так далее) 2. сделать себе копию данных любым способом, чтобы не зависеть от внешней базы, и регулярно эту копию обновлять и в связи со вторым решением вопрос - можно более подробно про "ХС, идет за данными в эластик по индексированным полям" каким образом в эластике оказались ид из оракловской базы? т.е. все таки что-то туда их сливает? а что если сливать не только ИД, но и поля, которые участвуют в поиске, или даже сделать полную копию? я встречал на проекте вариант, когда в эластике тип записи, ид, данные для полнотекстового поиска и description, пользователь вводит запрос, эластик его обрабатывает и показывает предварительный результат в виде списка (на UI отображался description), если надо перейти и посмотреть найденный объект целиком - на основании типа записи и ид дергался из реляционной базы весь объект но у вас то проблема как раз в последнем шаге - достать весь единичный объект по ид - это тоже от 2 до 30 секунд? сразу скажу, что вот заполнять и обновлять эластик предварительными данными из реляционки - та еще морока была ... |
|||
:
Нравится:
Не нравится:
|
|||
03.11.2020, 22:41 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
17-77, Оракл не очень корректно называть внешней бд. Если коротко, ваш пост: - разбираться почему время гуляет - не разбираться и сделать еще такую же бд чтобы потом опять разбираться. И третье. Если разрабу лень разбираться, то категорически нельзя ему давать в руки что то строить на данном участке. Новые дома, мосты и сооружения. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.11.2020, 08:58 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
PetroNotC Sharp Если разрабу лень разбираться, то категорически нельзя ему давать в руки что то строить на данном участке. Новые дома, мосты и сооружения. Вот у тебя коннект к инету пропал. Пошёл искать где обрыв провода под землёй. Или лень-матушка? А починить слабо? :) ... |
|||
:
Нравится:
Не нравится:
|
|||
05.11.2020, 00:43 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
hVostt, Все продумано до нас. Методика поиска неисправностей методом "деления пополам". -у соседа работает? У тебя нет. Значит дело не в земле а в тебе. Тоже самое пополам у ТС: - рядом ставим постгри бд. Работает? Это одно. Не работает? Это другое. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.11.2020, 07:07 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
Важно только ребёнка не выплескивать вместе с водой. Вот нахрена знать работает ли оно в отдельной СУБД, если оно должно работать в строго определённой среде??? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.11.2020, 07:19 |
|
и снова немного архитектуры и эластика с рдбмс
|
|||
---|---|---|---|
#18+
PetroNotC Sharp Все продумано до нас. Методика поиска неисправностей методом "деления пополам". -у соседа работает? У тебя нет. Значит дело не в земле а в тебе. Тоже самое пополам у ТС: - рядом ставим постгри бд. Работает? Это одно. Не работает? Это другое. Угу, а теперь давай на примере лечения или проведения хирургической операции :) Деление пополам. ... |
|||
:
Нравится:
Не нравится:
|
|||
05.11.2020, 07:37 |
|
|
start [/forum/topic.php?fid=59&msg=40015404&tid=2120628]: |
0ms |
get settings: |
23ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
43ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
445ms |
get tp. blocked users: |
1ms |
others: | 323ms |
total: | 870ms |
0 / 0 |