powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Map
Форумы / Java [игнор отключен] [закрыт для гостей] / и снова немного архитектуры и эластика с рдбмс
25 сообщений из 269, страница 10 из 11
и снова немного архитектуры и эластика с рдбмс
    #40014956
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я не настаиваю. Я 2000х интересовался базами данных. Читал книжки по Postgres, Oracle, Db2.
Но времена меняются. Сегодня DBA на производстве уже не нужен. Техподдержка стала более
шаблонизированной. Но общий уровень знаний баз данных среди программистов сильно упал.
Я не знаю с чем это связано. Наверное с трендами времени. Хотя учет денег не ушел как задача.
Скорее на фоне него дурие задачи (Internet-Of-Thins, BigData, ML, FuzzyText processing)
резко вышли на новый уровень и культура реляционок просела.

И сам программист перестал быть мотивированным к решению таких задач. Он просто резко
меняет постановку отказываясь от ACID в пользу eventual consistency/idempotancy. Благо
бизнес это позволяет. А на этих евеншуал можно уже танцевать в сторону файловых хранилищ,
или сообщений. Вобщем - красота.

Так что я не сомневаюсь что Адрей бросит конешно разбираться с БД. Он выкрутится по своему.
Просто будут заказаны и куплены серваки под кеш на базе или Эластика-уястика или
Редиса-уедиса... или Ignite или Hazelcast да мало-ли чего. Кеширующих софтин тысячи.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40014961
graycode
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mayton,

Объем необходимых знаний в каждой дисциплине растет и одному человеку сложно охватывать все и сразу, поэтому идет более глубокая дифференциация, фуллстек уже не может быть эффективным на сложных задачах, банально не хватит актуальности знаний и опыта.

Чтобы заказывать серваки и развертывать новую неспецифичную для проекта архитектуру, нужно обоснование, с обоснованием есть явные проблемы ...
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40014965
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Биллинг. Лицензии на RDBMS были всегда дорогие.

Я заметил что Амазон при прочих равных условиях тяготеет к перетаскиванию людей с нормальных БД
на свой DynamoDb. И их калькуляторы биллинга обычно к этому способствуют. Люди смотрят и чешут
репу. Ой блин... а нахрена нам Постгрес если мы его просто как key-value гоняем. Пускай будет Динамка
она дешевле.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40014996
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Я же говорю. Запрос - нормальный.
Надо выпрямить структуру данных по которой запрос бегает.


совершенно нет стойкого ощущения, что вы работали в больших корпоративных системах :)

ваши "правильные" структуры там не работают.
человек озвучил проблему, поиск не работает быстро, проблема плавающая -- очевидно, что задержки приходятся на моменты повышенной нагрузки.

что вы заладили, исправь запрос.
не пей.
не кури.
живи по корану.

что за бестолковая идеализация мира такая у вас?

и решается такое достаточно просто. либо БД выносится на отдельные мощностя, либо делается срез данных на своих мощностях. этому решению 100500 лет в обед. оно прекрасно работает.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40014998
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хвост, ты запрыгнул в вагон который никуда не едет. О чем мы тут?

Вот приходи в следующий топик и будешь создавать "отдельные мощности".
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015008
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Хвост, ты запрыгнул в вагон который никуда не едет. О чем мы тут?

Вот приходи в следующий топик и будешь создавать "отдельные мощности".


ни в какой вагон я не запрыгивал, я просто внимательно почитал то, что ТС написал в самом начале.
вопрос простой и понятный.
ответ такой же простой и понятный.

я вот видал много людей, которые пальцы гнут на тему как правильно БД проектировать, запросы писать королевские, всё-то у них летает быстрее света, мастера хинтов куда не плюнь

ну-ну.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015009
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
И сам программист перестал быть мотивированным к решению таких задач. Он просто резко
меняет постановку отказываясь от ACID в пользу eventual consistency/idempotancy. Благо
бизнес это позволяет. А на этих евеншуал можно уже танцевать в сторону файловых хранилищ,
или сообщений. Вобщем - красота.


я боюсь, что вы путаете круглое с мягким. зачем-то ACID и EC противопоставляете...
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015010
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я не мастер хинтов. Я их уже 10 лет как забыл. Я же писал выше.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015012
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
Я не мастер хинтов. Я их уже 10 лет как забыл. Я же писал выше.


да я про общий фон разглагольствования.. с подобными смешными выводами:

graycode
В течении всего обсуждения тебя пытаются направить на путь поиска причин проблемы, казалось бы обычная работа программиста, выяснить причину и найти пути ее устранения, но что то танцору мешает ...


слышал притчу про отца, сына и осла? :)
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015020
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hVostt,
Нормальные выводы.
Вот ты шаришь в архитектуре, а ТС двух слов связать не может про: "тормозит при нагрузке или тормозит в полуденный сон".
Он только борется с админом своим всю жизнь и с петро)))).
Если не умеет логически думать, то кто ему даст там серверы ставить? Кафку, базы, эластик и прочее.
Без эластика ему там занятся нечем.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015022
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
Вот ты шаришь в архитектуре, а ТС двух слов связать не может про: "тормозит при нагрузке или тормозит в полуденный сон".


ТС не может дать вам ответ за систему, которой не владеет.

Кроме того, любому самому захудалому спецу должно быть понятно, что причина плавающего времени ответа кроется в нагрузке на БД, которую создают другие системы.

Как ты собираешься на это повлиять с помощью своих ЭСКУЭЛЬ запросов? Вставишь туда хинт, чтобы он матом крыл системы, которую нагрузку создают или что?

В таких случаях применяют децентрализацию хранилища, забирают срез данных и пинают его как хотят.

Тут вот глубокоуважаемый mayton упоминал про биллинг.
В этот самый биллинг вам, как внешней системе-потребителю, никогда доступ не дадут.
И если ты пойдёшь к ним, с заявлениями, что дескать АЦИД же!!, ОЛАП, и бла-бла, плохая структура, кто вас допустил до проектирования, тебя просто нахер пошлют, и правильно сделают.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015024
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hVostt
Кроме того, любому самому захудалому спецу должно быть понятно, что причина плавающего времени ответа кроется в нагрузке на БД, которую создают другие системы.

Это и есть ВЫЯВЛЕНИЕ ЗАВИСИМОСТЕЙ.
Ты предположил что зависимость от других приложений.
Я предположил на второй странице что антивирус в 14 00 проверяет на вирус диск С:.
Дальше?
)))))
Вот этот диалог должен был быть с умным ТС.
Но не случилось.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015026
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hVostt
ТС не может дать вам ответ за систему, которой не владеет.
есть методики анализа черных дыр)))
Вы владеете ими?
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015031
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hVostt,
Юмор:
Кстати у нас на работе реально антивирусник по понедельникам все шерстит на компе.
Вырубить прав нет.
Так и тормозит все пока не проверит))))))
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015032
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хвост поднял знамя менторства? Ну что-ж. Я уступаю.
Приходи в эластик миграцию. Будь уважаемым гостем. Назвался груздем - полезай в кузов.

P.S. И только попробуй откажись...
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015034
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,
Фиг придет. Он обычно в самом конце приходит))))
Когда все разошлись)
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015042
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
Это и есть ВЫЯВЛЕНИЕ ЗАВИСИМОСТЕЙ.
Ты предположил что зависимость от других приложений.
Я предположил на второй странице что антивирус в 14 00 проверяет на вирус диск С:.
Дальше?
)))))
Вот этот диалог должен был быть с умным ТС.
Но не случилось.


ну так задача-то другая.. понятно можно и повыяснять и даже найти виноватого :)

mayton
Хвост поднял знамя менторства? Ну что-ж. Я уступаю.
Приходи в эластик миграцию. Будь уважаемым гостем. Назвался груздем - полезай в кузов.


на этом пути у ТС встретятся куда более интересные вызовы.
в этом отношении может вы и правы, надо было давить на дба, чем лезть во всё это :)
но какой в этом интерес? )))
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015063
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hVostt
ну так задача-то другая.. понятно можно и повыяснять и даже найти виноватого :)
угу. Прыщавый юнец поставил зубрам java задачу - обосрать оракл чтобы поставить чудо эластик.
Так что ли?
У него как у эллочки людоедки словарный запас три фразы: "мешок сервисов/шевели булками/кривой запрос".
Как ты собрался лечить если не найден виновник болезни.
У тебя сегодня с логикой туго.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015069
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Девочки не ссорьтесь.

Я вообще одинаково люблю и Elastic и Oracle. Я просто философ и эстет строительства систем
и ощущаю сожаление когда какая-то из них недоисследована по каким-то причинам.

В топике мы не видели AWR/ADDM статистики и говорить о проблемах на сервере пока
преждевременно.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015087
17-77
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreykaT

есть приложение, оно выполняет одну единственную роль - обрабатывать запросы клиентов и возвращать данные. предварительно их откуда то собрав....

я правильно понял, что есть оракл, который отвечает на запрос от 2 до 30 секунд? а ваше приложение больше похоже на прокси? т.е. перекладывает запросы на эту внешнюю базу? при этом база чужая, вы с ней ничего не можете сделать?

кардинальных решений два:
1. что-то все же сделать с той внешней базой, чтобы она справлялась с запросами (оптимизировать запрос, добавить индексов, партиционирование, шардинг и так далее)
2. сделать себе копию данных любым способом, чтобы не зависеть от внешней базы, и регулярно эту копию обновлять

и в связи со вторым решением вопрос - можно более подробно про "ХС, идет за данными в эластик по индексированным полям"
каким образом в эластике оказались ид из оракловской базы? т.е. все таки что-то туда их сливает? а что если сливать не только ИД, но и поля, которые участвуют в поиске, или даже сделать полную копию?

я встречал на проекте вариант, когда в эластике тип записи, ид, данные для полнотекстового поиска и description, пользователь вводит запрос, эластик его обрабатывает и показывает предварительный результат в виде списка (на UI отображался description), если надо перейти и посмотреть найденный объект целиком - на основании типа записи и ид дергался из реляционной базы весь объект

но у вас то проблема как раз в последнем шаге - достать весь единичный объект по ид - это тоже от 2 до 30 секунд?

сразу скажу, что вот заполнять и обновлять эластик предварительными данными из реляционки - та еще морока была
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015146
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
17-77,
Оракл не очень корректно называть внешней бд.
Если коротко, ваш пост:
- разбираться почему время гуляет
- не разбираться и сделать еще такую же бд чтобы потом опять разбираться.
И третье.
Если разрабу лень разбираться, то категорически нельзя ему давать в руки что то строить на данном участке. Новые дома, мосты и сооружения.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015381
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
Если разрабу лень разбираться, то категорически нельзя ему давать в руки что то строить на данном участке. Новые дома, мосты и сооружения.


Вот у тебя коннект к инету пропал. Пошёл искать где обрыв провода под землёй.
Или лень-матушка? А починить слабо? :)
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015402
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hVostt,

Все продумано до нас.
Методика поиска неисправностей методом "деления пополам".
-у соседа работает? У тебя нет. Значит дело не в земле а в тебе.
Тоже самое пополам у ТС:
- рядом ставим постгри бд. Работает? Это одно. Не работает? Это другое.
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015404
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Важно только ребёнка не выплескивать вместе с водой.
Вот нахрена знать работает ли оно в отдельной СУБД, если оно должно работать в строго определённой среде???
...
Рейтинг: 0 / 0
и снова немного архитектуры и эластика с рдбмс
    #40015410
Фотография hVostt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
Все продумано до нас.
Методика поиска неисправностей методом "деления пополам".
-у соседа работает? У тебя нет. Значит дело не в земле а в тебе.
Тоже самое пополам у ТС:
- рядом ставим постгри бд. Работает? Это одно. Не работает? Это другое.


Угу, а теперь давай на примере лечения или проведения хирургической операции :)
Деление пополам.
...
Рейтинг: 0 / 0
25 сообщений из 269, страница 10 из 11
Форумы / Java [игнор отключен] [закрыт для гостей] / и снова немного архитектуры и эластика с рдбмс
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]