ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Java [игнор отключен] [закрыт для гостей] / Размер базы сферического-java-приложения в вакууме.
87 сообщений из 87, показаны все 4 страниц
  все  
Размер базы сферического-java-приложения в вакууме.
    #39254560
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
Господа, собссно вопрос не праздный, а выходит из предыдущей темы. Я как программист на данный момент не дюже опытный, посему спрашиваю:

в ваших джава-проектах какой средний размер баз и в среднем, сколько в них таблиц? т.е. у меня вот есть некое приложение которое завязано на торговлю и учет, причем реально работающее с живыми людьми. И там порядка 25-ти таблиц.. когда я эту цифру сказал одному челу он сказал типа фу а чо такой "маленький". и вот я в думках, а что же тогда не маленький?
...
Рейтинг: 0 / 0
11.06.2016, 08:22
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254562
just_vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
just_vladimir
Участник
andreykaT,
Размер не имеет значения )))) У нас что-то в районе 20Тб, вам это что-то сказало?
...
Рейтинг: 0 / 0
11.06.2016, 08:41
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254565
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
just_vladimir,

да, спасибо. конечно же сказало. а таблиц сколько?

а сколько в среднем таблиц в типовой конфе 1ски?
...
Рейтинг: 0 / 0
11.06.2016, 08:56
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254566
void33
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
void33
Гость
andreykaT,
что имел ввиду чел под словом "маленький"? и его специальность ( может он проктолог)
...
Рейтинг: 0 / 0
11.06.2016, 09:06
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254567
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
void33,

эйчар
...
Рейтинг: 0 / 0
11.06.2016, 09:13
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254571
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
andreykaT,
количество не имеет значение, главное - правильная организация связей, структуры таблиц
...
Рейтинг: 0 / 0
11.06.2016, 09:41
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254580
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
вадя,

а в цифрах? по связям да. тут я с тобой согласен. кривые связи это аллес и геморрой.
...
Рейтинг: 0 / 0
11.06.2016, 10:28
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254584
Partisan M
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Partisan M
Участник
Вопрос не имеет:
a) смысла
b) отношения к Java
c) имеющего значение ответа
и наконец,
d) значения по сравнению с величием природы.
...
Рейтинг: 0 / 0
11.06.2016, 10:44
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254593
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
andreykaTвадя,

а в цифрах? по связям да. тут я с тобой согласен. кривые связи это аллес и геморрой.
цифры не имеют значения,
в остальом - слогласен с Partisan M
...
Рейтинг: 0 / 0
11.06.2016, 11:07
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254597
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
andreykaTГоспода, собссно вопрос не праздный, а выходит из предыдущей темы. Я как программист на данный момент не дюже опытный, посему спрашиваю:

в ваших джава-проектах какой средний размер баз и в среднем, сколько в них таблиц? т.е. у меня вот есть некое приложение которое завязано на торговлю и учет, причем реально работающее с живыми людьми. И там порядка 25-ти таблиц.. когда я эту цифру сказал одному челу он сказал типа фу а чо такой "маленький". и вот я в думках, а что же тогда не маленький?
Ты мог приврать. Сказал-бы что у тебя 25 тыс таблиц. Все равно он проверить не сможет. Бизнес-тайна
и все такое... Вообще следуй моему совету. Говори то что хочет слышать интервьюер.

А теперь по сути. В одной из своих статей Стоунбрейкер ругает современные подходы к созданию dbms.
И он ссылается на несколько примеров типичных бухгалтерских баз и указывает что их размер оперативных
данных обычно не превышает 200 Мб. И я думаю что он прав. Если грамотно разделять исторические
сведенья и оперативные - то база резко худеет.

Вобщем дурное дело - не хитрое. И не сложно нафлудить данных на петабайт (фигли... если
вы купили и оплачиваете облако) но только насколько ценна эта инфа? Если ее так много - то
как к ней идёт доступ? Какой ширины должен быть канал и сколько процессов и сколько сетевых
интерфейсов должны качать инфу чтобы оправдать такой чудвищный размер? А если к ней нет
опер-доступа - то может ее положить в zip архив и скинуть на ленточки?

Я эксплуатировал биллинг-БД ГТС на 700 тыс абонентов размером в 1Тб по состоянию на 2010 год.
Бд ханила сведенья начиная с 1997 года о платежах населения (была помесячная тарификация
потом перешли на посекундную) и данные немного неравномерно росли. Таблиц было порядка 900 штук.
Не все были задейстованы в нормализации. Часть-были временные. Таблицы для пакетных загрузок.
И таблицы-отчоты.

БД-техучета кабельного и станционного хозяйства ГТС - порядка 200 Гиг. Табличек-мало. В основном
картографические сведенья о станциях, магистралях, колодцах, коробках e.t.c.

Вот такие вот размеры не-сферического приложения и не в вакууме.

Еще если интересно могу поднять сведенья по крупному в Европе поставщику картографии для автопрома.
...
Рейтинг: 0 / 0
11.06.2016, 11:21
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254729
Mad_Head
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mad_Head
Участник
andreykaT,

я думаю, что под маленьким количеством таблиц имелось в виду, что либо система совсем простая либо бд слишком денормализирована. В 1с для автоматизации сугубо тоговли чаще всего используется конфигурации УТ10 и УТ11. В УТ10 больше 150 таблиц, В УТ11 примерно в 2 раза больше чем в ут10. К примеру в 1с количественные данные часто агрегируются (к примеру есть таблица в которой храняться остатки товаров на конец и начало дня/месяца)
...
Рейтинг: 0 / 0
11.06.2016, 18:49
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254801
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
Майтон, благодарю за разъяснения. Я так всё и понял. но вот не могу врать и всё. мама с папой так научили. врать это плохо. а хры да и не только хры по-моему не совсем порой адекватно воспринимают цифры, типа много мало. такое ощущение что все явисты исключительно хайлоад пишут на загрузку от ляма человек.

Мэд хед, так это что выходит что может быть одна таблица с одной единственной строкой? или таблица со "сводными" данными? ну так по сути это регистр (вроде так в 1с называется да?). я всё понимаю, что иногда это очень удобно но мне не ясно когда сотни таблиц и, допустим, какая-то бизнес-процедура, которая затрагивает 2-3 десятка таблиц. а как потом ее ролбэк делать, если вдруг понадобится? это ж свихнуться можно.

или если процедура затрагивает несколько десятков табл - это можно считать неоптимальное или даже кривое решение?
...
Рейтинг: 0 / 0
11.06.2016, 21:19
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254821
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
andreykaT,
ты не над тем голову ломаешь.
колочество таблиц не является показателем.
показателем является быстрота работы системы
иногда для этого приходится дублировать данные, иногда сохранять расчитываемые значения.
а сколько таблиц завязано в хранимке/селекте это зависит от мастерства программиста.
главное правильно составить структуру данных - тогда система будет летать
вот этому надо учиться, набирать практику.
...
Рейтинг: 0 / 0
11.06.2016, 21:59
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254823
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
andreykaT,
и тут очень важную роль играет выбор самой субд
в каждой есть свои особенности,
работа с каждой субд это не просто селекты, это куча возможностей. в каждой субд свои.
хочешь научиться работать с базами - не используй хибер.
вот когда сможешь строить правильные структуры - тогда можешь пробовать хибер, тогда поймешь где и в чём он нужен.
и не надо бояться при построении селектов / хранимок гуи .
они очень облегчают работу, понимание структуры связей.
к примеру для mysql - очень классный инструмент DbForge.
...
Рейтинг: 0 / 0
11.06.2016, 22:09
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254842
Mad_Head
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mad_Head
Участник
andreykaT,

Вам правильно говорят, что не нужно привязываться к количеству таблиц. И в реальных системах бизнес требования и требования производительности диктуют ту или иную структуру бд.
На счет структуры таблиц 1с.
Я уже давно 1с не открывал, но Константы в определенный момоент начали храниться по принципу 1 константа = 1 таблица и да получится, что есть пару десятков таблиц с 1 записью. Причина в том, что при хранении Констант в 1 таблице можно нарваться на страничную блокировку никак не связанных сущностей, а если используется файловая бд, так там вообще вся таблица блокируется при потребности. Регистры тоже очень полезная вещь, тем более что существуют механизмы позволяющие часть длительных запросов выполнить выполнить позже (к примеру ночью когда нагрузка на систему будет ниже).
...
Рейтинг: 0 / 0
11.06.2016, 22:59
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254851
Фотография Usman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Usman
Участник
вадяхочешь научиться работать с базами - не используй хибер.Сферический CSV+FileSystem способ размещения/распределения данных в вакууме:

- Есть множество CSV-файлов (таблиц)
- CSV-файлы иерархически структурируются в файловой системе (каталоги, подкаталоги и т.д.)
- Выборка по CSV-файлам и данным делаются при помощи дрели .

За то без хибера ! ©
...
Рейтинг: 0 / 0
11.06.2016, 23:23
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254853
Mad_Head
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mad_Head
Участник
UsmanСферический CSV+FileSystem способ размещения/распределения данных в вакууме:

- Есть множество CSV-файлов (таблиц)
- CSV-файлы иерархически структурируются в файловой системе (каталоги, подкаталоги и т.д.)
- Выборка по CSV-файлам и данным делаются при помощи дрели .

За то без хибера ! ©
Пологаю что имелось в виду писать sql запросы руками, я конечно против такого подхода. Так как в более мение серьезном проекте их и с хибером прийдется пописать в узких местах.
...
Рейтинг: 0 / 0
11.06.2016, 23:28
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254855
Фотография Usman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Usman
Участник
Mad_HeadПологаю что имелось в виду писать sql запросы руками, я конечно против такого подхода.это я Ваде, а не Вам...

P.S.
Похоже Вы не в теме... рассказывать долго: Вадя vs Hibernate ...
...
Рейтинг: 0 / 0
11.06.2016, 23:35
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254914
maratische
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
maratische
Участник
есть приложение с 3 табличками и все это миниатюрное (в телефоне прямо)
есть приложение где >30 и уже порядка 5 гиг данных (админы передали превет, что пора пересмотреть что нибудь, база стала слишком много жрать ресурсов)
есть приложение где ВСЕГО 5-7 таблиц в hbase, но в десятках террабайт

вопрос не в количестве, а в качестве, те как приложение справляется с поставленной бизнес задачей
...
Рейтинг: 0 / 0
12.06.2016, 11:38
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254921
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
HR был неправ когда спрашивал о количестве таблиц. Но КМК на техническом интервью (2-м по счету)
это количество может быть просто стартовой точкой начала диалога. Тоесть ты сказал - у меня сто тыщ
питсот таблиц. И тех-лид тут-же спросит - была-ли нормализация? До какого уровня. Есть ли OLAP-аналитика?
Есть-ли EAV ? Какие типы данных юзали? Xml, Json? Какова нагрузка? Сколько активных сессий? Сколько
конкурирующих транзакций читают/пишут e.t.c.?
...
Рейтинг: 0 / 0
12.06.2016, 12:35
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254929
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
авторСферический CSV+FileSystem способ размещения/распределения данных в вакууме:

- Есть множество CSV-файлов (таблиц)
- CSV-файлы иерархически структурируются в файловой системе (каталоги, подкаталоги и т.д.)
всё зависит от конкретики,
но такое можно решить и с помощью субд - чтение в таблицы из csv файлов - самый быстрый способ заполнения таблиц.
а дальнейшее уже с помощью возможностей субд...

авторесть приложение с 3 табличками и все это миниатюрное (в телефоне прямо)
есть приложение где >30 и уже порядка 5 гиг данных (админы передали превет, что пора пересмотреть что нибудь, база стала слишком много жрать ресурсов)
есть приложение где ВСЕГО 5-7 таблиц в hbase, но в десятках террабайт

вопрос не в количестве, а в качестве, те как приложение справляется с поставленной бизнес задачей
ставлю на то, что спроектировано было не совсем удачно.
...
Рейтинг: 0 / 0
12.06.2016, 13:17
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254939
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
вадя,

что в твоем понятии удачно?
...
Рейтинг: 0 / 0
12.06.2016, 14:01
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254950
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
andreykaTвадя,

что в твоем понятии удачно?
удачно - это когда прибольших объёмах не наблюдается вышеописанного эффекта.
...
Рейтинг: 0 / 0
12.06.2016, 14:38
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254951
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
andreykaT,
чтоб сказать конкретно - надо видеть конкретное тз и конкретную реализацию.
можешь посмотреть в ветках пробазы и увидишь сколько вопросов про медленные запросы, и рекомендации, увеличивающие скорость и в юольшинстве рекомендаций - исправить структуру данных
...
Рейтинг: 0 / 0
12.06.2016, 14:42
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254953
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
вадя,

структуру исправить малой кровью не всегда предсталяется возможным. если вообще возможно после определенного момента.
...
Рейтинг: 0 / 0
12.06.2016, 15:04
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254960
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
andreykaTвадя,

структуру исправить малой кровью не всегда предсталяется возможным. если вообще возможно после определенного момента.
вот поэтому я и пытаюсь донести до умов - не надо полагаться на прокладки - мозги намного продуктивнее в этом направлениии.
надо с самого начала правильно делать, а не потом ...
...
Рейтинг: 0 / 0
12.06.2016, 15:22
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254962
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
вадя,

я не вижу радикальной разницы в планировании базы через скл или хибером. всё суть тоже самое. только пишешь по-разному.
...
Рейтинг: 0 / 0
12.06.2016, 15:42
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254963
Mad_Head
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mad_Head
Участник
вадяandreykaTвадя,

структуру исправить малой кровью не всегда предсталяется возможным. если вообще возможно после определенного момента.
вот поэтому я и пытаюсь донести до умов - не надо полагаться на прокладки - мозги намного продуктивнее в этом направлениии.
надо с самого начала правильно делать, а не потом ...

Как по мне - это фраза из разряда "программировать или верстать нужно в блокноте". Просто более высокоуровневые фреймворки нужно изучать и разбираться, что происходит от того или иного действия. А иначе получается преждевременная оптимизация, а это очень большое зло. У меня на прошлой работе были программисты старой школы которые на JDBC + собственное ручный DAO слой исполдьзовали везде. Так они эту часть писали в 3 раза дольше, чем другая команда использующая ORM и в узких местах написавшая native query.
...
Рейтинг: 0 / 0
12.06.2016, 15:47
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254964
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
andreykaTвадя,

я не вижу радикальной разницы в планировании базы через скл или хибером. всё суть тоже самое. только пишешь по-разному.
что тут сказать....
у меня на это нет слов......
...
Рейтинг: 0 / 0
12.06.2016, 15:48
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254967
Mad_Head
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mad_Head
Участник
вадя,

И хотел бы добавить, что если уж нужно сохранить перфоманс, то и для этого существуют фреймворки которые снимают часть руттиной работы (тот же mybatis или spring jdbc template)
...
Рейтинг: 0 / 0
12.06.2016, 15:50
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254968
Mad_Head
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mad_Head
Участник
вадяandreykaTвадя,

я не вижу радикальной разницы в планировании базы через скл или хибером. всё суть тоже самое. только пишешь по-разному.
что тут сказать....
у меня на это нет слов......

Если можете подкрепите примером. Какую структуру можно создать вручную и нельзя сгенерировать по entity? Естественно, что бы это давала какие-то весомые плюсы.
...
Рейтинг: 0 / 0
12.06.2016, 15:52
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254970
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
авторКак по мне - это фраза из разряда "программировать или верстать нужно в блокноте". Просто более высокоуровневые фреймворки нужно изучать и разбираться, что происходит от того или иного действия. А иначе получается преждевременная оптимизация, а это очень большое зло. У меня на прошлой работе были программисты старой школы которые на JDBC + собственное ручный DAO слой исполдьзовали везде. Так они эту часть писали в 3 раза дольше, чем другая команда использующая ORM и в узких местах написавшая native query.
по мне так мееедлееннно, мееедлееннно, мееедлееннно, но всё стадо....
ещё раз посмотрите ветки по базам - количество вопросов о тормозах зашкаливает, и всё решается правильным рефакторингом...
что всё сделано бысто , не думая о последствиях
...
Рейтинг: 0 / 0
12.06.2016, 15:54
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254972
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
вадяandreykaTвадя,

я не вижу радикальной разницы в планировании базы через скл или хибером. всё суть тоже самое. только пишешь по-разному.
что тут сказать....
у меня на это нет слов......
что такое дизайн базы? мы не говорим о каких то мегатюнапах когда начинают пользоваться не столько документированными возможностями, сколько триками.

правильно: дизайн базы - это насочинять много много таблиц, а потом эти таблицы меж собой связями увязать. собссно всё. хибер это прекрасно позволяет сделать. а что еще надо?

я сказал это обобщенно но суть та же. хибер тебе дает это сделать вообще без вопросов. кроме того - это скорее всего и отличаться то не будет от того, что ты набьешь руками.

спринг ждбс это круто, но, по-моему, он больше освобождает от возни с конекшнпулом и конекшнами )) остальное - так же. вырвиглазный маппинг и голый скл в запросах.
...
Рейтинг: 0 / 0
12.06.2016, 16:01
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254973
Mad_Head
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mad_Head
Участник
вадяпо мне так мееедлееннно, мееедлееннно, мееедлееннно, но всё стадо....
ещё раз посмотрите ветки по базам - количество вопросов о тормозах зашкаливает, и всё решается правильным рефакторингом...
что всё сделано бысто , не думая о последствиях

Читать форум как справочник вряд ли буду. Я не спорю, что делая минимум настроек оставляя все по дефолту в том же hibernate можно получить тормоза, но эти тормоза как правила решаются более правильно настройкой ORM. То есть тут все упирается в знания. Естественно за универсальность ORM нужно платить и на хайлоаде такое не прокатит, но для больше части проектов в самый раз.
...
Рейтинг: 0 / 0
12.06.2016, 16:03
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254975
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
Mad_Head,

когда зашел вопрос - как заставить хибер тормозить, пришли к мнению что это достаточно сложно и в подавляющем большинстве случаев хибер предпочтительнее.
...
Рейтинг: 0 / 0
12.06.2016, 16:06
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254976
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
авторЕсли можете подкрепите примером. Какую структуру можно создать вручную и нельзя сгенерировать по entity? Естественно, что бы это давала какие-то весомые плюсы.
к примеру для интернет-магазина - произвольное количество свойств для любого товара, с возможностью организовывания фильтров
по любому из них
...
Рейтинг: 0 / 0
12.06.2016, 16:08
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254980
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
авторчто такое дизайн базы? мы не говорим о каких то мегатюнапах когда начинают пользоваться не столько документированными возможностями, сколько триками.

правильно: дизайн базы - это насочинять много много таблиц, а потом эти таблицы меж собой связями увязать. собссно всё. хибер это прекрасно позволяет сделать. а что еще надо?

я сказал это обобщенно но суть та же. хибер тебе дает это сделать вообще без вопросов. кроме того - это скорее всего и отличаться то не будет от того, что ты набьешь руками.

спринг ждбс это круто, но, по-моему, он больше освобождает от возни с конекшнпулом и конекшнами )) остальное - так же. вырвиглазный маппинг и голый скл в запросах.
с таким подходом к субд - делай, что хочешь, мне надоело доказывать , что белое - это белое....
твои доводы показывают только то, что о субд ты знаешь поверхносто, и команда селект - это верх работы с базами....
...
Рейтинг: 0 / 0
12.06.2016, 16:14
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254984
Mad_Head
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mad_Head
Участник
вадяавторЕсли можете подкрепите примером. Какую структуру можно создать вручную и нельзя сгенерировать по entity? Естественно, что бы это давала какие-то весомые плюсы.
к примеру для интернет-магазина - произвольное количество свойств для любого товара, с возможностью организовывания фильтров
по любому из них

Entity
Good
- propertyValue (one to many)

PropertyValue
- propery (many to one)
- value
- good (many to one)

Property
- name

И запросы hql к entity PropertyValue
Как-то так должно прокатить, я не понял в чем тут подвох.
...
Рейтинг: 0 / 0
12.06.2016, 16:22
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254986
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
авторEntity
Good
- propertyValue (one to many)

PropertyValue
- propery (many to one)
- value
- good (many to one)

Property
- name

И запросы hql к entity PropertyValue
Как-то так должно прокатить, я не понял в чем тут подвох.
вперёд и с песней....
как только начнёшь реализовывать систему - узнаешь в чём подвох
...
Рейтинг: 0 / 0
12.06.2016, 16:35
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254987
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
мне нравится твое высокопарное "не правильно, но что и как - я не скажу.")) почему мы тебе должны верить?
...
Рейтинг: 0 / 0
12.06.2016, 16:39
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254993
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
andreykaTмне нравится твое высокопарное "не правильно, но что и как - я не скажу.")) почему мы тебе должны верить?
я могу сказать - почитай мануалы по субд.
это не содержимое одного топика.
...
Рейтинг: 0 / 0
12.06.2016, 16:48
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39254994
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
я не хочу ни кого обидеть, просто хочу направить на нужный путь.
каждый волен верить или не верить, совершать свои ошибки и на них учиться.
...
Рейтинг: 0 / 0
12.06.2016, 16:52
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255007
Mad_Head
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mad_Head
Участник
вадявперёд и с песней....
как только начнёшь реализовывать систему - узнаешь в чём подвох
Так себе аргументация. Если вы знаете кейс в котором будут трудности, то опишите, можно очень кратко. Я думаю, что они решаемы и это основная причина почему даются настолько общие комментарии.
...
Рейтинг: 0 / 0
12.06.2016, 17:58
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255009
Фотография Denis.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Denis.
Участник
andreykaTГоспода, собссно вопрос не праздный, а выходит из предыдущей темы. Я как программист на данный момент не дюже опытный, посему спрашиваю:

в ваших джава-проектах какой средний размер баз и в среднем, сколько в них таблиц? т.е. у меня вот есть некое приложение которое завязано на торговлю и учет, причем реально работающее с живыми людьми. И там порядка 25-ти таблиц.. когда я эту цифру сказал одному челу он сказал типа фу а чо такой "маленький". и вот я в думках, а что же тогда не маленький?
Мое мнение - реляционной базой должен заниматься специально обученный человек. Я не понимаю как кваллифицированный дба может иметь хорошую кваллификацию в языке, фреймворке, паттернах, техниках написания кода итд. Соответсвенно как кваллифицированный программист может глубко знать субд тоже не понимаю.
...
Рейтинг: 0 / 0
12.06.2016, 18:03
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255010
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
Denis.,

от ява-кодера ждут навыков квалифицированного дб(а?) по-моему это не админские навыки а как есть инженерные.
...
Рейтинг: 0 / 0
12.06.2016, 18:11
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255017
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
авторМое мнение - реляционной базой должен заниматься специально обученный человек. Я не понимаю как кваллифицированный дба может иметь хорошую кваллификацию в языке, фреймворке, паттернах, техниках написания кода итд. Соответсвенно как кваллифицированный программист может глубко знать субд тоже не понимаю.
почти соглашусь, лучше когда это работа в команде, оптимальность системы достигается в комплексе, и не всегда оптимальность системы совпадает с оптимальностью всех составляющих
авторТак себе аргументация. Если вы знаете кейс в котором будут трудности, то опишите, можно очень кратко. Я думаю, что они решаемы и это основная причина почему даются настолько общие комментарии.
я привел проблему, очень кратко её не описать, особенно, тому, кто не сталкивался с этой темой.
...
Рейтинг: 0 / 0
12.06.2016, 18:44
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255034
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
вадя,

ты с этой проблемой не сталкивался в хибере (кстати достаточно интересная проблема), посему не зная решения полагаешь, что его нет.
...
Рейтинг: 0 / 0
12.06.2016, 20:06
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255040
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
andreykaTвадя,

ты с этой проблемой не сталкивался в хибере (кстати достаточно интересная проблема), посему не зная решения полагаешь, что его нет.
я с этой проблемой сталкивался, поэтому и говорю о ней. и хибер здесь не помощник, и тем более не понацея...
...
Рейтинг: 0 / 0
12.06.2016, 20:39
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255053
Mad_Head
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mad_Head
Участник
вадяавторТак себе аргументация. Если вы знаете кейс в котором будут трудности, то опишите, можно очень кратко. Я думаю, что они решаемы и это основная причина почему даются настолько общие комментарии.
я привел проблему, очень кратко её не описать, особенно, тому, кто не сталкивался с этой темой.
Как сказать не сталкивался... Я крутился вокруг подобных проблем 7 лет работая 1с-ником, причем базы бывали на столько огромные, что часто приходилось прибегать к работе с БД средствами SQL минуя ORM 1c. Приходилось заниматься оптимизацией, но более низкоуровневой чаще всего анализ начинался с просмотра плана запроса и лога блокировок, джависты, как правило, такие темы не обсуждают. По этой причине как решить задачу средствами jdbc я довольно хорошо представляю, структура БД из моего поста выше подошла бы, нужно только энтити на таблицы заменить. Опыта в JPA у меня меньше по этому я и общаюсь в данной теме, что бы выяснить для себя почему вы считаете, что JPA не пригодно для такой вполне просто задачи. И если вы знаете почему, то вполне смогли бы предоставить кейс. К примеру "не получится 1 запросом выбрать список товаров по набору характеристик/свойств" - просто лакончино и без юления. Я даже буду готов проверить ваше утверждение.
...
Рейтинг: 0 / 0
12.06.2016, 21:29
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255093
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
Мэд, только что глянул ваше решение. лол. вы просто в гуд по сути добавили лист пропертей. а лист может быть длиной... если не ошибаюсь. два в 32й степени. Вадя, тебе хватит пропертей? :)
...
Рейтинг: 0 / 0
12.06.2016, 22:52
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255115
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
Mad_Head Как сказать не сталкивался... Я крутился вокруг подобных проблем 7 лет работая 1с-ником, причем базы бывали на столько огромные, что часто приходилось прибегать к работе с БД средствами SQL минуя ORM 1c. Приходилось заниматься оптимизацией, но более низкоуровневой чаще всего анализ начинался с просмотра плана запроса и лога блокировок, джависты, как правило, такие темы не обсуждают. По этой причине как решить задачу средствами jdbc я довольно хорошо представляю, структура БД из моего поста выше подошла бы, нужно только энтити на таблицы заменить. Опыта в JPA у меня меньше по этому я и общаюсь в данной теме, что бы выяснить для себя почему вы считаете, что JPA не пригодно для такой вполне просто задачи. И если вы знаете почему, то вполне смогли бы предоставить кейс. К примеру "не получится 1 запросом выбрать список товаров по набору характеристик/свойств" - просто лакончино и без юления. Я даже буду готов проверить ваше утверждение.

вот ты сам себе и ответил, к этому добавить можно только то что для оптимизации необходимо использовать все возможности конкретной субд.

авторМэд, только что глянул ваше решение. лол. вы просто в гуд по сути добавили лист пропертей. а лист может быть длиной... если не ошибаюсь. два в 32й степени. Вадя, тебе хватит пропертей? :)
тут дело не в количестве, а в том как эти свойства назначить конкретному товару, как организовать фильтрацию, как организовать отображение, добавление и прочее, прочее. и учесть при этом быстродействие.
к примеру , модно хранить набор свойств у товара в поле в виде такого набора 34,5,6,...
где числа - id свойств.
всё красиво, но только до тех пор пока не надо организовывать поиск по свойствам, сортировку, красивый вывод....
при малых объёмах это не заметно , но при настоящих объёмах данных - это уже тормоза.

если ты сможешь построить серьёзный запрос - да можно его подсунуть хиберу, будет красиво... вроде.
но что в итоге сделает хибер? он просто заполнит таблицу, которую необходимо вывети юзеру.
произвести запись в "серьёзный" запрос он не сможет - потому как запрос "реад онли".
а вывести результат из результсета можно и самому - всё просто.
...
Рейтинг: 0 / 0
12.06.2016, 23:42
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255117
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Не знаю в тему ли...

Меня заинтересовала оптимизация поиска товаров по набору булевых свойств.

Нагуглил как это сделано в связке PHP+MySQL+Redis:

https://habrahabr.ru/post/261137/
...
Рейтинг: 0 / 0
13.06.2016, 00:23
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255119
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
andreykaTГоспода, собссно вопрос не праздный, а выходит из предыдущей темы. Я как программист на данный момент не дюже опытный, посему спрашиваю:

в ваших джава-проектах какой средний размер баз и в среднем, сколько в них таблиц? т.е. у меня вот есть некое приложение которое завязано на торговлю и учет, причем реально работающее с живыми людьми. И там порядка 25-ти таблиц.. когда я эту цифру сказал одному челу он сказал типа фу а чо такой "маленький". и вот я в думках, а что же тогда не маленький?

Всё зависит от постановки задачи (главный аспект) и стиля проектирования БД и приложения, с ним работающего.
Например, если у кого-то EAV используется, это всего 10-20 таблиц и есть.
...
Рейтинг: 0 / 0
13.06.2016, 00:46
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255126
Mad_Head
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mad_Head
Участник
вадявот ты сам себе и ответил, к этому добавить можно только то что для оптимизации необходимо использовать все возможности конкретной субд.

Но я все же склонен считаь, что данную инфу получится выбрать 1 HQL запросом. Завтра набросаю пример и проверю наверняка. Если таблице которая хранит свойство/значение сделать составной индекс, то производительности будет достаточно для большенства проектов. Я думаю что куча CRM систем работат по похожему принципу.
...
Рейтинг: 0 / 0
13.06.2016, 02:05
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255135
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
mayton,
там хорошо описали проблему свойств. но решение очень частное. я б не стал на него ориентироваться.
...
Рейтинг: 0 / 0
13.06.2016, 05:37
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255141
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
вадятут дело не в количестве, а в том как эти свойства назначить конкретному товару, как организовать фильтрацию, как организовать отображение, добавление и прочее, прочее. и учесть при этом быстродействие.
к примеру , модно хранить набор свойств у товара в поле в виде такого набора 34,5,6,...
где числа - id свойств.
всё красиво, но только до тех пор пока не надо организовывать поиск по свойствам, сортировку, красивый вывод....
при малых объёмах это не заметно , но при настоящих объёмах данных - это уже тормоза.

если ты сможешь построить серьёзный запрос - да можно его подсунуть хиберу, будет красиво... вроде.
но что в итоге сделает хибер? он просто заполнит таблицу, которую необходимо вывети юзеру.
произвести запись в "серьёзный" запрос он не сможет - потому как запрос "реад онли".
а вывести результат из результсета можно и самому - всё просто.

вытаскиваем из табл свойств все свойства, подходящие под нужное нам описание, потом через свойства вытаскиваем все товары, к которым они привязаны. не?
...
Рейтинг: 0 / 0
13.06.2016, 07:09
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255147
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
andreykaT,
это для каких целей?
...
Рейтинг: 0 / 0
13.06.2016, 08:11
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255151
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
вадяandreykaT,
это для каких целей?
ты озвучивал задачу найти товар, подходящий под какие-то свойства.
...
Рейтинг: 0 / 0
13.06.2016, 08:25
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255154
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
авторты озвучивал задачу найти товар, подходящий под какие-то свойства.
я озвучил задачу создание системы для работы со свойствами товаров.
...
Рейтинг: 0 / 0
13.06.2016, 08:53
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255159
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
вадяmayton,
там хорошо описали проблему свойств. но решение очень частное. я б не стал на него ориентироваться.
Там просто не учтен поиск непрерывных величин типа цена, вес, габариты но их
можно учесть на 2-й фазе поиска типа JOIN id-s товаров полученых из Редис
с MySQL.
...
Рейтинг: 0 / 0
13.06.2016, 09:03
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255167
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
maytonвадяmayton,
там хорошо описали проблему свойств. но решение очень частное. я б не стал на него ориентироваться.
Там просто не учтен поиск непрерывных величин типа цена, вес, габариты но их
можно учесть на 2-й фазе поиска типа JOIN id-s товаров полученых из Редис
с MySQL.
начнёш это реализовать - получится велосипедостроение....
...
Рейтинг: 0 / 0
13.06.2016, 09:37
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255181
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
вадяmaytonпропущено...

Там просто не учтен поиск непрерывных величин типа цена, вес, габариты но их
можно учесть на 2-й фазе поиска типа JOIN id-s товаров полученых из Редис
с MySQL.
начнёш это реализовать - получится велосипедостроение....
Возможно. Я не строил интернет-магазины.
...
Рейтинг: 0 / 0
13.06.2016, 10:52
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255187
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
вадяавторты озвучивал задачу найти товар, подходящий под какие-то свойства.
я озвучил задачу создание системы для работы со свойствами товаров.
в чем проблема? у тебя бесконечное число свойств определенного типа. текст пусть. ты можешь создать формально универсальный класс "свойство" и там мешок полей в нем сделать предопределенных. числовые и текстовые. пожалуйста, можешь называть каждое свойство по своему. не вижу проблемы.

искать товар по свойству. - пжалста. хкл или классический критерий навроде:

Код: java
1.
2.
3.
Criteria criteria = session.createCriteria(Good.class)
  .createCriteria("properties","p")
  .add(Restrictions.eq("p.propertyField","field value"));



впрочем, это суть джоин.
...
Рейтинг: 0 / 0
13.06.2016, 11:27
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255196
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
авторв чем проблема?

я озвучил задачу: создание системы для работы со свойствами товаров.
ты же вырываешь из системы кусочек и его решение выдаёшь за решение для всей системы.
...
Рейтинг: 0 / 0
13.06.2016, 11:53
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255198
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
andreykaTв чем проблема?
Проблема в производительности. Реляционки плохо ищут в EAV. И к ним сбоку
подставляют альтернативные механизмы поиска. Текстовый поиск. Биткарты.
Денормализуют.

А то что ты нарисовал - это вообще не про это. И это не проблема.
...
Рейтинг: 0 / 0
13.06.2016, 11:57
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255226
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
mayton,

у меня вот возникала задача поиска по 1e6 товаров (до 1e9 атрибутов), с поиском по совпадению, по диапазону и т.п, еще и с нормальными требованиями по производительности (10ms на запрос). Никакая СУБД, увы, не справляется и близко, нужно писать собственное решение (впрочем, писать его недолго).
...
Рейтинг: 0 / 0
13.06.2016, 14:16
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255228
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
DPH3mayton,

Никакая СУБД, увы, не справляется и близко, нужно писать собственное решение (впрочем, писать его недолго).
Отлично. Добавляюсь в твой github
...
Рейтинг: 0 / 0
13.06.2016, 14:28
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255234
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
DPH3mayton,

у меня вот возникала задача поиска по 1e6 товаров (до 1e9 атрибутов), с поиском по совпадению, по диапазону и т.п, еще и с нормальными требованиями по производительности (10ms на запрос). Никакая СУБД, увы, не справляется и близко, нужно писать собственное решение (впрочем, писать его недолго).
интересно,
но после опытов с mysql 5.7.11 с поиском по like среди 1е7 записей я не уверен что всё так трагично
хотелочь бы посмотреть. есть возможность 1е6 товаров дать для тестов?
...
Рейтинг: 0 / 0
13.06.2016, 15:04
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255242
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Если взять матрицу для Редиски размером 1е6 на 1е9 то мы получим логический размер

1е6 * 1е9 = 1е15

логических элементов типа true/false или в байтовом представлении это будет

1е15/8 = 125 000 000 000 000 байт = 113 Тб

Вобщем 113 терабайт.

Но я думаю что матрица эта по большей части будет разреженная. Или даже детальнее...
существует класс продуктов для которых некоторые свойсвта не существуют. Например
для холодильника не будет существовать такая опция как FullHD и у плазмы не будет
опций трех-камерности e.t.c.

Тоесть оптимистично... можно побить товары на категории для которых не нужно
резервировать 1e9 атрибутов а достаточно будет 1 тысячи (даже с зацепом на будущие
опции товаров и опции снятые с производтсва).

Таким образом постановка 1е6 на 1е9 может быть изменена на другую. Код Редиса
надо переколбасить под классы товаров с матрицами существенно меньшего размера.

А для поиска на сайте - классификатор товаров все равно активируется поэтому
задача естественным образом упрощается идя от пользовательского use-case.
...
Рейтинг: 0 / 0
13.06.2016, 15:42
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255365
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
mayton,
хм, в публичный доступ я этот код не выкладывал. Но, похоже, судя по интересу, надо будет довести до соответствующего состояния.
...
Рейтинг: 0 / 0
13.06.2016, 23:01
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255366
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
вадя,

товаров дать, разумеется, не могу. Но кто мешает сгенерить собственный набор, для тестирования хватит. Но там проблемы в основном не в поиске по одному атрибуту, а в поиске по паре десятков одновременно, с разными видами поиска и при этом с обновлением всех цен по какой-нибудь категории. Из готовых решений лучше всего справлялся SOLR, но у него не очень быстрый поиск по диапазону и обновления не очень быстрые (
...
Рейтинг: 0 / 0
13.06.2016, 23:07
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255368
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
Mad_HeadЕсли можете подкрепите примером. Какую структуру можно создать вручную и нельзя сгенерировать по entity? Естественно, что бы это давала какие-то весомые плюсы.

Из самого простого, что сложно делать через hiber: хранение сложных сущностей в полях типа json, с полиморфизмом, обратной совместимостью версий и прочими радостями, которые легко делать через PostgreSQL + Jackson, но почти нереально через ORM. Плюсы - резкий рост производительности )
Я как раз про это рассказывал на последнем РИТе.
...
Рейтинг: 0 / 0
13.06.2016, 23:12
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255369
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
Mad_HeadКак по мне - это фраза из разряда "программировать или верстать нужно в блокноте". Просто более высокоуровневые фреймворки нужно изучать и разбираться, что происходит от того или иного действия. А иначе получается преждевременная оптимизация, а это очень большое зло. У меня на прошлой работе были программисты старой школы которые на JDBC + собственное ручный DAO слой исполдьзовали везде. Так они эту часть писали в 3 раза дольше, чем другая команда использующая ORM и в узких местах написавшая native query.

Ну, когда я смогу найти на рынке за разумные деньги разработчика, которые понимает, как работает @Transactional поверх Hibernate на конкретной СУБД (кстати, я пока еще таких вообще не видел, как только начинаешь задавать сложные вопросы - все начинают говорить "наверно все будет хорошо"), то да, наверно можно будет спокойно использовать ORM. А на данный момент ответственные или высокопроизводительные вещи проще писать без ORMа. Кстати, как только нужно работать с изменением структуры СУБД в кластере без останова - то ORM начинает изрядно тормозить разработку. Выигрыш в производительности разработки - только пока в продакшн не вышли, да и то если на jdbc писать совсем не раздумывая. Проверялось )
...
Рейтинг: 0 / 0
13.06.2016, 23:21
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255370
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
DPH3,
длина поля названия ? структура таблицы? прочие условия?
чтоб было реальное сравнение скорости.
...
Рейтинг: 0 / 0
13.06.2016, 23:23
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255371
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
maytonА для поиска на сайте - классификатор товаров все равно активируется поэтому
задача естественным образом упрощается идя от пользовательского use-case.
Это пока не возникают запросы вида "что-нибудь красное для мальчика от 500 до 1000 рублей". И тут уже классификатор не работает.
Собственно, как я ругаюсь каждый раз, когда ищу себе читалку на Яндекс.Маркете, где телефоны, планшеты и электронные книги - три разных категории, а мне-то нужно искать среди всех сразу.
Когда можно сузить поиск до категории товаров, то проще завести по таблице или БД на каждую категорию и искать там. Собственно, когда-то в Маркете так и было (сейчас - не в курсе).
...
Рейтинг: 0 / 0
13.06.2016, 23:25
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255373
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
DPH3,
для виртуального коня в вакууме у меня есть хорошие результаты, интересуют реальные, для хорошей нагрузки
...
Рейтинг: 0 / 0
13.06.2016, 23:27
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255374
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
DPH3Это пока не возникают запросы вида "что-нибудь красное для мальчика от 500 до 1000 рублей". И тут уже классификатор не работает.
Собственно, как я ругаюсь каждый раз, когда ищу себе читалку на Яндекс.Маркете, где телефоны, планшеты и электронные книги - три разных категории, а мне-то нужно искать среди всех сразу.
Когда можно сузить поиск до категории товаров, то проще завести по таблице или БД на каждую категорию и искать там. Собственно, когда-то в Маркете так и было (сейчас - не в курсе).
подобное организовал для торговой проги — менеджеры так и искали — видели всё и сразу что хотели, и ничего лишнего
...
Рейтинг: 0 / 0
13.06.2016, 23:31
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255377
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
DPH3Это пока не возникают запросы вида "что-нибудь красное для мальчика от 500 до 1000 рублей". И тут уже классификатор не работает.
Собственно, как я ругаюсь каждый раз, когда ищу себе читалку на Яндекс.Маркете, где телефоны, планшеты и электронные книги - три разных категории, а мне-то нужно искать среди всех сразу.
Когда можно сузить поиск до категории товаров, то проще завести по таблице или БД на каждую категорию и искать там. Собственно, когда-то в Маркете так и было (сейчас - не в курсе).
Минутку... у любого обобщения должны быть границы.
Собственно для этого и существуют SR где можно перечислить по пунктам критерии того
что должно быть разработано.

Если вы хотите искать "что-нибудь красное для мальчика от 500 до 1000 рублей" - это
не запрос в интернет магазин. Это метафорическое и иносказательное пожелание.
И его надо хотя-бы привести к вариантам типа - одежда красного цвета (type=clothes, color=red),
и возраст 7-12 (age=child,gender=boy).

И очень хотелось-бы исключить из нашего обсуждения вопросы нечеткой логики и FTS.
Я согласен обсуждать EAV и его оптимизации но я не готов здесь путать и подмешивать
еще и искуственный интеллект.
...
Рейтинг: 0 / 0
13.06.2016, 23:52
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255379
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
maytonЕсли вы хотите искать "что-нибудь красное для мальчика от 500 до 1000 рублей" - это
не запрос в интернет магазин. Это метафорическое и иносказательное пожелание.

Это вполне конкретный пример запроса, полученный от product owner. На мой взгляд, "красное" тут действительно лишнее для поиска, вместо него скорее будет "с доставкой завтра". Но это не про одежду, это нормальный пользовательский сценарий вида "срочно нужен подарок" в глобальном интернет-магазине или справочнике. Вообще, в возможных запросах у нас были и прекрасные вещи типа "пригодится для лего" и "розовое для девочки". Ну да, приходится иметь вычислимые атрибуты "для мальчика", "для девочки" по всем категориям. И подобные вычислимые атрибуты появляются постоянно. Собственно, потому и появилось столько атрибутов и потребность в сквозном поиске по всем товарам.
...
Рейтинг: 0 / 0
14.06.2016, 00:00
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255380
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
вадяDPH3,
длина поля названия ? структура таблицы? прочие условия?
чтоб было реальное сравнение скорости.
это к чему? вообще, надо брать профили под конкретную задачу и смотреть. Я наши профили смотрел на разных СУБД (включая inmemory) и SOLRе. В нужный мне тайминг не влез никто, увы. Хотя я верю, что для чуть других профилей подойдет и какой-нибудь MySQL. Там, например, еще актуален размер выборки. Если она может быть больше 1e4-1e5 элементов, то это может сильно усложнять некоторые решения.
...
Рейтинг: 0 / 0
14.06.2016, 00:06
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255381
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
DPH3Ну да, приходится иметь вычислимые атрибуты "для мальчика", "для девочки" по всем категориям. И подобные вычислимые атрибуты появляются постоянно. Собственно, потому и появилось столько атрибутов и потребность в сквозном поиске по всем товарам.
Ну .. я не знаю шутили ли вы про 1 000 000 000 атрибутов. Если это просто размер справочника - то пускай.
Но даже в страшном сне невозможно представить чтобы для 1 единицы товара кто-то ВВОДИЛ более чем
1000 атрибутов. Да и что это за товар такой? Ракета класса Земля-Плутон? Почему у этого товара столько
много всего? Есть-ли в этом бизнес-смысл? Даже спека по товару не ведает столько много инфы.
...
Рейтинг: 0 / 0
14.06.2016, 00:09
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255383
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
maytonНу .. я не знаю шутили ли вы про 1 000 000 000 атрибутов. Если это просто размер справочника - то пускай.
Но даже в страшном сне невозможно представить чтобы для 1 единицы товара кто-то ВВОДИЛ более чем
1000 атрибутов. Да и что это за товар такой? Ракета класса Земля-Плутон? Почему у этого товара столько
много всего? Есть-ли в этом бизнес-смысл? Даже спека по товару не ведает столько много инфы.
Да, 1000 атрибутов - это я переборщил, реально в среднем от 30 до 100 было по описанию, плюс аналитические. С версиями было еще больше (когда у одного товара по разным источникам разные значения одного атрибута, в системе это активно поддерживалось), но в среднем скорее 100, чем 1000. Увы, стартап умер задолго до 1e6 товаров... Впрочем, товаров планировалось побольше 1e6.
...
Рейтинг: 0 / 0
14.06.2016, 00:18
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255386
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
mayton,
но вообще, с учетом разных цен от разных поставщиков по регионам, разным версиям товара, разным версиям данных по товару, условиям доставки, сертификациям, связям с другими товарами - там и до 1000 могло дойти, в перспективе. Но вообще в нормальной системе поиска число атрибутов на товар не влияет на скорость поиска, только на объем потребной памяти )
...
Рейтинг: 0 / 0
14.06.2016, 00:23
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255416
вадя
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вадя
Участник
DPH3,
если результирующая выборка 200+ , то надо менять постановщика задачи.
...
Рейтинг: 0 / 0
14.06.2016, 06:37
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255429
andreykaT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andreykaT
Участник
DPH3Mad_HeadКак по мне - это фраза из разряда "программировать или верстать нужно в блокноте". Просто более высокоуровневые фреймворки нужно изучать и разбираться, что происходит от того или иного действия. А иначе получается преждевременная оптимизация, а это очень большое зло. У меня на прошлой работе были программисты старой школы которые на JDBC + собственное ручный DAO слой исполдьзовали везде. Так они эту часть писали в 3 раза дольше, чем другая команда использующая ORM и в узких местах написавшая native query.

Ну, когда я смогу найти на рынке за разумные деньги разработчика, которые понимает, как работает @Transactional поверх Hibernate на конкретной СУБД (кстати, я пока еще таких вообще не видел, как только начинаешь задавать сложные вопросы - все начинают говорить "наверно все будет хорошо"), то да, наверно можно будет спокойно использовать ORM. А на данный момент ответственные или высокопроизводительные вещи проще писать без ORMа. Кстати, как только нужно работать с изменением структуры СУБД в кластере без останова - то ORM начинает изрядно тормозить разработку. Выигрыш в производительности разработки - только пока в продакшн не вышли, да и то если на jdbc писать совсем не раздумывая. Проверялось )
а можно спросить что за конкретные вопросы по "как работает транзакшнл". да еще и на конкретной субд??
...
Рейтинг: 0 / 0
14.06.2016, 07:45
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255512
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
вадяDPH3,
если результирующая выборка 200+ , то надо менять постановщика задачи.
Показывать пользователю их, конечно, не нужно. А вот показывать общее количество нужно сразу. И результаты фасетинга тоже нужно сразу.
...
Рейтинг: 0 / 0
14.06.2016, 10:33
| Ответить | Цитировать | Написать  
Размер базы сферического-java-приложения в вакууме.
    #39255516
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
andreykaT
а можно спросить что за конкретные вопросы по "как работает транзакшнл". да еще и на конкретной субд??[/quot]
Обычно я начинаю с вопроса, а какие параметры у @Transactional бывают и что значат. Ну, хоть какие-нибудь.
Потом - как работает serializable для MySQL, Oracle и DB2 и в чем могут быть различия.
Дальше, например, у нас тот же Hibernate, простенький код перевода денег со счета на счет. Могут ли пропасть деньги при стандартных настройках? А может ли уйти счет в минус? На каких СУБД? Как сделать так, что бы они не пропадали никогда? Как сделать так, что бы при этом все работало не очень медленно. А в кластере? А как это можно доказать? А если кто-нибудь включит кэш второго уровня?

Ну и так далее...
...
Рейтинг: 0 / 0
14.06.2016, 10:41
| Ответить | Цитировать | Написать  
87 сообщений из 87, показаны все 4 страниц
  все  
Форумы / Java [игнор отключен] [закрыт для гостей] / Размер базы сферического-java-приложения в вакууме.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/search_topic.php?author=katrin-cherkasva&author_mode=last_posts&do_search=1]:
 0ms
get settings:
 11ms
get forum list:
 14ms
get settings:
 10ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 89ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 83ms
get tp. blocked users:
 2ms
others: 716ms
total:  960ms
созд. / загр.: 960ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]