|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
Давайте обсудим недостатки решения которое приведено в статье https://habr.com/ru/post/261137/ ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 10:34 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
maytonНапомнило мой топик https://www.sql.ru/forum/1242903/tyapnichnyy-poisk-tovarov-po-naboru-atributov ну так эта тема про решение твоей проблемы а советы фронтендеров с фреймворками для меня имеют нулевую ценность, поэтому у меня в их разделе 0 тем ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 11:01 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
maytonДавайте обсудим недостатки решения которое приведено в статье https://habr.com/ru/post/261137/ если что не устраивает, есть ещё монга и эластик но как по мне решение идеальное на самом деле тут редис то вроде и не нужен (надо тестить) в постгре можно ф-ю держать, она также в памяти отработает ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 11:04 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
Постгрес никогда не считался быстрой системой. Такова его архитектура. Поэтому. Есть у меня сомнения. По поводу редиски я не против но нужен внятный механизм расширения бизнес модели этих фасетов и классификаторов. Вангую что девочка-контент-менеджер магазина просто ушатает эту систему постоянно (2-3) раза в час закидывая туда новые типы товаров и их атрибутов поиска. Если механика расширения (на ходу!) изначально заложена то гуд. Если нет - то система будет постоянно ребилдится и как следствие недоступна. Вангую также что девочка закинет туда 100500 классов (из Экцеля ага) просто так на всякий случай. на будущее. И эти пустые атрибуты навсегда займут место в битовой маске. И не будет никакой возможности в будущем их утрамбовать обратно. К каким последствиям приведет пустое неиспользованое захватывание бит в маске вы можете посчитать. Это память сервера Redis. А память обычно очень быстро кончается. Вот теперь давайте обсуждать эти поинты. И если эти сценарии невозможны - то почему. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 11:13 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
maytonПостгрес никогда не считался быстрой системой. Такова его архитектураон упорно гнет решение расширить постгри и в его оперативке решать задачи. полудухв постгре можно ф-ю держать, она также в памяти отработает ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 11:23 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
PetroNotC SharpmaytonПостгрес никогда не считался быстрой системой. Такова его архитектураон упорно гнет решение расширить постгри и в его оперативке решать задачи. Я где-то в глубине души даже готов согласиться. Но почему за более чем 20 лет эволюции, Postgres не предоставил нам коробочного решения для фасетного поиска? Варианты. 1) Это не работает в Postgresql. 2) Гибридные решения с Redis работают эффективнее. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 11:43 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
maytonВарианты. 1) Это не работает в Postgresql. 2) Гибридные решения с Redis работают эффективнее. 3. Фасетный поиск это не задача реляционных БД. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 11:56 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
PetroNotC SharpmaytonВарианты. 1) Это не работает в Postgresql. 2) Гибридные решения с Redis работают эффективнее. 3. Фасетный поиск это не задача реляционных БД. А полнотекстовый? А ГИС? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 12:05 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
mayton, ГИС это отдельные картриджи в сиквел, оракле и постгри. Полнотекстовый насколько помню в java используют не саму Рсубд. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 12:09 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
Может полудух хочет кардтридж под Постргрес. Чем его идея тогда хуже оракловой? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 12:17 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
maytonМожет полудух хочет кардтридж под Постргрес. Чем его идея тогда хуже оракловой?может. Пусть делает. Мы обсудили почему за 20 лет нет этого до сих пор. Это есть но не в бд. Когда что то пишешь с нуля, надо понимать - зачем. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 12:33 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
Я думаю что поиск в БД по списку денормализованных атрибутов - не согласуется с чистой теорией. Это даже не 1НФ. Но есть потребности бизнеса в том чтобы искать какую-то хрень например SELECT * from TOVAR where contains(hashtags,'Samsung','HDMI',......и еще штук 20 атрибутов) и искать быстро. На предельной скорости. Полнотекстовые движки это решают фильтром Блума + точной проверкой после предварительной выборки. Это даже инкапсулировано в некоторые файловые форматы бигдаты такие как Apache ORC. Кстати в одном из семинаров по постргресу главный постгресщик рассказывал историю возникновения JSONB. До этого был другой подход. Просто в хранении списка ключевых слов и в текстовом индексировании. Я думаю что это может быть то что нужно полудуху. Пускай он погуглит по легаси-плагинам. Или опять-же JSONB+index. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 12:55 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 13:09 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
PetroNotC Sharp, я не понял к чему эта ссылка. Я с твоего позволения не буду на нее нажимать. Можешь прояснить к чему она? Что там внутри? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 13:10 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
mayton, Формирование параметров вебмагазина букинга по товарам. На форуме ссылок с вирусами нет. Видно что параметров куча и все они не битовые маски. Можно 20 парам поставить в where и все они отработают на ура. То есть твоё число 20 имхо мало чтобы были проблемы. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 13:31 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
maytonПостгрес никогда не считался быстрой системой. Такова его архитектура. Поэтому. Есть у меня сомнения. По поводу редиски я не против но нужен внятный механизм расширения бизнес модели этих фасетов и классификаторов. Вангую что девочка-контент-менеджер магазина просто ушатает эту систему постоянно (2-3) раза в час закидывая туда новые типы товаров и их атрибутов поиска. Если механика расширения (на ходу!) изначально заложена то гуд. Если нет - то система будет постоянно ребилдится и как следствие недоступна. Вангую также что девочка закинет туда 100500 классов (из Экцеля ага) просто так на всякий случай. на будущее. И эти пустые атрибуты навсегда займут место в битовой маске. И не будет никакой возможности в будущем их утрамбовать обратно. К каким последствиям приведет пустое неиспользованое захватывание бит в маске вы можете посчитать. Это память сервера Redis. А память обычно очень быстро кончается. Вот теперь давайте обсуждать эти поинты. И если эти сценарии невозможны - то почему. там есть один нюанс, которого в статье нет нужна агрегация потому что только агрегация даст последовательную цепочку ID, которым соответствуют позиции 01 в битмапе (они же последовательно идут) иначе неизбежны пробелы. с одной стороны доп.костыль, а с другой - нет никаких проблем с обновлением в любой точке чё угодно можно выкинуть, чё угодно вставить и никакие девки не страшны лишние атрибуты конечно надо выкидывать, а как ещё только вот атрибуты хранятся в справочнике и их можно автоматически включать в фильтр памяти там 625 КБ авторплюсы такого решения: 1) Жрёт мало памяти. У нас > 50000 товаров, около 100 значений фильтров, то есть 50000 * 100 = 5 000 000 бит = всего 625 килобайт памяти. 2) Очень быстро. Сложность побитовой операции O(N), тем не менее, строки у нас не миллионами байт измеряются, а перемножить пару-тройку битмапов ио 50000 бит — задача пары микросекунд для процессора. Overall, в худшем случае (перемножение всех фильтров), замеряя разницу времени в PHP до отправки команды в REDIS и после получения результата — 40мс (это с доп. функцией из п.3, далее). Вполне реалтаймовая генерация страницы, для веба пойдёт. Если кажется много — просьба кешируйте результат, но нас это удовлетворило вполне. maytonПостгрес никогда не считался быстрой системой. Такова его архитектура. Поэтому. Есть у меня сомнения. во1, это не так. Откуда такое заявление взялось? во2, речь про операции в памяти. Мелкая таблица с атрибутами измеряется в килобайтах и будет в памяти всю дорогу. Накинуть на неё операцию AND - займёт, по идее, столько же, сколько и в редиске. Вопрос только в алгоритмах, но там же стандартная библиотека должна быть. maytonНо почему за более чем 20 лет эволюции, Postgres не предоставил нам коробочного решения для фасетного поиска? ты же говорил, что любитель послушать лекции по постгре, так там Бартунов регулярно говорит, что людей мало, людей не хватает, люди вы где, ау?, люди, дайте людей!, вэлком люди, у нас куча задач, нужны люди, люди, ЛЮДИ11! через одну повторяет maytonКстати в одном из семинаров по постргресу главный постгресщик рассказывал историю возникновения JSONB. До этого был другой подход. Просто в хранении списка ключевых слов и в текстовом индексировании. Я думаю что это может быть то что нужно полудуху. Пускай он погуглит по легаси-плагинам. Или опять-же JSONB+index. я про JSONB ещё года 2 назад всё изучил и тесты с монгой видел JSONB не то. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 14:32 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
PetroNotC SharpmaytonSELECT * from TOVAR where contains(hashtags,'Samsung','HDMI',......и еще штук 20 атрибутов)надо еще доказать что это долго. Пример (мусор удалён) вы там с Димой один косяк на двоих чтоли курите вот так фильтр выглядит: /?f=ap:5_3_5;bh:28_99_33;ck:7_9_22 ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 14:34 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
maytonЯ думаю что поиск в БД по списку денормализованных атрибутов - не согласуется с чистой теорией. Это даже не 1НФ. Но есть потребности бизнеса в том чтобы искать какую-то хрень например денормализация и поиск по ID - это самый быстрый вариант что-то найти ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 14:37 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
полудухнужна агрегация потому что только агрегация даст последовательную цепочку ID, которым соответствуют позиции 01 в битмапе (они же последовательно идут) иначе неизбежны пробелы. с одной стороны доп.костыль, а с другой - нет никаких проблем с обновлением в любой точке чё угодно можно выкинуть, чё угодно вставить и никакие девки не страшны лишние атрибуты конечно надо выкидывать, а как ещё только вот атрибуты хранятся в справочнике и их можно автоматически включать в фильтр Ничего не понял про агрегацию. Агрегация это применение формулы типа min, max, sum .e.t.c. Приведи пример твоей агрегации. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 14:39 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
полудухDima Tизбыточность в 256 раз опять накурился Я бы для начала поковырял откуда это недоразумение взялось и там бы порядок навел. отсюда порядок там не навести можно кое-что улучшить, например, ф-ю в постгрю перенести, чтобы не гонять туда огромный список ID ну и вроде всё. если оттуда, то вы собрались пользоваться Редисом? если да, то там есть операции работы с множествами, битами и т.д. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 14:45 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
полудухmaytonЯ думаю что поиск в БД по списку денормализованных атрибутов - не согласуется с чистой теорией. Это даже не 1НФ. Но есть потребности бизнеса в том чтобы искать какую-то хрень например денормализация и поиск по ID - это самый быстрый вариант что-то найтида. Но магазин плохо ложиться на данную модель. Отсюда костыли в виде EAV, xml, json,... ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 14:50 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
во1, это не так. Откуда такое заявление взялось? во2, речь про операции в памяти. Мелкая таблица с атрибутами измеряется в килобайтах и будет в памяти всю дорогу. Накинуть на неё операцию AND - займёт, по идее, столько же, сколько и в редиске. Вопрос только в алгоритмах, но там же стандартная библиотека должна быть. Это заявление появилось после многих лет наблюдений за Ораклом. Потом я понаблюдал как работает PG. Поюзал его. Почитал про внутренне устройство таблиц. И сдалал для себя выводы. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 14:50 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
полудухты же говорил, что любитель послушать лекции по постгре, так там Бартунов регулярно говорит, что людей мало, людей не хватает, люди вы где, ау?, люди, дайте людей!, вэлком люди, у нас куча задач, нужны люди, люди, ЛЮДИ11! Да. Я слушал лекции Бартунова. Я сочувственно кивал. Но какое это имеет отношение ко мне чьорт вась возьми, сударь! ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 14:52 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
полудухя про JSONB ещё года 2 назад всё изучил и тесты с монгой видел JSONB не то. У тебя есть уже бенчмарк в котором твой магазин заходит атрибутами в JSONB? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 14:53 |
|
самый эффективный способ посчитать позиции в битмапе?
|
|||
---|---|---|---|
#18+
полудухвы там с Димой один косяк на двоих чтоли курите вот так фильтр выглядит: /?f=ap:5_3_5;bh:28_99_33;ck:7_9_22не знаю никакого димы и твоих примеров)))). LOL Это же не из моего урл? Говори толком. У меня урл вроде обычный where. Дай твой урл из сети. Будет конкретика. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2019, 14:58 |
|
|
start [/forum/topic.php?fid=57&msg=39852570&tid=2017579]: |
0ms |
get settings: |
8ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
37ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
62ms |
get tp. blocked users: |
2ms |
others: | 14ms |
total: | 150ms |
0 / 0 |