ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Каталог товаров с фильтрами по характеристикам товара (выбор БД)
23 сообщений из 23, страница 1 из 1
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39040155
jfinister
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jfinister
Гость
Стоит вопрос про выбор базы данных для большого каталога товаров: 50 млн. товаров; 30 000 категорий. В каждой категории 3-15 фильтров по характеристикам товара.

Особенность каталога:
- многоязычность
- каждый товар привязан к определенной GEO зоне (выделенной на карте) и показывается только если клиент находиться в этой зоне
- динамическое ценообразование от различных каналов и факторов

Нужно быстродействие, удобство и отказоустойчивость.

Что посоветуете, какую базу данных выбрать? Вероятно какую-то связку баз данных? Как бы Вы для себя сделали такой проект?
...
Рейтинг: 0 / 0
01.09.2015, 08:45
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39040169
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
jfinister,

А какие требования к производительности, нужен ли faceting, нужен ли полнотекстовый поиск?
...
Рейтинг: 0 / 0
01.09.2015, 09:02
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39040175
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
miksoft
Участник
jfinisterкакую базу данных выбрать?Любую, которую хорошо знаете.


jfinisterКак бы Вы для себя сделали такой проект?Оракл и, возможно, Сфинкс. Последнее зависит от деталей задачи, которые пока не ясны.
...
Рейтинг: 0 / 0
01.09.2015, 09:08
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39040374
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
jfinisterКак бы Вы для себя сделали такой проект?
МашИнформТЭК использовал последовательно по мере развития Paradox, Interbase, Firebird.
Умер не потому, что СУБД не справилась, а потому, что поддерживать каталог в актуальном
состоянии стало выше возможностей предприятия.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
01.09.2015, 11:49
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39040917
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
jfinister,

Когда мне было нужно искать по 10млн. товаров по нескольким тысячам атрибутов за 10ms, пришлость делать свою inmemory DB, иначе в требования по времени не укладывался.
...
Рейтинг: 0 / 0
01.09.2015, 19:06
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39043320
Фотография ScareCrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ScareCrow
Участник
DPH3jfinister,

Когда мне было нужно искать по 10млн. товаров по нескольким тысячам атрибутов за 10ms, пришлость делать свою inmemory DB, иначе в требования по времени не укладывался.
спасибо, повеселили.
...
Рейтинг: 0 / 0
04.09.2015, 12:48
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39043851
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
ScareCrow,

Вы можете предложить более эффективное решение, которое в сумме обошлось бы дешевле? Даже интересно, я с удовольствием послушаю.
...
Рейтинг: 0 / 0
05.09.2015, 04:03
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39043919
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
DPH3Вы можете предложить более эффективное решение, которое в сумме обошлось бы
дешевле?
Снять бессмысленное ограничение в 10мс не предлагать?..

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
05.09.2015, 12:18
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39043981
Фотография Ганнибал бен Гисгон Магонид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ганнибал бен Гисгон Магонид
Участник
jfinister,

Любая подойдёт. Ибо здесь достаточно кластера на чтение с балансировщиком нагрузки.
...
Рейтинг: 0 / 0
05.09.2015, 15:47
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39043982
Фотография Ганнибал бен Гисгон Магонид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ганнибал бен Гисгон Магонид
Участник
А так-то.... MySQL!
...
Рейтинг: 0 / 0
05.09.2015, 15:48
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39044139
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
Dimitry SibiryakovСнять бессмысленное ограничение в 10мс не предлагать?..

А отклик сервера в пределах 100-200ms иначе не получить при заданной нагрузке. С учетом всех требований на фасетинг, анализ доступных фильтров и т.п.
...
Рейтинг: 0 / 0
06.09.2015, 00:59
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39044192
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
DPH3А отклик сервера в пределах 100-200ms иначе не получить при заданной нагрузке.

Поднять ограничение на отклик сервера с пределов человеческой реакции до пределов
человеческого терпения не предлагать?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
06.09.2015, 10:53
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39044259
bochkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bochkov
Участник
какой нить носкл прикрутить, с поддержкой геообработки,
там и фильтры такие же как данные-json
...
Рейтинг: 0 / 0
06.09.2015, 13:50
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39045461
Фотография Малх
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Малх
Участник
DPH3jfinister,

Когда мне было нужно искать по 10млн. товаров по нескольким тысячам атрибутов за 10ms, пришлость делать свою inmemory DB, иначе в требования по времени не укладывался.

Проверил -- MySQL на 11 млн. товаров и 1000 атрибутов в требования укладывается.
...
Рейтинг: 0 / 0
08.09.2015, 09:07
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39045551
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
Малх,

А кто сказал, что число атрибутов постоянно, что они все int, что запросы только на точное совпадение, а не на диапазон или подстроку, что у атрибутов всего по 1000 разных значений (а не от 1e6 до 10)?
Вообще, в указанной схеме выборка по пяти атрибутам будет выдавать в среднем 0 значений. Интересны выборки, которые отдают 1e5 значений - но за 10ms )
0 значений надо и отдавать за 1ms, не больше )
...
Рейтинг: 0 / 0
08.09.2015, 10:34
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39045553
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
Dimitry SibiryakovDPH3А отклик сервера в пределах 100-200ms иначе не получить при заданной нагрузке.

Поднять ограничение на отклик сервера с пределов человеческой реакции до пределов
человеческого терпения не предлагать?..


А зачем? Своя inmemorydb пишется быстрее, чем соптимизировать решение для какой-нибудь реляционки. Concept proof за пару дней, все решение с тестированием - за пару недель. Это дешевле, чем покупать платную БД или даже заказывать услуги хорошего DBA )
...
Рейтинг: 0 / 0
08.09.2015, 10:38
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39045564
Фотография Малх
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Малх
Участник
DPH3Малх,

А кто сказал, что число атрибутов постоянно, что они все int, что запросы только на точное совпадение, а не на диапазон или подстроку, что у атрибутов всего по 1000 разных значений (а не от 1e6 до 10)?
Вообще, в указанной схеме выборка по пяти атрибутам будет выдавать в среднем 0 значений. Интересны выборки, которые отдают 1e5 значений - но за 10ms )
0 значений надо и отдавать за 1ms, не больше )

Если не int, то это схема звезда. Добавляются словари значений и всё. Распределение просто для теста равномерное взял, дабы проверить сложность задачи.
...
Рейтинг: 0 / 0
08.09.2015, 10:52
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39045581
Andrey Sribnyak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andrey Sribnyak
Участник
Redis плюс поиск по bitmap по идее то, что нужно:

http://habrahabr.ru/post/261137/

Ограничения, конечно же есть.
Плюс все должно помещаться в память :)
...
Рейтинг: 0 / 0
08.09.2015, 11:05
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39045587
Andrey Sribnyak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andrey Sribnyak
Участник
Кстати, Shpinx так же не плохая идея:

http://habrahabr.ru/company/mamba/blog/144084/
...
Рейтинг: 0 / 0
08.09.2015, 11:14
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39046358
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DPH3
Участник
Andrey SribnyakRedis плюс поиск по bitmap по идее то, что нужно:

http://habrahabr.ru/post/261137/

Ограничения, конечно же есть.
Плюс все должно помещаться в память :)

Ну, мое решение было похоже по структуре. Только я все-таки сделал быстрый поиск по диапазонам и нормальное массовое обновление. Ну и производительность получил на порядок больше )
...
Рейтинг: 0 / 0
09.09.2015, 02:02
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39048436
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
jfinisterНужно быстродействие, удобство и отказоустойчивость.


Ага, типа "выбери два из трёх"...

jfinisterЧто посоветуете, какую базу данных выбрать?


Выбирай лучше хорошую базу данных.
Подумай, нужен ли тебе будет полнотекстовый поиск и в каком режиме можно будет обновлять его индексы.
Если вдруг будет нужен, это может сильно повлиять на выбор.
...
Рейтинг: 0 / 0
10.09.2015, 18:42
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39061718
ShkrylAndrei
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShkrylAndrei
Гость
Какие затраты на системного администратора? Какие затраты на лицензионное ПО? Какие затраты на разработку?
Какие затраты на сопровождение?

автор
Стоит вопрос про выбор базы данных для большого каталога товаров: 50 млн. товаров; 30 000 категорий. В каждой категории 3-15 фильтров по характеристикам товара.


Техническое задание: разрабатывается база данных для магазина? посредника? диллера? торгового агента? занимающей продажей товаров какого назначения? Что будет делаться с хранимой информацией? Она будет сортироваться и фильтроваться? или что-то еще?

автор каждый товар привязан к определенной GEO зоне (выделенной на карте) и показывается только если клиент находиться в этой зоне

Это не является объективным фактором для выбора базы данных- это имеет отношение к "представлению данных", тогда надо знать, каким образом вы будет отображать данные ползователю?


авторНужно быстродействие, удобство и отказоустойчивость

ВАм нужн не быстродействие, а озвученная цифры на специалиста, тогда у вас появятся, если проводить аналогию либо сборная италии или португалии, или сборная деревни УЗЮКОВО)))
...
Рейтинг: 0 / 0
25.09.2015, 22:28
| Ответить | Цитировать | Написать  
Каталог товаров с фильтрами по характеристикам товара (выбор БД)
    #39061720
ShkrylAndrei
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShkrylAndrei
Гость
авторЧто посоветуете, какую базу данных выбрать? Вероятно какую-то связку баз данных? Как бы Вы для себя сделали такой проект?

Я вам рекомендю MYSQL, +граммотное техническое задание, тогда вы сэкономите время, и можно будет от описательной части и части рассуждений переходить к конкретики. А так это задача из области фантастики. А что вы будете если ассортимент товаров расшириться от 50 млн до 100 млн? Или измениться номенклатура товара?
...
Рейтинг: 0 / 0
25.09.2015, 22:31
| Ответить | Цитировать | Написать  
23 сообщений из 23, страница 1 из 1
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / Каталог товаров с фильтрами по характеристикам товара (выбор БД)
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=35&msg=39045581&tid=1552310]:
 0ms
get settings:
 9ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 137ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 58ms
get tp. blocked users:
 2ms
others: 238ms
total:  482ms
созд. / загр.: 482ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]