|
Выбор пал на Cassandra
|
|||
---|---|---|---|
#18+
Коллеги, приветствую! Помогите советом, плз! Есть задача: нужно хранить таблицу данных которая со весеннем не будет влезать на одну машину. В таблице есть несколько полей по которым нужно осуществлять поиск, пэгинацию и сортировку соответственно. Но поиск и сортировка должны осуществляться на частях этой таблицы. Пример: таблица городов. Мы берем страну и города в ней нужно уметь сортировать по количеству жителей, по площади и например по типу. Так же нужно уметь фильтровать записи и пэгинацию для вывода на фронт. Как вы понимаете, фронт от всех городов в России умрет. Да, сложные фильтры не нужны, т.е. фильтр только по одной колонке. Если бы влезало на одну машину, то без вопросов взял бы rdbms. Можно так же шардировать по стране. Но мне кажется, что когда в rdbms появляется Шарлин, то это уже не ее задача. Есть мысль, что нужно nosql решение. В документных бд опыт небольшой и часто слышу про потери данных. По CAP теореме нужно скорее CP. Расстрел SSTable Cassandra (replication factor 3). Вроде ложиться ключ распределения - страна. Но для каждой сортировки в ней нужно делать отдельную таблицу. Т.е. в каждой разный кластерный ключ для сортировки и поиска. Подскажите, насколько оправдан выбор касандры? Может можно сделать проще? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.05.2017, 13:01 |
|
Выбор пал на Cassandra
|
|||
---|---|---|---|
#18+
ciwiladoanart, сколько запросов в секунду в пике (поиск/изменение), сколько данных в таблице, какая селективность по выборке? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.05.2017, 22:02 |
|
Выбор пал на Cassandra
|
|||
---|---|---|---|
#18+
ciwiladoanart, сделай правильную тестовую демку на рдбмс сначала. Как мы понимаем, они держат весьма приличные нагрузкию ... |
|||
:
Нравится:
Не нравится:
|
|||
01.05.2017, 22:10 |
|
Выбор пал на Cassandra
|
|||
---|---|---|---|
#18+
Siemargl, попробуйте кликхаус, если данные не меняются ваще должно взлететь ... |
|||
:
Нравится:
Не нравится:
|
|||
03.05.2017, 13:15 |
|
Выбор пал на Cassandra
|
|||
---|---|---|---|
#18+
ciwiladoanartКоллеги, приветствую! Помогите советом, плз! Есть задача: нужно хранить таблицу данных которая со весеннем не будет влезать на одну машину. В таблице есть несколько полей по которым нужно осуществлять поиск, пэгинацию и сортировку соответственно. Но поиск и сортировка должны осуществляться на частях этой таблицы. Пример: таблица городов. Мы берем страну и города в ней нужно уметь сортировать по количеству жителей, по площади и например по типу. Так же нужно уметь фильтровать записи и пэгинацию для вывода на фронт. Как вы понимаете, фронт от всех городов в России умрет . Да, сложные фильтры не нужны, т.е. фильтр только по одной колонке. Если бы влезало на одну машину, то без вопросов взял бы rdbms. Можно так же шардировать по стране. Но мне кажется, что когда в rdbms появляется Шарлин , то это уже не ее задача. Есть мысль, что нужно nosql решение. В документных бд опыт небольшой и часто слышу про потери данных. По CAP теореме нужно скорее CP. Расстрел SSTable Cassandra (replication factor 3). Вроде ложиться ключ распределения - страна. Но для каждой сортировки в ней нужно делать отдельную таблицу. Т.е. в каждой разный кластерный ключ для сортировки и поиска. Подскажите, насколько оправдан выбор касандры? Может можно сделать проще? Задача для RDBMS, можно сжатие использовать, встроенное или самописное и т.д., можно на куски порезать и т.д., а со всякими кассандрами получите головняк ... |
|||
:
Нравится:
Не нравится:
|
|||
05.05.2017, 11:34 |
|
Выбор пал на Cassandra
|
|||
---|---|---|---|
#18+
Ролг Хупин, А если 10млрд записей? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.05.2017, 17:56 |
|
Выбор пал на Cassandra
|
|||
---|---|---|---|
#18+
Siemargl, Да, я примерно так и сделал. Но будет 10 млрд записей с ростом... ... |
|||
:
Нравится:
Не нравится:
|
|||
08.05.2017, 17:57 |
|
Выбор пал на Cassandra
|
|||
---|---|---|---|
#18+
ciwiladoanartРолг Хупин, А если 10млрд записей? И в чем пробелма? вы думаете, что RDBMS не вытянет? Важно правильно дизайн сделать и задачу определить. Естественно, если миллиарды выбирать, сортировать и выдавать, то будут пробелмы с любой базой. Вам задали выше вопросы по подробностям, но оветов не видно. Рассуждая в общем я бы сказал так: если думать, что использование NoSQL вместо RDBMS решит все проблемы размерности и производительности, то это будет ошибкой. Приведите подробности вашей задачи. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.05.2017, 12:05 |
|
Выбор пал на Cassandra
|
|||
---|---|---|---|
#18+
ciwiladoanartДа, я примерно так и сделал. Но будет 10 млрд записей с ростом... Oracle, одна из шард. Задачи те же что и у Вас "поиск, пэгинацию и сортировку соответственно". Проблем с производительностью из-за размера нет. Если будут - подробим на меньшие шарды. Код: plaintext 1. 2. 3. 4. 5.
... |
|||
:
Нравится:
Не нравится:
|
|||
09.05.2017, 19:06 |
|
|
start [/forum/topic.php?fid=48&fpage=5&tid=1856693]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
33ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
53ms |
get tp. blocked users: |
1ms |
others: | 16ms |
total: | 146ms |
0 / 0 |