powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Выбор пал на Cassandra
9 сообщений из 9, страница 1 из 1
Выбор пал на Cassandra
    #39446875
ciwiladoanart
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Коллеги, приветствую!

Помогите советом, плз!

Есть задача: нужно хранить таблицу данных которая со весеннем не будет влезать на одну машину. В таблице есть несколько полей по которым нужно осуществлять поиск, пэгинацию и сортировку соответственно. Но поиск и сортировка должны осуществляться на частях этой таблицы. Пример: таблица городов. Мы берем страну и города в ней нужно уметь сортировать по количеству жителей, по площади и например по типу. Так же нужно уметь фильтровать записи и пэгинацию для вывода на фронт. Как вы понимаете, фронт от всех городов в России умрет. Да, сложные фильтры не нужны, т.е. фильтр только по одной колонке.

Если бы влезало на одну машину, то без вопросов взял бы rdbms. Можно так же шардировать по стране. Но мне кажется, что когда в rdbms появляется Шарлин, то это уже не ее задача. Есть мысль, что нужно nosql решение. В документных бд опыт небольшой и часто слышу про потери данных. По CAP теореме нужно скорее CP. Расстрел SSTable Cassandra (replication factor 3). Вроде ложиться ключ распределения - страна. Но для каждой сортировки в ней нужно делать отдельную таблицу. Т.е. в каждой разный кластерный ключ для сортировки и поиска.

Подскажите, насколько оправдан выбор касандры? Может можно сделать проще?
...
Рейтинг: 0 / 0
Выбор пал на Cassandra
    #39446970
DPH3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ciwiladoanart,
сколько запросов в секунду в пике (поиск/изменение), сколько данных в таблице, какая селективность по выборке?
...
Рейтинг: 0 / 0
Выбор пал на Cassandra
    #39446971
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ciwiladoanart,

сделай правильную тестовую демку на рдбмс сначала.

Как мы понимаем, они держат весьма приличные нагрузкию
...
Рейтинг: 0 / 0
Выбор пал на Cassandra
    #39447817
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Siemargl,

попробуйте кликхаус, если данные не меняются ваще должно взлететь
...
Рейтинг: 0 / 0
Выбор пал на Cassandra
    #39449265
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ciwiladoanartКоллеги, приветствую!

Помогите советом, плз!

Есть задача: нужно хранить таблицу данных которая со весеннем не будет влезать на одну машину. В таблице есть несколько полей по которым нужно осуществлять поиск, пэгинацию и сортировку соответственно. Но поиск и сортировка должны осуществляться на частях этой таблицы. Пример: таблица городов. Мы берем страну и города в ней нужно уметь сортировать по количеству жителей, по площади и например по типу. Так же нужно уметь фильтровать записи и пэгинацию для вывода на фронт. Как вы понимаете, фронт от всех городов в России умрет . Да, сложные фильтры не нужны, т.е. фильтр только по одной колонке.

Если бы влезало на одну машину, то без вопросов взял бы rdbms. Можно так же шардировать по стране. Но мне кажется, что когда в rdbms появляется Шарлин , то это уже не ее задача. Есть мысль, что нужно nosql решение. В документных бд опыт небольшой и часто слышу про потери данных. По CAP теореме нужно скорее CP. Расстрел SSTable Cassandra (replication factor 3). Вроде ложиться ключ распределения - страна. Но для каждой сортировки в ней нужно делать отдельную таблицу. Т.е. в каждой разный кластерный ключ для сортировки и поиска.

Подскажите, насколько оправдан выбор касандры? Может можно сделать проще?

Задача для RDBMS, можно сжатие использовать, встроенное или самописное и т.д., можно на куски порезать и т.д., а со всякими кассандрами получите головняк
...
Рейтинг: 0 / 0
Выбор пал на Cassandra
    #39450138
ciwiladoanart
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ролг Хупин,

А если 10млрд записей?
...
Рейтинг: 0 / 0
Выбор пал на Cassandra
    #39450139
ciwiladoanart
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Siemargl,

Да, я примерно так и сделал. Но будет 10 млрд записей с ростом...
...
Рейтинг: 0 / 0
Выбор пал на Cassandra
    #39450257
Ролг Хупин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ciwiladoanartРолг Хупин,

А если 10млрд записей?

И в чем пробелма? вы думаете, что RDBMS не вытянет?
Важно правильно дизайн сделать и задачу определить.

Естественно, если миллиарды выбирать, сортировать и выдавать, то будут пробелмы с любой базой.

Вам задали выше вопросы по подробностям, но оветов не видно.
Рассуждая в общем я бы сказал так: если думать, что использование NoSQL вместо RDBMS решит все проблемы размерности и производительности, то это будет ошибкой.

Приведите подробности вашей задачи.
...
Рейтинг: 0 / 0
Выбор пал на Cassandra
    #39450411
master_yoda
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ciwiladoanartДа, я примерно так и сделал. Но будет 10 млрд записей с ростом...
Oracle, одна из шард. Задачи те же что и у Вас "поиск, пэгинацию и сортировку соответственно".
Проблем с производительностью из-за размера нет. Если будут - подробим на меньшие шарды.


Код: plaintext
1.
2.
3.
4.
5.
SQL>select num_rows from dba_tables where num_rows>20E9;

            NUM_ROWS
--------------------
      28,842,481,920
...
Рейтинг: 0 / 0
9 сообщений из 9, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Выбор пал на Cassandra
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]