powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Cassandra, проектирование БД
2 сообщений из 2, страница 1 из 1
Cassandra, проектирование БД
    #37890195
vadim_ps
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Коллеги, вопрос к специалистам по Cassandra.

Дано: есть события (сотни миллионов), которые генерируются неким сторонним СПО. Есть набор типов событий, 2-3 миллионов, которые медленно пополняются.

Необходимо построить схему БД для хранения и поиска событий по типам за определённый период.

Как я правильно понял дао кассандры, то мы создаём column families, например, EVENTS для хранения самих событий. Дальше нам нужно создать, так называемый "index", что в кассандре, является, тем же CF. Создаём CF EV_TYPE_TIMELINE, где rowkey — это тип события, column_name — это время события, value — ссылка на таблицу events: CF EV_TYPE_TIMELINE {type_events, {datetime:<rowkey_events>}}.

Но проблема возникла, в том, что несколько событий с одним и тем же типом, но разным набором данным могут быть получены за один момент времени. Таким образом column_name в CF EV_TYPE_TIMELINE получается не уникальным и сохраняться будет только одно значение.

Какие архитектурные пути решения существуют в кассандре для решения задачи не уникального индекса?


То что приходит в голову:
1. В column_name CF EV_TYPE_TIMELINE записывать не только дату события, но и timestamp времени обработки события. Таким образом мы обеспечим уникальность имени столбца, но возрастает объём хранения информации. Также увеличивается время работы запросов на получения данных по range columns.
2. События приходят пачками, если упростить, то раз в 10 минут. События могут приходить за предыдущие время. На каждую пачку, мы создаём свой EV_TYPE_TIMELINE_1, таким образом в БД хранится большое количество column families, по которым мы осуществляем поиск. Насколько такой подход соответствует ДАО кассандры: ~миллион СF в одной БД.
3. Другие подходы?
...
Рейтинг: 0 / 0
Cassandra, проектирование БД
    #37891172
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vadim_ps ,

Можно полюбопытствовать: почему в данном проекте ушли от Sybase в сторону Cassandra?
...
Рейтинг: 0 / 0
2 сообщений из 2, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / Cassandra, проектирование БД
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]