powered by simpleCommunicator - 2.0.48     © 2025 Programmizd 02
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Совет по выбору базы данных и архитектуры
13 сообщений из 13, страница 1 из 1
Совет по выбору базы данных и архитектуры
    #39778164
Зура
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всем привет

Буду признателен если поможете с выбором базы данных и архитектуры для конкретного случая.

Вот детали:

- будут 2 таблицы (думаю о партишенах по таймстампу)
- 1я таблица: 6 столбцов, 3 из них нужно индексировать(таймстамп, текст, текст). 2я таблица: 9 столбцов, индексация и типи данных как в первой.
- ожидается 6 миллионов инсертов в секунду (суммарно для обойх таблиц).
- апдейтов не будет. селекты будут редкими (может быт 10-20 простых селектов в час)
- для быстродействия думаю нужно будет делать балк-инсерты (которые самые быстрие) в неиндексированних партишенах с последующей индексацией каждого партишена. время для индексации не должно быт слышком большим (более-менее поспевать за инсертами)
- будут хранятся данные последнего месяца.

Мой вопрос: Которая база данных и архитектура может с таким справится? я думаю нужен будет кластер и лоуд-балансинг. например пострес-кластер сможет? или что-то другое?
Я понимаю многое зависит от железа, но в первую очередь нужно выбрать базу и архитектуру.

Советы с железом тоже желательны.

Посоветуйте пожалуйста что подойдет.

Спасибо заранее

Зура
...
Рейтинг: 0 / 0
Совет по выбору базы данных и архитектуры
    #39778169
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
При отсутствии заметной нагрузки на чтение - плоские файлы (возможно текстовые) будут
наилучшим решением. Это зависит от сущности "простых селектов".
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Совет по выбору базы данных и архитектуры
    #39778194
PizzaPizza
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Зуратаймстамп, текст, текст
6 миллионов инсертов в секунду


текст, текст бы вы прикинули для начала и подсчитали объёмы. Есть разница 6 миллионов раз в секунду вставлять Войну и мир или пару строк текста.

Смотреть надо не на БД в первую очередь, а на железо.
...
Рейтинг: 0 / 0
Совет по выбору базы данных и архитектуры
    #39778195
Зура
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
PizzaPizza,

текст короткый, 100-150 символов максимум.

железо понятно, но БД тоже, не все такое могут.
...
Рейтинг: 0 / 0
Совет по выбору базы данных и архитектуры
    #39778217
Arm79
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Совет по выбору базы данных и архитектуры
    #39778238
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЗураБД тоже, не все такое могут.

600-900 мегабайт в секунду в первую очередь ляжет на сеть. Ибо гигабитной сетки на такое
не хватит. Винты бытового уровня не смогут больше 100 мегабайт в секунду, нужен суровый
сторадж. Системная шина напряжётся в последнюю очередь, но ей тоже придётся тяжко.

Парень, люди, способные сделать систему такого уровня, топиков на форумах не создают.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Совет по выбору базы данных и архитектуры
    #39778346
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
- ожидается 6 миллионов инсертов в секундуВам поручили учет транзакций Мастеркарда ?
Но нет. У Мастеркарда рейт несчастных неск. десятков тыщ./сек.

Что за курсач у Вас такой ? Мы все заинтригованы.
...
Рейтинг: 0 / 0
Совет по выбору базы данных и архитектуры
    #39779621
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
просто бигбосс решил поиграться в соцсети, ит-босс дал задачу "ну скачай что-ли для начала твиттер"
...
Рейтинг: 0 / 0
Совет по выбору базы данных и архитектуры
    #39779713
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Зура,

Например можно взять Kafka.
Горизонтально масштабируется, по умолчанию срок хранения неделя, но можно настроить.

Хотя в принципе даже plain text подойдет.
...
Рейтинг: 0 / 0
Совет по выбору базы данных и архитектуры
    #39782840
Зура
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
спасибо всем кто дельные советы дал.
умникам отдельное спасибо.
флет файли видимо лучший вариант.
...
Рейтинг: 0 / 0
Совет по выбору базы данных и архитектуры
    #39789895
Фотография PsyMisha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Зура,

Нужен FVMas, однозначно! (С)
...
Рейтинг: 0 / 0
Совет по выбору базы данных и архитектуры
    #39790550
Фотография DSKalugin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добрый день, товарищ майор!
автор- будут хранятся данные последнего месяца.
- 1я таблица: 6 столбцов, 3 из них нужно индексировать(таймстамп, текст, текст). = (когда, кто, кому)?
- ожидается 6 миллионов инсертов в секунду
- апдейтов не будет. селекты будут редкими

L_argoВам поручили учет транзакций Мастеркарда ?
Похоже на реализацию закона Яровой "Хранение интернет-трафика" ;-)))
https://ru.wikipedia.org/wiki/Закон_Яровой 12 апреля 2018 года правительство РФ подписало постановление о том, что с 1 октября 2018 года операторы связи обязаны хранить в течение 30 суток текстовые, голосовые, видео- и другие сообщения пользователей.

Версионность SQL серверов тут явно не нужна. Да и самому SQL-у я тут применения не вижу
...
Рейтинг: 0 / 0
Совет по выбору базы данных и архитектуры
    #39795803
kaldorey
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Зура,

Можно посмотреть в сторону связки kafka и clickhouse
...
Рейтинг: 0 / 0
13 сообщений из 13, страница 1 из 1
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Совет по выбору базы данных и архитектуры
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]