|
Совет по выбору базы данных и архитектуры
|
|||
---|---|---|---|
#18+
Всем привет Буду признателен если поможете с выбором базы данных и архитектуры для конкретного случая. Вот детали: - будут 2 таблицы (думаю о партишенах по таймстампу) - 1я таблица: 6 столбцов, 3 из них нужно индексировать(таймстамп, текст, текст). 2я таблица: 9 столбцов, индексация и типи данных как в первой. - ожидается 6 миллионов инсертов в секунду (суммарно для обойх таблиц). - апдейтов не будет. селекты будут редкими (может быт 10-20 простых селектов в час) - для быстродействия думаю нужно будет делать балк-инсерты (которые самые быстрие) в неиндексированних партишенах с последующей индексацией каждого партишена. время для индексации не должно быт слышком большим (более-менее поспевать за инсертами) - будут хранятся данные последнего месяца. Мой вопрос: Которая база данных и архитектура может с таким справится? я думаю нужен будет кластер и лоуд-балансинг. например пострес-кластер сможет? или что-то другое? Я понимаю многое зависит от железа, но в первую очередь нужно выбрать базу и архитектуру. Советы с железом тоже желательны. Посоветуйте пожалуйста что подойдет. Спасибо заранее Зура ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2019, 22:56 |
|
Совет по выбору базы данных и архитектуры
|
|||
---|---|---|---|
#18+
При отсутствии заметной нагрузки на чтение - плоские файлы (возможно текстовые) будут наилучшим решением. Это зависит от сущности "простых селектов". Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2019, 23:11 |
|
Совет по выбору базы данных и архитектуры
|
|||
---|---|---|---|
#18+
Зуратаймстамп, текст, текст 6 миллионов инсертов в секунду текст, текст бы вы прикинули для начала и подсчитали объёмы. Есть разница 6 миллионов раз в секунду вставлять Войну и мир или пару строк текста. Смотреть надо не на БД в первую очередь, а на железо. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.02.2019, 08:21 |
|
Совет по выбору базы данных и архитектуры
|
|||
---|---|---|---|
#18+
PizzaPizza, текст короткый, 100-150 символов максимум. железо понятно, но БД тоже, не все такое могут. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.02.2019, 08:37 |
|
Совет по выбору базы данных и архитектуры
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
23.02.2019, 11:12 |
|
Совет по выбору базы данных и архитектуры
|
|||
---|---|---|---|
#18+
ЗураБД тоже, не все такое могут. 600-900 мегабайт в секунду в первую очередь ляжет на сеть. Ибо гигабитной сетки на такое не хватит. Винты бытового уровня не смогут больше 100 мегабайт в секунду, нужен суровый сторадж. Системная шина напряжётся в последнюю очередь, но ей тоже придётся тяжко. Парень, люди, способные сделать систему такого уровня, топиков на форумах не создают. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
23.02.2019, 13:15 |
|
Совет по выбору базы данных и архитектуры
|
|||
---|---|---|---|
#18+
- ожидается 6 миллионов инсертов в секундуВам поручили учет транзакций Мастеркарда ? Но нет. У Мастеркарда рейт несчастных неск. десятков тыщ./сек. Что за курсач у Вас такой ? Мы все заинтригованы. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.02.2019, 22:53 |
|
Совет по выбору базы данных и архитектуры
|
|||
---|---|---|---|
#18+
просто бигбосс решил поиграться в соцсети, ит-босс дал задачу "ну скачай что-ли для начала твиттер" ... |
|||
:
Нравится:
Не нравится:
|
|||
27.02.2019, 10:07 |
|
Совет по выбору базы данных и архитектуры
|
|||
---|---|---|---|
#18+
Зура, Например можно взять Kafka. Горизонтально масштабируется, по умолчанию срок хранения неделя, но можно настроить. Хотя в принципе даже plain text подойдет. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.02.2019, 12:21 |
|
Совет по выбору базы данных и архитектуры
|
|||
---|---|---|---|
#18+
спасибо всем кто дельные советы дал. умникам отдельное спасибо. флет файли видимо лучший вариант. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.03.2019, 11:43 |
|
Совет по выбору базы данных и архитектуры
|
|||
---|---|---|---|
#18+
Зура, Нужен FVMas, однозначно! (С) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.03.2019, 09:21 |
|
Совет по выбору базы данных и архитектуры
|
|||
---|---|---|---|
#18+
Добрый день, товарищ майор! автор- будут хранятся данные последнего месяца. - 1я таблица: 6 столбцов, 3 из них нужно индексировать(таймстамп, текст, текст). = (когда, кто, кому)? - ожидается 6 миллионов инсертов в секунду - апдейтов не будет. селекты будут редкими L_argoВам поручили учет транзакций Мастеркарда ? Похоже на реализацию закона Яровой "Хранение интернет-трафика" ;-))) https://ru.wikipedia.org/wiki/Закон_Яровой 12 апреля 2018 года правительство РФ подписало постановление о том, что с 1 октября 2018 года операторы связи обязаны хранить в течение 30 суток текстовые, голосовые, видео- и другие сообщения пользователей. Версионность SQL серверов тут явно не нужна. Да и самому SQL-у я тут применения не вижу ... |
|||
:
Нравится:
Не нравится:
|
|||
24.03.2019, 11:49 |
|
|
start [/forum/topic.php?fid=32&msg=39789895&tid=1539946]: |
0ms |
get settings: |
11ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
27ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
53ms |
get tp. blocked users: |
1ms |
others: | 242ms |
total: | 371ms |
0 / 0 |