|  | 
| 
Совет по выбору базы данных и архитектуры | |||
|---|---|---|---|
| #18+ Всем привет Буду признателен если поможете с выбором базы данных и архитектуры для конкретного случая. Вот детали: - будут 2 таблицы (думаю о партишенах по таймстампу) - 1я таблица: 6 столбцов, 3 из них нужно индексировать(таймстамп, текст, текст). 2я таблица: 9 столбцов, индексация и типи данных как в первой. - ожидается 6 миллионов инсертов в секунду (суммарно для обойх таблиц). - апдейтов не будет. селекты будут редкими (может быт 10-20 простых селектов в час) - для быстродействия думаю нужно будет делать балк-инсерты (которые самые быстрие) в неиндексированних партишенах с последующей индексацией каждого партишена. время для индексации не должно быт слышком большим (более-менее поспевать за инсертами) - будут хранятся данные последнего месяца. Мой вопрос: Которая база данных и архитектура может с таким справится? я думаю нужен будет кластер и лоуд-балансинг. например пострес-кластер сможет? или что-то другое? Я понимаю многое зависит от железа, но в первую очередь нужно выбрать базу и архитектуру. Советы с железом тоже желательны. Посоветуйте пожалуйста что подойдет. Спасибо заранее Зура ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 22.02.2019, 22:56 |  | ||
| 
Совет по выбору базы данных и архитектуры | |||
|---|---|---|---|
| #18+ При отсутствии заметной нагрузки на чтение - плоские файлы (возможно текстовые) будут  наилучшим решением. Это зависит от сущности "простых селектов". Posted via ActualForum NNTP Server 1.5 ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 22.02.2019, 23:11 |  | ||
| 
Совет по выбору базы данных и архитектуры | |||
|---|---|---|---|
| #18+ Зуратаймстамп, текст, текст 6 миллионов инсертов в секунду текст, текст бы вы прикинули для начала и подсчитали объёмы. Есть разница 6 миллионов раз в секунду вставлять Войну и мир или пару строк текста. Смотреть надо не на БД в первую очередь, а на железо. ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 23.02.2019, 08:21 |  | ||
| 
Совет по выбору базы данных и архитектуры | |||
|---|---|---|---|
| #18+ PizzaPizza, текст короткый, 100-150 символов максимум. железо понятно, но БД тоже, не все такое могут. ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 23.02.2019, 08:37 |  | ||
| 
Совет по выбору базы данных и архитектуры | |||
|---|---|---|---|
| #18+ ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 23.02.2019, 11:12 |  | ||
| 
Совет по выбору базы данных и архитектуры | |||
|---|---|---|---|
| #18+ ЗураБД тоже, не все такое могут. 600-900 мегабайт в секунду в первую очередь ляжет на сеть. Ибо гигабитной сетки на такое не хватит. Винты бытового уровня не смогут больше 100 мегабайт в секунду, нужен суровый сторадж. Системная шина напряжётся в последнюю очередь, но ей тоже придётся тяжко. Парень, люди, способные сделать систему такого уровня, топиков на форумах не создают. Posted via ActualForum NNTP Server 1.5 ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 23.02.2019, 13:15 |  | ||
| 
Совет по выбору базы данных и архитектуры | |||
|---|---|---|---|
| #18+ - ожидается 6 миллионов инсертов в секундуВам поручили учет транзакций Мастеркарда ? Но нет. У Мастеркарда рейт несчастных неск. десятков тыщ./сек. Что за курсач у Вас такой ? Мы все заинтригованы. ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 23.02.2019, 22:53 |  | ||
| 
Совет по выбору базы данных и архитектуры | |||
|---|---|---|---|
| #18+ просто бигбосс решил поиграться в соцсети,  ит-босс дал задачу "ну скачай что-ли для начала твиттер" ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 27.02.2019, 10:07 |  | ||
| 
Совет по выбору базы данных и архитектуры | |||
|---|---|---|---|
| #18+ Зура, Например можно взять Kafka. Горизонтально масштабируется, по умолчанию срок хранения неделя, но можно настроить. Хотя в принципе даже plain text подойдет. ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 27.02.2019, 12:21 |  | ||
| 
Совет по выбору базы данных и архитектуры | |||
|---|---|---|---|
| #18+ спасибо всем кто дельные советы дал.  умникам отдельное спасибо. флет файли видимо лучший вариант. ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 06.03.2019, 11:43 |  | ||
| 
Совет по выбору базы данных и архитектуры | |||
|---|---|---|---|
| #18+ Зура, Нужен FVMas, однозначно! (С) ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 22.03.2019, 09:21 |  | ||
| 
Совет по выбору базы данных и архитектуры | |||
|---|---|---|---|
| #18+ Добрый день, товарищ майор! автор- будут хранятся данные последнего месяца. - 1я таблица: 6 столбцов, 3 из них нужно индексировать(таймстамп, текст, текст). = (когда, кто, кому)? - ожидается 6 миллионов инсертов в секунду - апдейтов не будет. селекты будут редкими L_argoВам поручили учет транзакций Мастеркарда ? Похоже на реализацию закона Яровой "Хранение интернет-трафика" ;-))) https://ru.wikipedia.org/wiki/Закон_Яровой 12 апреля 2018 года правительство РФ подписало постановление о том, что с 1 октября 2018 года операторы связи обязаны хранить в течение 30 суток текстовые, голосовые, видео- и другие сообщения пользователей. Версионность SQL серверов тут явно не нужна. Да и самому SQL-у я тут применения не вижу ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 24.03.2019, 11:49 |  | ||
|  | 

| start [/forum/topic.php?fid=32&fpage=5&tid=1539946]: | 0ms | 
| get settings: | 10ms | 
| get forum list: | 12ms | 
| check forum access: | 3ms | 
| check topic access: | 3ms | 
| track hit: | 29ms | 
| get topic data: | 11ms | 
| get forum data: | 3ms | 
| get page messages: | 49ms | 
| get tp. blocked users: | 1ms | 
| others: | 236ms | 
| total: | 357ms | 

| 0 / 0 | 
