Можно конечно Vertica Community попробовать, даже однонодовая не распределенная инсталляция должна за счет архитектуры хранения данных быстро эту задачу решать по вставке и поиску данных, если правильно encoding и сортировку на таблицу наложить. Но там ограничение до 1 тб исходных данных, нужно считать, влезут Ваши данные в этот объем или нет. Ну и платформа Linux, хотя мне кажется это не такой уж критический момент, чтобы сервер обязательно на Windows был. Трех нодовая инсталляция так вообще летать будет, но IMHO и однонодовая должна уложиться в требуемые рамки при правильном проектировании. Если тысячи коннектов не будут, то и памяти не сильно много понадобится, здесь диски быстрые нужны только будут точно.

Это любая релляционная база мне кажется быстрее сделает, чем NoSQL :) В РСУБД достаточно сделать 2 таблицы мастер-детайл и индексы, в NoSQL придется по схеме все ключи сканить, чтобы найти подходящие по условиям.

товарищъа если ключей 50 штук (это 50 колонок) и записей в таблице 10B ? какой индекс должен быть?
В HP Vertica например, нет индексов. Там колонкоориентированное хранение. Вы сделаете таблицу с полями :
показатель, схема, ключ1, ключ2, ...
На таблицу сделаете сортировку по полям схема, показатель и на все поля нацепите EDCODING RLE. Далее когда будете искать по схеме+ключи, сразу по сортировке фильтром выцепяться все записи с нужной схемой, а по каждой колонке с учетом найденных записей пройдется скан с фильтрацией по ключу. Так как каждая колонка хранится отдельно, то не нужно будет для поиска читать все ключи на каждой записи, будут читаться в параллели только участвующие в запросе колонки. Если же база распределенная (на 3 и более серверов), то база данных будет хранится частями между серверами кластера и в момент запроса все сервера по своей части проведут поиск нужных данных, а потом найденное уже соберется на одном из серверов и результат уйдет клиентскому приложению. Таим образом как раз MPP и позволяют быстро пережевывать большие объемы данных, разбивая их на части между серверами. Других собственно говоря вариантов то особо и нету, никакой индекс Вам не поможет решить такую задачу на больших объемах. Те же NoSQL, как MongoDB или Cassandra примерно тоже самое и сделают, только данные по другому будут хранить и обрабатывать.

На РСУБД же это решается с помощью создания 2 таблиц. В одной поля синт ид, показатель и схема, в другой по ид поле ключ. То есть хранится один ко многим, ищется сложнее, чем на Верткике, но принцип похожий получается, хранить каждый ключ отдельно от остальных, чтобы не сканировать при поиске все поля ключей.

DirksDRтоварищънеобходимо быстро добавлять в хранилище значения не менее 10к наборов в сек
Такую скорость вставки при 50-и индексах и таком объеме (10В) - здесь нужно специализированное решение, имхо.
Берем 53 сервера.
1-й заливает данные на 51 сервер, разбивает порцию 10к на 51 таблицу, сортирует и раздает серверам:
- на 2-й сервер таблицу (id, показатель; схема; ключ1; ключ2; ...), или (id, показатель), т.е. без ключей;
- на 50 серверов таблицы вида (схема, ключ-i, id), т.е. каждый индекс на отдельный сервер;
а 53-й сервер будет выполнять поиск: раздавать соответствующим серверам критерии поиска, принимать результаты, брать пересечение id, и запрашиват значение показателя к этим id.


при таком количестве записей как-то не вдохновляет.
Вы меня пугаете, какие еще 50 серверов всего на 10 миллиардов записей :) 3 нодовая Вертика спокойно прожует еще больший объем и выдаст результат за минуты, а не часы/сутки/года. Хранение значений в Вертике управляется, поэтому при грамотном ENCODING на диске вместо миллиардов значений записей на колонку можно хранить малые объемы данных за счет сортировки, сжатия, хранения дельты от минимального, преобразования значений в словарь и хранения позиции в словаре и т.д. и т.п.

Ivan DurakDirksDRASCRUS,

Это очень хорошо.
Я немножко прикололся, с 50-ю серверами, чтобы разговор поддержать:)
Надо будет почитать про Вертику.
у вертики с добавлением в реал-тайме могут быть проблемы.
Веду не один проект, где в реалтайме заливаются десятки и даже сотни гигабайт за час. Не припомню что то проблем за 3 года. Поделитесь? )

P. S. В фейсбуке вроде слышал в Вертику льют пару тб в час, но уже архитектуру кластера усложнили там, поставив на него сервера, которые занимаются только загрузкой. Ну а вообще у автора всего то десяток лярдов. Вообще ни о чем. Вопрос только, влезет ли в бесплатный 1 терабайт.