Если исходных данных при общем хранении не перевалит более 1 тб, если их посчитать как будто они хранятся в формате CSV, то имеет смысл посмотреть бесплатную Vertica Community, которая ориентирована на добавление в реалтайм большого количества информации и поиску/агрегации по ней. Масс удаление и изменение поддерживаются, но с оговорками и считаются для аналитической БД признаком дурного тона. Если же данных может перевалить за 1 тб, то смотреть не надо, цены там начинаются для крупных компаний, в своем проекте явно не выгодно. Из достоинств: полный настоящий ANSI SQL + OLAP + ACID, бесплатную можно развернуть как на одиночный сервак, так и 3 сервера в кластере, молотить будет только в путь и на запись и на поиск и на любой вид агрегации, плюс отказоустойчивость (обеспечение 24x7 с горячей заменой выбывшего сервера).

Еще можно посмотреть Apache Cassandra. Отлично молотит и на запись и на поиск, ориентация собирать и изменять в реальном времени большие массивы данных, обеспечивая быстрый поиск по ним. Как и Vertica может разворачиваться в кластер, причем даже круче - можно несколько территориально удаленных датацентров сделать и сцепить их. Есть CQL синтаксисом смахивающий на примитивный SQL с поддержкой фильтров и сортировки, может сжимать данные, так же как у Вертики реализована отказоустойчивость с горячей заменой. Но бесплатная версия не поддерживает агрегацию, для этого есть платная DataStax Enterprise версия Кассандры, поддерживающая полнотекстовый поиск и агрегацию, сколько стоит пока не знаю. Однако агрегация и поиск у этой версии не собственные, а реализованы посредством интеграции Кассандры c Solr и Hadoop, насколько это удобно, безбажно и быстро мне не известно.

Еще можно посмотреть прочие MongoDB, HBase, CouchDB. Идеи по идее те же, аля BigTable, реализация разная. Ну и конечно сам Hadoop, но мне кажется для такой задачи это вообще перебор.

P.S. Перечислял по убыванию сложности исходя из собственных взглядов. Могу запросто и ошибаться, 100% отвечаю за Vertica потому что плотно именно с ней работаю на больших проектах.

Извиняюсь, зашпарился и не правильно написал. Перечислял как раз по мере нарастания сложности :) То есть Вертика самый легкий в освоении и стартапе продукт, Hadoop получается самый тяжелый.

Ну вот Кассандра на самом деле тоже key-value, только это сверху обернуто в аналог таблиц и SQL :) Почитайте на Хабре статьи компании LifeStreet Media, там Кассандра в очень высоконагруженном проекте используется для сбора больших объемов данных, очень подробно все описано. Но кстати они же и Вертику используют, но уже для аналитической работы.