Здравствуйте!
Есть задача хранить и обрабатывать несколько больших таблиц, 50-100 млн. строк. Точнее даже не хранить, а полноценно с ними работать: поиск, вставка, изменение, версионность и чтобы это было быстро) Я сначала думал записывать в обычную базу данных, а потом создавать и обновлять OLAP хранилище для быстрого доступа, но этот вариант не подошел из-за невозможности риал-тайм изменений. Я не знаю, как организовать такую базу: будет ли мне хватать возможностей РСУБД, как ее организовать и оптимизировать и сколько на это потребуется ресурсов? Или в данном случае лучше использовать какие-либо NoSQL решения, распределенные базы данных, MapReduce...? Значение этих слов для меня пока немного туманно.
Буду благодарен, если кто-то внесет немного ясности в данную проблему.