SiDen : Я бы стартовал от берклей при необходимости. Данные хранятся в виде ключ-значение. Ключ - произвольный, значение - тоже. В значении можете хранить объект. Поддерживаются транзакции, автоматическое создание индексов. 4 вида доступа к базе. Ну и еще несколько полезностей...

Комментарий :
Все это реализовано в Java в виде классов TreeMap, ArrayList и т.п.

SeaRunner : Вопрос 2: Почему бы не использовать что-то готовенькое?
Ответ: УЖЕ использовали. УЖЕ работает. Теперь вопрос поставлен так: КАК сделать СВОЕ? Причин несколько – скорость существующей системы, кроссплатформенная переносимость, теоретическая возможности перенести требуемую функциональность с MSSQL на собственную платформу плюс формальное требование ИСПОЛЬЗОВАТЬ существующую систему.

Комментарий :
Почти все причины реализуемы в Java

Осталось использовать сериализацию объектов в простой free СУБД, поддерживающей индексы и реализовать "свою" СУБД с "нужной" функциональностью :)