Здравствуйте!
Никак не могу определиться с выбором базы данных для хранения списков.
Основное требование. Хранить списки UID, при запросе в 10-20 UID выдавать ответ, какие уже есть в списке, а каких нет.
Пока присматриваюсь к Redis, хранить информацию в Sets и запросом SISMEMBER ( http://redis.io/commands/sismember ) смотреть есть ли объект в списке или нет.
Но не устраивает производительность. А точнее, то что запрос SISMEMBER может проверять только один элемент, а 10-20 запросов не укладываются в требования по времени. При использовании пакетной отсылки запросов подошел к достаточно быстрому времени ответа, но хотелось бы иметь задел прочности. Причем такое решение даёт 100% точность ответа, что не требуется, если правильных ответов будет 85-90% это не критично. Может есть какой-то вероятностный алгоритм?
Данных не особо много. В пару гигибайт укладываются, но планируются постоянные запросы в несколько потоков на наличие объекта в списке.
ОС Linux

servit Foggy ,

В соседнем форуме была похожая тема: " Как реализовать сравнение множеств? "
Там же приведён конкретный пример с показателями скорости поиска: 19182172

Спасибо, нужно будет протестировать

buzzaт. к. "пара гигибайт" легко влезает в оперативку - однозначно хватит простого hashmap (std::unordered_map или что там есть в вашем языке)

Я думал над таким вариантом. База должна быть доступна по сети, поэтому для таких целей можно взять Erlang и за вечер самому написать. Но лишний раз использовать свои велосипеды не люблю, хотя да, свое решение это хорошо.