подскажите, существует ли какой-нибудь движок для быстрой работы со списками, которые нужно хотябы раз в час сохранять в постоянной памяти типа SSD/HDD?

просмотр исходников для MS методов Intersect и Except не впечатлили

может быть есть какая-нибудь либа на C++ с обвязками для DotNet, которая хотябы только с RAM робит?

стоит ли искать ускорение по сравнению с LINQ Intersect/Except + сериализация в:
http://bigdata-madesimple.com/a-deep-dive-into-nosql-a-complete-list-of-nosql-databases/
?

может, просто заюзать STL из VC++ для CLR?

интересно, будет ли прирост по скорости, если крупные множества заполняются очень редко (пересылка из DotNet в Native), а операции над множествами делаются часто и по нескольку до возврата небольшого результата обратно в DotNet

наверно, стоит попробовать:

http://redis.io/topics/data-types

A very interesting thing about Redis Sets is that they support a number of server side commands to compute sets starting from existing sets, so you can do unions, intersections, differences of sets in very short time.