БД будет содержать данные по типу форума. Т.е. в день добавляется около N тем, к которым пишут около N*10 комментариев. При этом запросов на выборку этих данных много больше N*100.

Реализацию вижу так:

Вся работа с БД будет вестить через кэширующий интерфейс, который хранит в памяти все данные, или если оперативной памяти не хватает, только те с которыми последними велась работа (т.е. чтение и запись). Вся выдача данных клиенту производится из кэша, т.е. это ситуация когда данные уже были в кэше, либо когда их пришлось подгрузить в кэш из БД (во втором случае они там остаются до тех пор пока не будут вытолкнуты при условии нехватки памяти и долгого периода необращения к этим данным). Запись данных осуществляется также только через кэш, т.е. данные в кэше обновляются (и уже готовы к выдаче другим клиентам) а в БД скидываются постепенно по мере возможности.

Есть ли уже готовые решения, позволяющие реализовать это? Т.е. чтобы разработчик мог работать только с API системы кэширования, а как там взаимодействие с БД реализовано его не касается. Или хотя бы чтобы можно было бы достаточно быстро адаптировать под такую реализацию. Т.е. чтобы игра стоила свеч и это было бы явно выгоднее/быстрее, чем писать систему кэширования самому на C++.

Konstantin~у вас тут две системы потребуются:

А) кеш. Чтение: читаем даные из кеша, если нету в кеше, лезем за данными в БД.

См. мемкешд http://www.danga.com/memcached/ как наиболее распотраненное решение.

Б) очередь. Запись: пишем данные как задание в очередь. Сервис/Демон читает задания из очереди в том порядке в каком они поступили, пишет данные в БД.

тут много чего есть, завистит вашей среды разработки и проч. Начать можно отсюда http://en.wikipedia.org/wiki/Message_queue

"Писать через кеш" нельзя т.к. а) данные погут потерятся: кеш перегузили - данные из памяти изщезли, памать кончилась - кеш потер часть данных, на запись в том числе и б) часть операций записи должна производится в строго определенной последовательности, такое обеспечивает система очередей а не кеш.

И еще: какая нагрузка планируется на вашу систему "типа форума"? Спрашиваю потому что возится с queue servers имест смысл если у вас нагрузка порядка "миллионы уникальных юзеров в день". Посему советую решать проблемы по мере их поступления, то есть может на чтение и стоит кеш прикрутить, да и то надо смотреть по нагузке.

Нагрузка планируется около 10 тысяч уникальных посетителей в день, но нужно чтобы первое время система могла работать на VDS 800 mhz / 256 ram. Про очередь это все понятно, в том то и дело чтобы все это уже было совмещено с чем-то типа memcached. Детали реализация я знаю, меня интересуют готовые решения.

Di_LIne,

вот поэтому и нужен описанный выше кэш. с учетом того что структура хранимых данных достаточна проста, мне кажется это не совсем нереально. а канала 10 мбит думаю хватит.

если все это взгромоздить на какой-нибудь популярный CMS на php+MySQL оно и на порядок меньшую нагрузку не выдержит.

и насчет 10 тысяч, скорее реальная цифра 2-3 тысячи, потом можно будет перейти на нормальное железо.

Infernal V. RavenoldnetratНагрузка планируется около 10 тысяч уникальных посетителей в день, но нужно чтобы первое время система могла работать на VDS 800 mhz / 256 ram. Про очередь это все понятно, в том то и дело чтобы все это уже было совмещено с чем-то типа memcached. Детали реализация я знаю, меня интересуют готовые решения.
Затраты на сервер будут значительно меньше, чем на разработку кэша.
Тем более, как выяснилось запросов немного.

Вы на локальной машине дома хотите развернуть социальную сеть? :)]

Ну не социальную сеть, но из той же оперы. Хочу попробовать реализовать и запустить одну идею, дома к сожалению не выйдет, т.к. симметричный канал это домашние сети, а их кабели у нас режут на раз-два. Поэтому хочу купить VDS какой-нибудь за 1000 руб в месяц. Сильно больше платить на начальном этапе как-то жаба душит. А кэш такой на C++/STL написать не так и сложно, пару недель вечерами, с учетом то что он специально под мои структур данных будет заточен. Одно дело когда затраты в человеко-часах идут от зарплаты программиста, а другое дело из своего кармана ради проекта который 9 и 10 что ни копейки ни принесет. Тут может аренда сервера поначалу и не выгодна )

vadiminfo,

А этот сервер приложений в их Express Edition входит?

почитал про MemcacheDB. думаю как раз то что нужно.