Доброе время суток, имеется большой поток данных около 1000-2000 строк в 500мс вида id_tag(integer)|value(real)|DateTime(timestamp) реализовываю это на СУБД Postgresql, данные это производственные величины с различных датчиков, частота выборки из БД этих данных не велика, некоторые, даже может большинство, могут вообще не выбираться (все зависит от случая). В прошлой моей теме, предложили заменить СУБД на хранение в файловой системе разделенную по смысловым директориям. Согласен, будет прирост производительности и экономия дискового пространства. Но практики на построение этой системе, ноль.
Хотелось поинтересоваться у знатоков которые строили подобные системы. Какие имеются подводные камни? Имеется ли велосипед?
В каком типе файла лучше хранить?
Погуглив, нарыл формат сериализации данных Protocol Buffers (быстрый, компактный и десериализуется сразу в классы), что скажите по этому поводу?

vmagldarПогуглив, нарыл формат сериализации данных Protocol Buffers (быстрый, компактный и десериализуется сразу в классы), что скажите по этому поводу?

Напрягает вот эта фраза (из вашей ссылки) :
Protocol Buffers не предназначен для чтения пользователем. Для десериализации данных необходим отдельный .proto-файл, в котором определяется формат сообщения.
Смотря что это всё значит... если хранить удобно, а просмотр геморройный, то зачем тогда хранить...
Да тоже заинтересовался этим и погуглил тест


Результаты впечатляют.
Попробовал у себе десериализовать, без проблем.

Кот МатроскинldarСогласен, будет прирост производительности
Прирост производительности на каких операциях?
insert, select, delete

Если создавать файлы по времени, к примеру по часам, то при SELECT загрузить тот файл, и по нему с условием WHERE искать.
Удалять данные мне нужно будет только по истечении определенного времени т.е. прошел 1 год и 1 час просто удалить файл за час.

Кот Матроскин,
Сейчас этим знамиаюсь. Спасибо.

ЕвгенийВldar,
А данные могут перекрывать весь диапазон своих типов или нет? То есть id_tag может быть любым в диапазоне от int.MinValue до int.MaxValue или только например 1,2,3,4,5?
id_tag нет, грубо говоря он будет от 1 до 1000-2000
value может быть любым.

ЕвгенийВldar,
А может вообще не заморачиваться с Protocol Buffers? А использовать старый добрый BinaryWriter , данные то имеют постоянную длину.
Так же из данных можно исключить tag_id, создав 2000 папок и в каждую писать данные с соответствующим tag_id.
Может и другие столбцы удастся ужать.
Кстати да, хорошая идея. Так же можно и время ужать, если внутри папки с id_tag обзывать папку часами, то поле со временем использовать уже 4 байтовое заместо 8 байт