Монеток ну допустим штук 500. Каждая из них торгуется скажем на 10 биржах (это по максимуму).
Каждые 2 сек сборщик делает запрос к бирже, которая возвращает сделки, совершенные за этот период. У каждой сделки есть метка - продажа это была или покупка, количество и цена.
Кроме сделок есть еще стаканы (2 списка ордеров на продажу и покупку). В каждом стакане допустим 1000 позиций (некоторые биржи отдают 10 000 позиций, некоторые по 100). Чтобы не хранить нереальное количество инфы каждые 2 сек, стаканы наверное стоит хранить, как изменения в них, а не целиком. Это гораздо меньше.

Зачем все это нужно? Данные будут использоваться для аналитических программулек, тестирования ботов и машинного обучения.
Чем старее инфа, тем реже к ней запросы.

Кроме первичной информации, каждая монета может иметь много вторичной. Различные показатели, данные для графиков, средние по объемам и т.д.. (сам еще не знаю, что тут будет). Но очевидно, что переработанная инфа не так четко привязана к времени как первичная. Т.е. она может быть типа - какой нибудь средний показатель за день, или неделю. Данные графиков, например бывают за 15 мин, 30, час, 4 часа, день.

Как бы все это хозяйство по лучше организовать?

Basil A. Sidorov,

Kiitos !