Коллеги,
Хочется запилить веб-сервис который позволял бы пользователям загружать туда любое кол-во EXCEL файлов и любого размера.
Дальше пользователь объединяет свои таблицы как ему захочется и строит какие хочет отчеты, графики, OLAP-кубы и прочее.
Т.е. своего рода BI система в облаке.

Видится в качестве решения этой проблемы использовать Cassandra, со следующими сущностями:
USER, TABLE, COLUMN_NAME, COLUMN_TYPE, ROW.
Вангуется такая средная температура по больнице:
10 000 USER
100 TABLE per USER
10 COLUMN_NAME per TABLE
1 COLUMN_TYPE per COLUMN_NAME
5 000 ROW per TABLE.
т.е. вангуется таблица размером

10 000 * 100 * 10 * 5 000 = 50 000 000 000 строк в таблице.

Собственно есть три вопроса:
1) Какой выбрать распределительный и кластерный ключ у такой "таблицы"? (мну думается USER + TABLE соответственно)
2) Есть ли по вашему мнение необходимость разбивать эту модель данных на допустим:
a) USER, TABLE, COLUMN_NAME, COLUMN_TYPE
b) USER, TABLE, COLUMN_NAME, ROW
3) Как с перфомансом у касандры на таких объемах? Использовать вначале будет одна железяка на 16 GB RAM, 4 CPU

Конструктивная критика приветствуется.

gandjustasПростите, долго смеялся.

Рад, что удалось вам продлить жизнь :)

gandjustasКак в вашей системе сделать простой отчет, который строит сводную таблицу продаж (суммы) с группировкой по товарам в строках и периодами в столбцах (иерархически)?
Просто покажите запрос, который будет данные выбирать для этого?

А он SELECT'ом будет строится :)
Шаг первый: Произойдет выборка всех таблиц пользователя.
Шаг второй: Траспонируются данные и создадутся ORM сущности в JVM (виртуальная база данных в памяти). Специально для DBA упрощу, создадутся временные таблицы, данные траспонируются и запишутся в эти временные таблицы. Естественно вся эта магия от пользователя будет скрыта, он будет видеть только свои таблицы в привычном для него реляционном виде.
Шаг три: Для DBA поясняю что случится SELECT как из обычных реляционных сущностей.

gandjustasДля экселя это элементарная задача, даже без powerpivot.

На excel'е не заработать, если ты конечно не Билл Гейтс :)
Bussiness Case есть, не сумневайтесь.

TepKuHА он SELECT'ом будет строится :)

А он НЕ SELECT'ом будет строится :)

gandjustas,

Кстати спасибо за критику, как только я написал вам как делать выборку, моя идея в голове обрела физическую реализацию пусть и пока не в коде :) но хотя бы на форуме

Дедушкав чём фишка вашего сервиса, почему пользователь должен вам платить деньги?
а то вы: "ORM... JVM" чем ваш лисапед лисапедее кучи аналогов?
Походу я попал на вечеринку бизнес-аналитиков. И стартаперов :)

Я же в соседней ветки сказал, что делаю конкурента и предоставил список их. Только они работают на рынке среднего-крупного бизнеса, а у меня же массовый продукт.
Если вы с моими будущим конкурентами работали, то возможно знаете их минусы. Самый лежащий на поверхности минус я только что сказал "Если вы с ними работали..." это означает наличие в штате или привлечение консультанта. А если к тому же вы занимались внедрениями BI\ETL так же думаю понимаете проблематику бизнеса. Через какие им терни приходится проходить.
А теперь представте сервис без бизнес аналитика, без консультанта, без своры ИТ'ишников. Выгружаете туда данные и сразу майджик. Эт только одна из базовых-фичей, привлечь массового пользователя не просто, ибо он далек от ваших OLAP'ов, ETL'ей и прочей чертовщины.