Dimmf28,

На таких объемах в Оракле может работать приемлемо.
В big data работает вообще прекрасно. Более того можно перемножать как через SQL движок так и работая с данными через Spark.

С увеличением объемов хадуп будет предпочтительнее, потому что в Оракле джоин начнет уходить в темп, тогда как хадуп продложит работать с той же эффективностью.

Dimmf28,

Хотя если матрица 100000*100000 то для ее хранения понадобится столько же строк, а при перемножении Оракл почти гарантированно загнется.
Для таких объемов только хадуп, хотя более чем уверен что это твоя фантазия а не реальная задача.

В хадупе есть свои типы для хранения разреженных матриц и библиотеки работы с ними, SQL движок здесь далеко не лучшее решение.

Если в матрицах несколько сотен строк (и столбцов), то Оракл справляется великолепно, у меня несколько лет работает в продакшене.
Нет никакой необходимости куда-то выгружать и там перемножать.

-2-,

В терминах SQL движка это будет сгруппировать 1e5 ³ строк. :)


Но я во втором сообщении подкорретировал вывод.

Dimmf28dbms_photoshop,

да выход походу только один пытаться разобраться с Map и Reduce в HadoopСудя по твоим постам ты не разобрался даже в элементарных вещах в Оракле, соответвенно с Map и Reduce ты тем более не разберешься.

Но есть и хорошие новости - для того, чтоб перемножить матрицы тебе это не надо.
Начни с поиска по "spark matrix multiplication" и дальше просто используй нужное API.