Есть большой объем данных, которые хочется "покрутить" на предмет наличия тех или иных закономерностей. Поэтому разумеется нужны стандартные механизмы BigData, ради которых использую Python.

Но все осложняется тем, что есть и сложные зависимости, под которые нет нужных Python библиотек (например, статистика неточных совпадений в последовательности данных), поэтому кое- что придется реализовывать самостоятельно.

Но и тут не все так просто: данных очень много, поэтому если реализовывать недостающие алгоритмы на Python придется очень долго ждать выполения. Так в проекте появляется великий и могучий С++: хочется из Python вызывать код, написанный на С++, который умеет работать с массивами NumPy, которые в свою очередь отлично пережевываются встроенными механизмами BigData. Можно сказать, что я хочу, чтобы массивы NumPy были способом передачи данных между Python и C++ (как в одну сторону, так и обратно).

Например, в Python создается массив NumPy, который заполняется в С++ и передается обратно в Python. Там выполняется начальная обработка данных с помощью станадартных алгоритмов для BigData, после которой этот массив опять передается в С++ для более тонкого анализа данных. Сам способ передачи данных в обе стороны у меня реализован (с помощью Cython), непонятно только как в С++ работать с массивами NumPy.

1. Не видите ли вы каких- то ошибок в моей идее?
2. Если все ок, то как научить С++ работать с массивами NumPy?

C++ и Python знаю на достаточном для выполения работ уровне. Поэтому вопрос только в использовании массивов NumPy в С++ для реализации своих библиотечных алгоритмов.

Вы не представляете во сколько раз в Python больше математики. Целые книги по отдельным пакетам написаны.

Вы не правы: BigData- это СПОСОБ обработки информации (возможно даже небольшой по количеству), при котором аналитик не выдвигает каких- либо теорий относительно логической связи в данных, а использует алгоритмы, которые сами их находят. Именно так работают нейронные сети (сами находят взаимосвязи) и случайные леса. Тоже самое можно сказать и про кластеризацию (аналитик заранее не знает результат, а предлагает системе самостоятельно найти совокупности со сходными свойствами.

Да, сюда же подмешали много статистики, но тут ничего не поделаешь: всем нужен результат, а не абстрактная идея "какая BigData правильная".

Какая разница что когда возникло? Сегодня под BigData подразумевают настолько большие данные, что их в ручном режиме нельзя проанализировать, поэтому придуманы механизмы, которые сами устанавливают взаимосвязи в данных.

Кстати, даже статистика используется только для выясления новых "фич", которые потом наравне с остальными переменными используются алгоритмами BigData для выявления закономерностей.

По- моему в топике я все предельно понятно описал, а потому никак себя не ограничил. А вот ты наоборот из- за увиденного слова начинаешь вести себя неадекватно и тыкать в это слово палкой. Кто тут сам себя ограничил?

Точно, на входе набор без связей, а на выходе со связями (например, предсказывается значение одной из колонок по совокупности других). Если рассматривать пример с раковыми больными, то на выходе у нас будет зависимость колонки со значением болен / здоров от остальных данных в наборе (причем эта связь может быть неформализуема).

Модератор: Отредактировано
К тому же С++ обновляется, а С# сдувается: Рейтинг языков программирования от TIOBE