Eugene Newможет вопрос наивный, но как вообще можно судить о верности работы самообучающегося робота, алгоритма работы которого вы в принципе не знаете и не понимаете? и которому скармливаете огромные сырые массивы данных, собранных "абы как". То есть неизвестный алгоритм, на входе которого неизвестно что. Откуда уверенность, что на выходе будет что то правильное?

во первых Ынтерпрайзы не любят то что нельзя потом расшифровать и в суде рассказать почему было принято такое решение. я не видел нейроных сетей в проде. есть мульон других алгоритмов, точно по тем же принципам обучающихся. от примитивной линейной регрессии и decision trees. там точно также модель обучается, но в к примеру в decision tree ты можешь взять и посмотреть всю ветку решений и понять почему такой ответ. далее аналитики ждут когда наберется статистика и рисуют некую area under curve (AUC), которая говорит на сколько хорошо перформит их модель.

Eugene NewПонятно, что если деньги платят и что то такое крутое крутится и даже какой то результат показывает, то можно и не думать об этом. И никто особо не придерется, так как никто вообще не понимает, что там происходит. Некий черный ящик. "Дельфиский оракул".

у нас эта дребедень принимает решения думаю на 50-100 млн зеленых, пока только саксес стори, хотя процент откровенной лажи огромен. но люди лажают настолько эпично, что на их фоне даже такое для бизнеса выглядит прорывом. ну и надо сказать если ты нормальные данные подсовываешь, ответ очень точен. в наших условиях добиться нормальных данных с олтп систем не так просто.

SergSuperH5N1при этом ignite уже скрестили со спарком и внедрить пытаются не волосатые хипстеры, а уже сбер. и снова цель заместить реляционный оракл.как работник сбера (точнее сбертеха) и имеющие к этому некоторое отношение могу сказать что сбер в данном случае неудачный пример
мягко говоря
я бы даже сказал пример в обратную сторону
нормальный. даже если конкретно игнайт не взлетит то взлетит что-то рядом, типа cloudera kudu. они чуть с другой стороны идут, но там уже работает обычный mvcc с redo, undo и хадуповской массивно-параллельностью. не столь важно кто там именно, важно что уже есть прототипы, которые концептуально уже работают. т.е. уже понятно откуда там скорость и acid одновременно возьмутся.

Eugene Newэто игра на бирже?

нет. фин услуги. те же банки скоринги покупают.

Eugene NewSergSuper,
пользуясь случаем хочу спросить, из-за чего у вас в Сбербанке массовые случаи расхождений по картам, когда люди их закрывают, а они остаются открытыми.
да известно чего. рсубд до масштабов сбера не отмасштабировать. запихнуть весь сбер в одну субд не выходит. практически каждый филиал там до сих пор отдельные субд. отсюда и все проблемы с "где открывали карту, туда и идите" (тм)

Ivan Durakах да.... чуть не забыл.
https://docs.microsoft.com/en-us/sql/advanced-analytics/r/sql-server-r-services?view=sql-server-2017
R внутри MS sql server.
ДАННЫЕ никуда перемещать не надо.. никаких экспортов в csv. Бери и анализируй по месту их нахождения.
я об этом упоминал
H5N1самое близкое к субд видел примерчики у майкрософт, они предлагают питон скрипты в субд запускать. но это тоже лишь иллюзия, реально там точно так же данные из движка субд копируются в питон.

в этих примерах они по odbc перекачивает данные в R
https://docs.microsoft.com/en-us/sql/advanced-analytics/tutorials/deepdive-create-sql-server-data-objects-using-rxsqlserverdata?view=sql-server-2017


Ivan DurakВсе идет к тому, что спарк станет РСУБД, да и ты тот же игнайт уже рсубд назвал. И хайв.
И будут они нормальными рсубд, с ansi sql, mvcc, транзакциями и redolog.
И вопрос с РСУБД решится сам собой, вхождение текущих недосубд бигдата рещений в большую семью рсубд.
Конечно конкретный оракл может и помрет. Но туда ему и дорога. А рсубд будут живы
сомневаюсь я что FK, жестко синхронизированные индексы, autoincrement поля можно будет подружить с массивно параллельностью. без FK и индексов на роль рсубд их не натянуть, имхо. а с ними я слабо представляю перформенс в параллель.