|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
Мое определение BigData (копипаста из старого). - данные неструктурированы (грубо говоря нету desc table который даст метаинформацию о том что внутри) - данные стали историческими (или изменяются настолько редко что этим можно прененбречь) - есть возможность применить для анализа шаблон "отображение-свёртка" и есть горизонтальное мастабирование - использование классических реляционных DBMS для анализа этих данных невыгодно по разным причинам ... |
|||
:
Нравится:
Не нравится:
|
|||
08.01.2020, 16:43 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
maytonМое определение BigData (копипаста из старого). Звучит как NoSQL с приляпанной map-reduce. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
08.01.2020, 16:47 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
Ладно, попробуем по делу поговорить. ZirnayaKuro4ka Например, в Python создается массив NumPy, который заполняется в С++ и передается обратно в Python. Там выполняется начальная обработка данных с помощью станадартных алгоритмов для BigData, после которой этот массив опять передается в С++ для более тонкого анализа данных. Что такое в твоем понимании "стандартные алгоритмы для BigData" и что такое "тонкий анализ данных"? Приведи примеры хотя бы. Пока не будет конкретики, тема из сплошных перепирательств не выберется, потому что совершенно не понятно, что именно ты хочешь сделать и зачем. ZirnayaKuro4ka Но и тут не все так просто: данных очень много, поэтому если реализовывать недостающие алгоритмы на Python придется очень долго ждать выполения Ты в этом уверен? Ну то есть ты уже проверил свои алгоритмы на питоне и убедился, что они действительно выполняются долго, а на C++ - быстро? Вполне может оказаться, что переписывать на C++ ничего не придется, ибо прирост в скорости не оправдает усилий, затраченных на переписывание. ZirnayaKuro4ka Не видите ли вы каких- то ошибок в моей идее? Ошибки сможем увидеть, когда поймем задачу, которую ты решаешь. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.01.2020, 16:47 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov maytonМое определение BigData (копипаста из старого). Звучит как NoSQL с приляпанной map-reduce. Да. Согласен. Но у NoSQL еще более расплывчатое определение. Под нее подходит даже файловая система. Поэтому это просто попадание пальцем в небо. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.01.2020, 16:54 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
maytonНо у NoSQL еще более расплывчатое определение. Под нее подходит даже файловая система. Поэтому это просто попадание пальцем в небо. Ну, если пользоваться классическим "хрень для хранения и обработки слабо структурированных данных", то таки да, файловая система тоже сойдёт. Правда, у неё "обработки" нет. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
08.01.2020, 16:59 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
А какая обработка у NoSQL? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.01.2020, 17:01 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
mayton NoSQL Не sql в данном контексте просто отрицание структуированных данных по реляционной теории. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.01.2020, 17:13 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
mayton А какая обработка у NoSQL? Ну обычно, если кто-то начинает пиарить свою суперинновационную NoSQL систему, то он напирает не только на способ хранения данных, но и на возможности работать с этими данными - предоставляет свой язык запросов, который позволяет определенный вид действий делать быстрее и лучше. Например, вытаскивать связанные данные из графов. Но и без способа хранения тоже не обходится, конечно - какая-нибудь крутая кластеризация, например. Но в целом ноэскуэль, как и бигдата - больше маркетинговый баззворд на хайпе, а не технический термин. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.01.2020, 17:13 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
ZirnayaKuro4ka, А зачем Вам вообще тут c++ в связке с python? В принципе по уровню производительности c# уже сравнялся с плюсами, поэтому явного выигрыша тут особо не видно, на первый взгляд. И на c# гораздо удобнее и быстрее разрабатывать многие вещи. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.01.2020, 17:54 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
mayton, Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it ... |
|||
:
Нравится:
Не нравится:
|
|||
08.01.2020, 17:59 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
Ржавый гвоздь mayton А какая обработка у NoSQL? Ну обычно, если кто-то начинает пиарить свою суперинновационную NoSQL систему, то он напирает не только на способ хранения данных, но и на возможности работать с этими данными - предоставляет свой язык запросов, который позволяет определенный вид действий делать быстрее и лучше. Например, вытаскивать связанные данные из графов. Но и без способа хранения тоже не обходится, конечно - какая-нибудь крутая кластеризация, например. Но в целом ноэскуэль, как и бигдата - больше маркетинговый баззворд на хайпе, а не технический термин. Из моего круга общения. Из того комьюнити в котором я существую. Когда говорят NoSQL имеют в виду: - Elastic Search/Kibana (для текстовых поисков) - Redis (для кешей веба) - Apache Ignite (для более умных и сложных кешей и процессинга) - EhCache - InfiniSpan Когда говорят о BigData, имеют в виду технологии HBase, Hive, Athena, S3, Spark, Apache ORC Вот как-то так. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.01.2020, 18:18 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
mayton Из моего круга общения. Из того комьюнити в котором я существую. Когда говорят NoSQL имеют в виду: - Elastic Search/Kibana (для текстовых поисков) - Redis (для кешей веба) - Apache Ignite (для более умных и сложных кешей и процессинга) - EhCache - InfiniSpan Можно сюда еще добавить всякие хранилища графов (neo4j), документные хранилища (mongodb) и их смеси (arangodb), столбцовые хранилища (clickhouse). Ещё - хранилища ключ-значения (cassandra), которые отлично масштабируются и реплицируются, но поэтому имеют весьма ограниченный язык запросов. mayton Когда говорят о BigData, имеют в виду технологии HBase, Hive, Athena, S3, Spark, Apache ORC Ну а тут куда же без стека hadoop. Более того, некоторые говоря BigData, имеют в виду hadoop. HBase и hive - это как раз часть hadoop. Ксатати, практически всё перечисленное из NoSQL (cassandra, clickhouse, ...) также нередко относят и к BigData. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.01.2020, 18:51 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
Видите. Нет ни у кого определения. Только перечисления. Пока остается актуальным моё. Никто не предложил лучше. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.01.2020, 19:10 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
mayton, а я и не говорил, что у меня есть определения. Более того, я сразу сказал, что и BigData и NoSQL по моему мнению - маркетинговая шелуха. Никакого четкого технического определения у них нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.01.2020, 19:15 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
Да. Это размытые понятия. Как и гуманизм, демократия и толерантность. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.01.2020, 20:16 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
L.Otujktd ZirnayaKuro4ka, А зачем Вам вообще тут c++ в связке с python? В принципе по уровню производительности c# уже сравнялся с плюсами, поэтому явного выигрыша тут особо не видно, на первый взгляд. И на c# гораздо удобнее и быстрее разрабатывать многие вещи. Модератор: Отредактировано К тому же С++ обновляется, а С# сдувается: Рейтинг языков программирования от TIOBE ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2020, 10:45 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
ZirnayaKuro4ka, По делу что есть? А то вы на площадную брань перешли. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.01.2020, 11:25 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
Dima T Дальше средствами SQL, а не самодельными велосипедами Прикольно. СУБД MSSQL для Microsoft, СУБД Oracle для компании Oracle это и есть, вообще-то их собственные велосипеды ))) Когда-то их не было, но нашлись сильные смелые ловкие и сделали. В Oracle сделали Oracle, в Sybase сделали Sybase SQL Server, а в Microsoft сильные смелые ловкие это дело прикупили и двигают далее. И bitmap индексы, и хранимые процедуры и пространственные индексы когда-то не были вообще, и когда появились то для кого-то были самодельными велосипедами )))) Дайте наконец человеку изобретать, каждый программист имеет право на собственный самодельный велосипед, может она чудо планете подарит )))) ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2020, 10:53 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
ZirnayaKuro4ka ...К тому же С++ обновляется, а С# сдувается: Рейтинг языков программирования от TIOBE Я всегда говорю: "С и Си++ - самые популярные". Потом открываю https://www.tiobe.com/tiobe-index/ - видишь, Си - 15%, С++ - 5%, в сумме - 20. Обычно соглашаются. :) ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2020, 15:10 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
ёёёёё ZirnayaKuro4ka ...К тому же С++ обновляется, а С# сдувается: Рейтинг языков программирования от TIOBE Я всегда говорю: "С и Си++ - самые популярные". Потом открываю https://www.tiobe.com/tiobe-index/ - видишь, Си - 15%, С++ - 5%, в сумме - 20. Обычно соглашаются. :) Вот жеж хитрый. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.01.2020, 16:18 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
ёёёёё ZirnayaKuro4ka ...К тому же С++ обновляется, а С# сдувается: Рейтинг языков программирования от TIOBE Я всегда говорю: "С и Си++ - самые популярные". Потом открываю https://www.tiobe.com/tiobe-index/ - видишь, Си - 15%, С++ - 5%, в сумме - 20. Обычно соглашаются. :) Ну так С и С++ -- это один язык. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.01.2020, 11:01 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
MasterZiv ёёёёё пропущено... Я всегда говорю: "С и Си++ - самые популярные". Потом открываю https://www.tiobe.com/tiobe-index/ - видишь, Си - 15%, С++ - 5%, в сумме - 20. Обычно соглашаются. :) Ну так С и С++ -- это один язык. Вот. И я об этом. :) ... |
|||
:
Нравится:
Не нравится:
|
|||
15.01.2020, 18:30 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
ТСу: попробуй аналогичный вопрос в разделе Питона (на ту же тему, т.к. здесь ответ не получен, только не дублируй и слей воду). Заклевали ТСа. А ведь вопросы были конкретные: автор1. Не видите ли вы каких- то ошибок в моей идее? 2. Если все ок, то как научить С++ работать с массивами NumPy? Единственную полезную мысль не смогли донести. Раньше говорили, что дифференцировать можно научить и обезияну, а интегрировать только чел-ка. Ничего не изменилось. Обрабатывать данные может и СверхСуперБигдата, а анализировать только чел-к. Ну и пусть ТС лопатит свой газон. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.01.2020, 15:15 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
exp98А ведь вопросы были конкретные: Так ведь и ответы были конкретные: "да, мы видим" на первый вопрос, а второй, соответственно, уже можно не затрагивать. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
25.01.2020, 19:46 |
|
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
|
|||
---|---|---|---|
#18+
ёёёёё ZirnayaKuro4ka ...К тому же С++ обновляется, а С# сдувается: Рейтинг языков программирования от TIOBE Я всегда говорю: "С и Си++ - самые популярные". Потом открываю https://www.tiobe.com/tiobe-index/ - видишь, Си - 15%, С++ - 5%, в сумме - 20. Обычно соглашаются. :) C++ какой-то донор для C и C# хотя в нём столько полезного синтаксиса ввели А питон опять себе 3е место выбил... ... |
|||
:
Нравится:
Не нравится:
|
|||
25.01.2020, 21:02 |
|
|
start [/forum/topic.php?fid=57&msg=39918722&tid=2017482]: |
0ms |
get settings: |
10ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
44ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
51ms |
get tp. blocked users: |
1ms |
others: | 277ms |
total: | 418ms |
0 / 0 |