powered by simpleCommunicator - 2.0.58     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / C++ [игнор отключен] [закрыт для гостей] / Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
25 сообщений из 59, страница 2 из 3
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39911666
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Мое определение BigData (копипаста из старого).

- данные неструктурированы (грубо говоря нету desc table который даст метаинформацию о том что внутри)
- данные стали историческими (или изменяются настолько редко что этим можно прененбречь)
- есть возможность применить для анализа шаблон "отображение-свёртка" и есть горизонтальное мастабирование
- использование классических реляционных DBMS для анализа этих данных невыгодно по разным причинам
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39911670
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonМое определение BigData (копипаста из старого).

Звучит как NoSQL с приляпанной map-reduce.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39911671
Ладно, попробуем по делу поговорить.
ZirnayaKuro4ka

Например, в Python создается массив NumPy, который заполняется в С++ и передается обратно в Python. Там выполняется начальная обработка данных с помощью станадартных алгоритмов для BigData, после которой этот массив опять передается в С++ для более тонкого анализа данных.

Что такое в твоем понимании "стандартные алгоритмы для BigData" и что такое "тонкий анализ данных"? Приведи примеры хотя бы. Пока не будет конкретики, тема из сплошных перепирательств не выберется, потому что совершенно не понятно, что именно ты хочешь сделать и зачем.
ZirnayaKuro4ka

Но и тут не все так просто: данных очень много, поэтому если реализовывать недостающие алгоритмы на Python придется очень долго ждать выполения

Ты в этом уверен? Ну то есть ты уже проверил свои алгоритмы на питоне и убедился, что они действительно выполняются долго, а на C++ - быстро? Вполне может оказаться, что переписывать на C++ ничего не придется, ибо прирост в скорости не оправдает усилий, затраченных на переписывание.
ZirnayaKuro4ka

Не видите ли вы каких- то ошибок в моей идее?

Ошибки сможем увидеть, когда поймем задачу, которую ты решаешь.
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39911675
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov

maytonМое определение BigData (копипаста из старого).

Звучит как NoSQL с приляпанной map-reduce.

Да. Согласен. Но у NoSQL еще более расплывчатое определение. Под нее подходит даже файловая система.
Поэтому это просто попадание пальцем в небо.
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39911678
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
maytonНо у NoSQL еще более расплывчатое определение. Под нее подходит даже файловая система.
Поэтому это просто попадание пальцем в небо.

Ну, если пользоваться классическим "хрень для хранения и обработки слабо структурированных
данных", то таки да, файловая система тоже сойдёт. Правда, у неё "обработки" нет.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39911680
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А какая обработка у NoSQL?
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39911686
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
NoSQL

Не sql в данном контексте просто отрицание структуированных данных по реляционной теории.
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39911687
mayton
А какая обработка у NoSQL?

Ну обычно, если кто-то начинает пиарить свою суперинновационную NoSQL систему, то он напирает не только на способ хранения данных, но и на возможности работать с этими данными - предоставляет свой язык запросов, который позволяет определенный вид действий делать быстрее и лучше. Например, вытаскивать связанные данные из графов. Но и без способа хранения тоже не обходится, конечно - какая-нибудь крутая кластеризация, например.
Но в целом ноэскуэль, как и бигдата - больше маркетинговый баззворд на хайпе, а не технический термин.
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39911698
L.Otujktd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ZirnayaKuro4ka,

А зачем Вам вообще тут c++ в связке с python?
В принципе по уровню производительности c# уже сравнялся с плюсами, поэтому явного выигрыша тут особо не видно, на первый взгляд. И на c# гораздо удобнее и быстрее разрабатывать многие вещи.
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39911702
Фотография OoCc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton,

Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39911705
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ржавый гвоздь
mayton
А какая обработка у NoSQL?

Ну обычно, если кто-то начинает пиарить свою суперинновационную NoSQL систему, то он напирает не только на способ хранения данных, но и на возможности работать с этими данными - предоставляет свой язык запросов, который позволяет определенный вид действий делать быстрее и лучше. Например, вытаскивать связанные данные из графов. Но и без способа хранения тоже не обходится, конечно - какая-нибудь крутая кластеризация, например.
Но в целом ноэскуэль, как и бигдата - больше маркетинговый баззворд на хайпе, а не технический термин.

Из моего круга общения. Из того комьюнити в котором я существую. Когда говорят NoSQL имеют в виду:

- Elastic Search/Kibana (для текстовых поисков)
- Redis (для кешей веба)
- Apache Ignite (для более умных и сложных кешей и процессинга)
- EhCache
- InfiniSpan

Когда говорят о BigData, имеют в виду технологии HBase, Hive, Athena, S3, Spark, Apache ORC

Вот как-то так.
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39911717
mayton

Из моего круга общения. Из того комьюнити в котором я существую. Когда говорят NoSQL имеют в виду:

- Elastic Search/Kibana (для текстовых поисков)
- Redis (для кешей веба)
- Apache Ignite (для более умных и сложных кешей и процессинга)
- EhCache
- InfiniSpan

Можно сюда еще добавить всякие хранилища графов (neo4j), документные хранилища (mongodb) и их смеси (arangodb), столбцовые хранилища (clickhouse). Ещё - хранилища ключ-значения (cassandra), которые отлично масштабируются и реплицируются, но поэтому имеют весьма ограниченный язык запросов.
mayton

Когда говорят о BigData, имеют в виду технологии HBase, Hive, Athena, S3, Spark, Apache ORC

Ну а тут куда же без стека hadoop. Более того, некоторые говоря BigData, имеют в виду hadoop. HBase и hive - это как раз часть hadoop. Ксатати, практически всё перечисленное из NoSQL (cassandra, clickhouse, ...) также нередко относят и к BigData.
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39911722
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Видите. Нет ни у кого определения. Только перечисления.

Пока остается актуальным моё. Никто не предложил лучше.
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39911723
mayton, а я и не говорил, что у меня есть определения. Более того, я сразу сказал, что и BigData и NoSQL по моему мнению - маркетинговая шелуха. Никакого четкого технического определения у них нет.
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39911739
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да. Это размытые понятия. Как и гуманизм, демократия и толерантность.
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39911891
ZirnayaKuro4ka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
L.Otujktd
ZirnayaKuro4ka,

А зачем Вам вообще тут c++ в связке с python?
В принципе по уровню производительности c# уже сравнялся с плюсами, поэтому явного выигрыша тут особо не видно, на первый взгляд. И на c# гораздо удобнее и быстрее разрабатывать многие вещи.


Модератор: Отредактировано
К тому же С++ обновляется, а С# сдувается: Рейтинг языков программирования от TIOBE
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39911912
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ZirnayaKuro4ka,
По делу что есть? А то вы на площадную брань перешли.
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39913532
Фотография ну я
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dima T
Дальше средствами SQL, а не самодельными велосипедами

Прикольно. СУБД MSSQL для Microsoft, СУБД Oracle для компании Oracle это и есть, вообще-то их собственные велосипеды )))
Когда-то их не было, но нашлись сильные смелые ловкие и сделали. В Oracle сделали Oracle, в Sybase сделали Sybase SQL Server, а в Microsoft сильные смелые ловкие это дело прикупили и двигают далее. И bitmap индексы, и хранимые процедуры и пространственные индексы когда-то не были вообще, и когда появились то для кого-то были самодельными велосипедами ))))

Дайте наконец человеку изобретать, каждый программист имеет право на собственный самодельный велосипед, может она чудо планете подарит ))))
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39913718
ёёёёё
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ZirnayaKuro4ka
...К тому же С++ обновляется, а С# сдувается: Рейтинг языков программирования от TIOBE

Я всегда говорю: "С и Си++ - самые популярные". Потом открываю https://www.tiobe.com/tiobe-index/ - видишь, Си - 15%, С++ - 5%, в сумме - 20. Обычно соглашаются. :)
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39913782
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ёёёёё
ZirnayaKuro4ka
...К тому же С++ обновляется, а С# сдувается: Рейтинг языков программирования от TIOBE

Я всегда говорю: "С и Си++ - самые популярные". Потом открываю https://www.tiobe.com/tiobe-index/ - видишь, Си - 15%, С++ - 5%, в сумме - 20. Обычно соглашаются. :)

Вот жеж хитрый.
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39914157
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ёёёёё
ZirnayaKuro4ka
...К тому же С++ обновляется, а С# сдувается: Рейтинг языков программирования от TIOBE

Я всегда говорю: "С и Си++ - самые популярные". Потом открываю https://www.tiobe.com/tiobe-index/ - видишь, Си - 15%, С++ - 5%, в сумме - 20. Обычно соглашаются. :)


Ну так С и С++ -- это один язык.
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39914513
ёёёёё
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MasterZiv
ёёёёё
пропущено...

Я всегда говорю: "С и Си++ - самые популярные". Потом открываю https://www.tiobe.com/tiobe-index/ - видишь, Си - 15%, С++ - 5%, в сумме - 20. Обычно соглашаются. :)


Ну так С и С++ -- это один язык.

Вот.
И я об этом. :)
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39918686
exp98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТСу: попробуй аналогичный вопрос в разделе Питона (на ту же тему, т.к. здесь ответ не получен, только не дублируй и слей воду).

Заклевали ТСа.
А ведь вопросы были конкретные:
автор1. Не видите ли вы каких- то ошибок в моей идее?
2. Если все ок, то как научить С++ работать с массивами NumPy?
Вначале были неск. дельных советов, а потом как обычно свелось к советам "не зазнаваться". В мягком виде дедовщина: нас унижали, и мы будем с вами так же.

Единственную полезную мысль не смогли донести. Раньше говорили, что дифференцировать можно научить и обезияну, а интегрировать только чел-ка. Ничего не изменилось. Обрабатывать данные может и СверхСуперБигдата, а анализировать только чел-к. Ну и пусть ТС лопатит свой газон.
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39918717
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
exp98А ведь вопросы были конкретные:
Так ведь и ответы были конкретные: "да, мы видим" на первый вопрос, а второй,
соответственно, уже можно не затрагивать.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
    #39918722
Фотография полудух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ёёёёё
ZirnayaKuro4ka
...К тому же С++ обновляется, а С# сдувается: Рейтинг языков программирования от TIOBE

Я всегда говорю: "С и Си++ - самые популярные". Потом открываю https://www.tiobe.com/tiobe-index/ - видишь, Си - 15%, С++ - 5%, в сумме - 20. Обычно соглашаются. :)

C++ какой-то донор для C и C#
хотя в нём столько полезного синтаксиса ввели
А питон опять себе 3е место выбил...
...
Рейтинг: 0 / 0
25 сообщений из 59, страница 2 из 3
Форумы / C++ [игнор отключен] [закрыт для гостей] / Пишу программу, в которой будет как BigData, так и свои алгоритмы. Как лучше?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]