powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / BigData в России
5 сообщений из 5, страница 1 из 1
BigData в России
    #39452784
JJZ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я так понимаю , что Big Data решения используются для:

1. Machine Learning - статистическая обработка большого объема информации.
2. для ETL выполняющихся параллельно на нескольких серверах.
3. Комбинация этих решений.


После разговоров с несколькими специалистами по Big Data - я пришел к выводу, что в России Machine Learning используется редко. В основном Big Data(Apache Spark и т.д.) используется для ETL. Для параллельной обработки, аггрегации большого объема данных и загрузки обратно в РСУБД для построения отчетов и принятия решения.

Согласны ли вы, что в основном в России BigData используется для ETL ?
Или у вас на работе сделано как в красивых презентациях?
Поделитесь опытом

Спасибо
...
Рейтинг: 0 / 0
BigData в России
    #39452795
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
я видел системы, где сделано достаточно близко к тем красивым презентациям. oltp базы выгружают дельты за некий период (кто час кто день) в центральное хранилище, центральное хранилище (большой paquet файл, со всей историей изменений каждого поля) сразу генерит копию данных в реляционные таблички импалы, которые доступны отчетным системам и аналитике. на их базе, в том числе инструментами аля sas dataminer, строятся модели, используемые в том числе и для прогнозирования.
ваши три пункта это уже скорее бонус к хранилищу.
...
Рейтинг: 0 / 0
BigData в России
    #39456686
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Yo.!,

то, что описали, может делать и простая Информатика
...
Рейтинг: 0 / 0
BigData в России
    #39456845
Joz07
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Yo.!я видел системы, где сделано достаточно близко к тем красивым презентациям. oltp базы выгружают дельты за некий период (кто час кто день) в центральное хранилище, центральное хранилище (большой paquet файл, со всей историей изменений каждого поля) сразу генерит копию данных в реляционные таблички импалы, которые доступны отчетным системам и аналитике. на их базе, в том числе инструментами аля sas dataminer, строятся модели, используемые в том числе и для прогнозирования.
ваши три пункта это уже скорее бонус к хранилищу.

Dannaya architectura pohoja na klassicheskoe hranilishe. Razlichie tolko v tom chto, za licenzii mojnoi ne platit i namnogo legche gorizontalnoe masshtabirovanie v Impale ili drugih Big Data resheniyah
...
Рейтинг: 0 / 0
BigData в России
    #39456915
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Критикто, что описали, может делать и простая Информатика
информатика просто etl tool на сколько я знаю, ничего не хранит.
а то что dwh строят не только на бигдате я в курсе. :D

Joz07Dannaya architectura pohoja na klassicheskoe hranilishe. Razlichie tolko v tom chto, za licenzii mojnoi ne platit i namnogo legche gorizontalnoe masshtabirovanie v Impale ili drugih Big Data resheniyah
и да и нет. классическое это все же нормальные реляционные таблички в нормальной рсубд, в единственном экземпляре с констреинтами, форен кеями и прочим. а тут как бы внутренний большой файлик и его копии разложенные по табличкам, где самому нужно следить за консистентностью, целостностью и прочим. даже с обновлением parquet файлов под импалой приходилось что-то самопальное изобретать, иначе просто работающие запросы эти обновления вырубали. зато много дешевле и есть плюшки. типа аналитку под анализ сгенерить импаловские таблицы на определенный момент в прошлом или под какой-нибудь анализ заморозить пару систем в соседней "папке". в классике аналитики мучились со всякими start_date/end_date
...
Рейтинг: 0 / 0
5 сообщений из 5, страница 1 из 1
Форумы / NoSQL, Big Data [игнор отключен] [закрыт для гостей] / BigData в России
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]