powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Что так все носятся с этой bigdata-ой?
25 сообщений из 59, страница 1 из 3
Что так все носятся с этой bigdata-ой?
    #39490967
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
80% данных, а то и больше, это же полный шлак, копаться в этом шлаке в поиске золота? Золота в шлаке нет и никогда не было.
КА оборвали телефон последнее время - нужен срочно, завтра сдавать заказчику, мега спец на мега проект в мегабанк на бигдаду. Устал объяснять как дедушка Инмон - бигдата никакого отношения к хранилищам данных не имело, не имеет и иметь не будет, это платформа для специфических задач.
Нафига эта бигдата? Скоринг в банке? Он и раньше без бигдаты работал. Столько спама с этой бигдатой сыпется, сума все посходили что ли.
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39490986
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
пишу и поглядываю как процессится куб.

Ну младо-эффективные начальники, которые не отягощены багажом инженерной высшей школы.
Им в банках и аффилированных ритейлах пресейлы и западные коучи напели песен про монетизацию больших данных. Тренд задан на самом верхнем уровне. Как же под это дело не подсуетиться. В начале 2000х аналогичный угар был по CRM
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39491022
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Полковник.Нафига эта бигдата?
замещать ораклы и в первую очередь оракловые DWH.
за те же деньги получить DWH+аналитику, которая может масштабироватся считай бесплатно, тогда как ораклы оставят без штанов уже на половинке о экзадаты.
все дело в деньгах.
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39491055
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Yo.!,

Бесплатный сыр только вы мышеловке.
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39491056
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Yo.!Полковник.Нафига эта бигдата?
замещать ораклы и в первую очередь оракловые DWH.
за те же деньги получить DWH+аналитику, которая может масштабироватся считай бесплатно, тогда как ораклы оставят без штанов уже на половинке о экзадаты.
все дело в деньгах.

Это маркетинговый буллшит. Никто пока ничего не заместил, потому что невозможно заменить структурированную подготовленную к работе аналитика базу данных набором текстовых строк или даже json-ом.
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39491064
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Полковник.Это маркетинговый буллшит. Никто пока ничего не заместил, потому что невозможно заменить структурированную подготовленную к работе аналитика базу данных набором текстовых строк или даже json-ом.
у нас по сути заменили.
маркетинговый булшит это ассоциировать бигдату с неструктированными данными. неструктурированные данные лишь одна из опций, у нас вот ничего неструктурированного почти и нет. многие и не в курсе что там под низом SAS dataminer или под отчетиками уже не оракл.
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39491110
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Yo.!Полковник.Нафига эта бигдата?
замещать ораклы и в первую очередь оракловые DWH.
за те же деньги получить DWH+аналитику, которая может масштабироватся считай бесплатно, тогда как ораклы оставят без штанов уже на половинке о экзадаты.
все дело в деньгах.Вот об этом как раз и поют продавцы Big Data. :) Все не так просто.
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39491111
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Yo.!Полковник.Это маркетинговый буллшит. Никто пока ничего не заместил, потому что невозможно заменить структурированную подготовленную к работе аналитика базу данных набором текстовых строк или даже json-ом.
у нас по сути заменили.
маркетинговый булшит это ассоциировать бигдату с неструктированными данными. неструктурированные данные лишь одна из опций, у нас вот ничего неструктурированного почти и нет. многие и не в курсе что там под низом SAS dataminer или под отчетиками уже не оракл.Мне кажется, что на фоне SAS dataminer стоимость Oracle копейки, а вот геморроя море добавилось...
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39491123
RioMare
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Yo.!за те же деньги получить DWH+аналитику, которая может масштабироватся считай бесплатно
все дело в деньгах.
Я бы сказал, что те, кто предполагает оперировать в digital channels в связке DWH + аналитика просто вкладываются в аналитику, поскольку возможностей на порядок больше, поэтому всё то, что SAS/ETS или SAS/IML считает довольно шустро вещи, на которых Oracle просто дохнет. А платить за Ora только для того, чтобы данные хранить конечно можно, только big data тупо дешевле.
Nothing special, just business
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39491168
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я что-то не понимаю?
Разве Big Data не подразумевает хорошее знание мат. статистики?
На кой черт Datamining, если нет серьзных познаний и опыта в мат. статист. методах
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39491197
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Alexander RyndinВот об этом как раз и поют продавцы Big Data. :) Все не так просто.
все не так просто. все эти RAC, dataguard, унылые сториджи с hdd жрут запредельные суммы, но на выходе дба падают в обморок, когда я попрошу +1ТБ на поиграться. нет смысла вкладываться в лицензии, которые всегда будут ограничивать хотелки бизнеса. уже понятно, что раздувание штата под бигдату разумней вложение. хадуп уже в состоянии заменить, но при этом инструменты прогрессируют с бешенной скоростью.
а продавцы, хрень какую-то продают: то какие-то оракл бигдата, со всеми минусами обоих миров в квадрате, то даталейк помойки, не пойми для чего накапливаемые. данные новая нефть (тм) и ржут

Alex_496Я что-то не понимаю?
Разве Big Data не подразумевает хорошее знание мат. статистики?
На кой черт Datamining, если нет серьзных познаний и опыта в мат. статист. методах
нет, бигдата ничего не поразумевает. хадуп просто набор фреймворков, терминами оракла продуктов. как и у оракла там тьма продуктов в линейках. просто у оракла каждый продукт это миллион $$$ со скидкой от вендора, а тут божеские цены и большой напильник в подарок. среди них есть и spark с его либами машин лёрнинга, есть коннекторы к sas dataminer и куча другого хлама, который никто не обязывает использовать.
и на счет статистики, а на кой аналитику познания в мат статистике ? аналитик не разрабатывает прогрессивные методы анализа, его удел очистить данные и потыркать next в визарде sas dataminer. натыркать linear regression модель знаний статистики, что дает бакалавр за глаза. глубоко разбираться в статистике и алгаритмах уже задача дата сайнтиста.
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39491207
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ради чего весь сыр бор?
что за монетизация данных?
что в итоге реклама и предложения будут еще более назойливыми и влазить в приватную жизнь людей?
и не оставлять им права выбора, а клевать будут прямо в мозг? качество товаров падает, зато будут таргетировать покупателей. только подумал, не успел одуматься - а тебе уже впарили кредит, услугу или одноразовый товар
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39491208
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
по чем сейчас 1Тб бигдаты для enterprise?
чисто если по месту, без всего остального
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39492060
Фотография bbx1389
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ибо попил будет страшный
Силуанов: big data позволит кратно уменьшить теневой сектор

Автоматизация электронных счетов-фактур по НДС, данных Таможенной службы, данных о розничных продажах позволит очень сильно сократить теневой сектор российской экономики. Об этом заявил министр финансов РФ Антон Силуанов на парламентских слушаниях по теме «Основные направления бюджетной, налоговой и таможенно-тарифной политики на 2018 год и плановый период 2019 и 2020 годов».

«Автоматизация такого большого массива данных, как говорят сейчас, big data позволит кратно сократить теневой сектор, где не платятся сегодня налоги. Это наша одна из ключевых задач», — рассказал он в Государственной думе.


«(Наша) задача — цифровизация интеграции всех потоков данных в единое информационное пространство налогового администрирования. Это и электронные счета-фактуры НДС, данные Таможенной службы, данные о розничных продажах, которые мы будем собирать от контрольно-кассовой техники в единую базу и в единое облако и которые будут анализироваться Налоговой службой», — пояснил министр.


при заходе на уровень министра , технологический вопрос уходит на второй, а то и третий план
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39492805
SpellBuilder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
bbx1389ибо попил будет страшный
Силуанов: big data позволит кратно уменьшить теневой сектор«Автоматизация такого большого массива данных, как говорят сейчас, big data
при заходе на уровень министра , технологический вопрос уходит на второй, а то и третий план

Ну да понты с дословным переводом.
Для кого то и файл Excel с миллионом строк, это такая биг дата и наш отдел самый геройский работает сутками на благо компании.
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39493176
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Полковник.бигдата никакого отношения к хранилищам данных не имело, не имеет и иметь не будет, это платформа для специфических задач.исключительно имхо...
если под "бигдатой" понимать классическое определение "наличие 3V", то этой самой бигдатой может стать (ну несколько утрировано) любой набор данных.
при этом основная задача хранилища данных хранить эти данные (как бы банально это не звучало) и отдавать по запросам.
как именно вы будете их хранить зависит только от вас, да хоть на ДНК записывайте...
основная идея заложенная в эту "бигдату" это масштабирование.
если вам оно не нужно ну и не нужно, если вы можете решить проблему масштабирования в рамках другой платформы, то почему бы и нет - это всего лишь инструменты.
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39493391
Кэптен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Критикпо чем сейчас 1Тб бигдаты для enterprise?
чисто если по месту, без всего остального
По разному, обычно 1к долл. В Экзадате тоже будет стоить 50к.
Yo очень точно всё сказал, если предприятие соблюдает лицензионную чистоту, то платит дурные деньги за реляционки.
Поэтому делают расширение DWH. Например в телекомах все данные хранят в Хадупе (шара по деньгам), там же делают пре-ETL (очистка, трансформация, расчет агрегатов), а результаты уже в реляционку. Тоже касается банков.
Хотя есть реальные примеры и монетизации и пользы, я как-то 12 штук рассказывал одному клиенту. Например, идёт должник банка мимо отделения банка, ему сообщение: "вы проходите мимо нашего отделения, зайдите и погасите кредит". Давит на психику должника. Средства спама и антиспама. Работа с веб-данными (а это огромные объемы).
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39495270
Sintetik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
КэптенНапример, идёт должник банка мимо отделения банка, ему сообщение: "вы проходите мимо нашего отделения, зайдите и погасите кредит". Давит на психику должника. Средства спама и антиспама. Работа с веб-данными (а это огромные объемы).
Очень плохой пример, это уже отслеживание местоположения человека, можно и иск отгрести.
А в целом для работника выгодно чтобы система(софт, железо, работы) на которой он работает стоила как можно дороже. Если компания экономит на системе, значит скоро начнет экономить и на работнике. Перефразируя известного застройщика-сидельца "Компании у которых нет денег на exadata(нужное вписать) могут идти в ..."
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39495296
982183
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Полковник.80% данных, а то и больше, это же полный шлак, копаться в этом шлаке в поиске золота?
Совершенно точно.
Осталось понять, как вычленить эти 80% из массива данных.
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39495334
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
982183Полковник.80% данных, а то и больше, это же полный шлак, копаться в этом шлаке в поиске золота?
Совершенно точно.
Осталось понять, как вычленить эти 80% из массива данных.
О каком массиве данных идёт речь? Я говорю, что 80% любых данных предприятия это мусор и копание в мусоре никакого эффекта не приносит. Мы тут до сих пор остатки 15 го года пересчитываем и перегружаем, потому что все что нам выдавали учётные системы это оказывается был полный шлак.
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39495350
982183
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Полковник.О каком массиве данных идёт речь?
Любом.
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39495369
Yo.!
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Полковник.О каком массиве данных идёт речь? Я говорю, что 80% любых данных предприятия это мусор и копание в мусоре никакого эффекта не приносит. Мы тут до сих пор остатки 15 го года пересчитываем и перегружаем, потому что все что нам выдавали учётные системы это оказывается был полный шлак.
нахрена такой канторе вообще DWH, если даже остатки не в состоянии загрузить ? и смысл в них спустя 2 года ? подозреваю "предприятие" как эти два года жило без DWH и следующие проживет без этого DWH.
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39495524
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Полковник.982183пропущено...

Совершенно точно.
Осталось понять, как вычленить эти 80% из массива данных.
О каком массиве данных идёт речь? Я говорю, что 80% любых данных предприятия это мусор и копание в мусоре никакого эффекта не приносит. Мы тут до сих пор остатки 15 го года пересчитываем и перегружаем, потому что все что нам выдавали учётные системы это оказывается был полный шлак.

:)
ну у нас тоже то 200+ млн. руб. недостачи несколько месяцев жили и не замечали, то 7 млрд. руб. в прошедшие периоды пропали.
Но корпоративная этика превыше всего как ангулярность агилистического скрама
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39495544
Полковник.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
982183Полковник.О каком массиве данных идёт речь?
Любом.
Отличный ответ.
...
Рейтинг: 0 / 0
Что так все носятся с этой bigdata-ой?
    #39495589
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Полковник.Я говорю, что 80% любых данных предприятия это мусор и копание в мусоре никакого эффекта не приносит. Мы тут до сих пор остатки 15 го года пересчитываем и перегружаем, потому что все что нам выдавали учётные системы это оказывается был полный шлак.дак, а причём здесь бигдата то?
если вам привезли гвозди, а у вас отвёртка, то отвёртка не плоха, отнюдь.
опять же, ваша мысль понятна, но вот вы рассуждаете прямолинейно, как разработчик (ну, так это выглядит, могу ошибаться), а с позиции архитектора и топ-менеджера (ну, так, сферического) бигдату вы поднимете не сразу, а за это время и данные из первичек почистят и глядишь НСИ и МДМ как нибудь подтянут...
короче не складывать все яйца к вам в карман.
...
Рейтинг: 0 / 0
25 сообщений из 59, страница 1 из 3
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Что так все носятся с этой bigdata-ой?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]