Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Что так все носятся с этой bigdata-ой? / 25 сообщений из 59, страница 1 из 3
18.07.2017, 16:39
    #39490967
Полковник.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
80% данных, а то и больше, это же полный шлак, копаться в этом шлаке в поиске золота? Золота в шлаке нет и никогда не было.
КА оборвали телефон последнее время - нужен срочно, завтра сдавать заказчику, мега спец на мега проект в мегабанк на бигдаду. Устал объяснять как дедушка Инмон - бигдата никакого отношения к хранилищам данных не имело, не имеет и иметь не будет, это платформа для специфических задач.
Нафига эта бигдата? Скоринг в банке? Он и раньше без бигдаты работал. Столько спама с этой бигдатой сыпется, сума все посходили что ли.
...
Рейтинг: 0 / 0
18.07.2017, 17:02
    #39490986
Alex_496
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
пишу и поглядываю как процессится куб.

Ну младо-эффективные начальники, которые не отягощены багажом инженерной высшей школы.
Им в банках и аффилированных ритейлах пресейлы и западные коучи напели песен про монетизацию больших данных. Тренд задан на самом верхнем уровне. Как же под это дело не подсуетиться. В начале 2000х аналогичный угар был по CRM
...
Рейтинг: 0 / 0
18.07.2017, 17:21
    #39491022
Yo.!
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
Полковник.Нафига эта бигдата?
замещать ораклы и в первую очередь оракловые DWH.
за те же деньги получить DWH+аналитику, которая может масштабироватся считай бесплатно, тогда как ораклы оставят без штанов уже на половинке о экзадаты.
все дело в деньгах.
...
Рейтинг: 0 / 0
18.07.2017, 17:40
    #39491055
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
Yo.!,

Бесплатный сыр только вы мышеловке.
...
Рейтинг: 0 / 0
18.07.2017, 17:40
    #39491056
Полковник.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
Yo.!Полковник.Нафига эта бигдата?
замещать ораклы и в первую очередь оракловые DWH.
за те же деньги получить DWH+аналитику, которая может масштабироватся считай бесплатно, тогда как ораклы оставят без штанов уже на половинке о экзадаты.
все дело в деньгах.

Это маркетинговый буллшит. Никто пока ничего не заместил, потому что невозможно заменить структурированную подготовленную к работе аналитика базу данных набором текстовых строк или даже json-ом.
...
Рейтинг: 0 / 0
18.07.2017, 17:45
    #39491064
Yo.!
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
Полковник.Это маркетинговый буллшит. Никто пока ничего не заместил, потому что невозможно заменить структурированную подготовленную к работе аналитика базу данных набором текстовых строк или даже json-ом.
у нас по сути заменили.
маркетинговый булшит это ассоциировать бигдату с неструктированными данными. неструктурированные данные лишь одна из опций, у нас вот ничего неструктурированного почти и нет. многие и не в курсе что там под низом SAS dataminer или под отчетиками уже не оракл.
...
Рейтинг: 0 / 0
18.07.2017, 18:46
    #39491110
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
Yo.!Полковник.Нафига эта бигдата?
замещать ораклы и в первую очередь оракловые DWH.
за те же деньги получить DWH+аналитику, которая может масштабироватся считай бесплатно, тогда как ораклы оставят без штанов уже на половинке о экзадаты.
все дело в деньгах.Вот об этом как раз и поют продавцы Big Data. :) Все не так просто.
...
Рейтинг: 0 / 0
18.07.2017, 18:48
    #39491111
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
Yo.!Полковник.Это маркетинговый буллшит. Никто пока ничего не заместил, потому что невозможно заменить структурированную подготовленную к работе аналитика базу данных набором текстовых строк или даже json-ом.
у нас по сути заменили.
маркетинговый булшит это ассоциировать бигдату с неструктированными данными. неструктурированные данные лишь одна из опций, у нас вот ничего неструктурированного почти и нет. многие и не в курсе что там под низом SAS dataminer или под отчетиками уже не оракл.Мне кажется, что на фоне SAS dataminer стоимость Oracle копейки, а вот геморроя море добавилось...
...
Рейтинг: 0 / 0
18.07.2017, 19:03
    #39491123
RioMare
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
Yo.!за те же деньги получить DWH+аналитику, которая может масштабироватся считай бесплатно
все дело в деньгах.
Я бы сказал, что те, кто предполагает оперировать в digital channels в связке DWH + аналитика просто вкладываются в аналитику, поскольку возможностей на порядок больше, поэтому всё то, что SAS/ETS или SAS/IML считает довольно шустро вещи, на которых Oracle просто дохнет. А платить за Ora только для того, чтобы данные хранить конечно можно, только big data тупо дешевле.
Nothing special, just business
...
Рейтинг: 0 / 0
18.07.2017, 20:04
    #39491168
Alex_496
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
Я что-то не понимаю?
Разве Big Data не подразумевает хорошее знание мат. статистики?
На кой черт Datamining, если нет серьзных познаний и опыта в мат. статист. методах
...
Рейтинг: 0 / 0
18.07.2017, 21:12
    #39491197
Yo.!
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
Alexander RyndinВот об этом как раз и поют продавцы Big Data. :) Все не так просто.
все не так просто. все эти RAC, dataguard, унылые сториджи с hdd жрут запредельные суммы, но на выходе дба падают в обморок, когда я попрошу +1ТБ на поиграться. нет смысла вкладываться в лицензии, которые всегда будут ограничивать хотелки бизнеса. уже понятно, что раздувание штата под бигдату разумней вложение. хадуп уже в состоянии заменить, но при этом инструменты прогрессируют с бешенной скоростью.
а продавцы, хрень какую-то продают: то какие-то оракл бигдата, со всеми минусами обоих миров в квадрате, то даталейк помойки, не пойми для чего накапливаемые. данные новая нефть (тм) и ржут

Alex_496Я что-то не понимаю?
Разве Big Data не подразумевает хорошее знание мат. статистики?
На кой черт Datamining, если нет серьзных познаний и опыта в мат. статист. методах
нет, бигдата ничего не поразумевает. хадуп просто набор фреймворков, терминами оракла продуктов. как и у оракла там тьма продуктов в линейках. просто у оракла каждый продукт это миллион $$$ со скидкой от вендора, а тут божеские цены и большой напильник в подарок. среди них есть и spark с его либами машин лёрнинга, есть коннекторы к sas dataminer и куча другого хлама, который никто не обязывает использовать.
и на счет статистики, а на кой аналитику познания в мат статистике ? аналитик не разрабатывает прогрессивные методы анализа, его удел очистить данные и потыркать next в визарде sas dataminer. натыркать linear regression модель знаний статистики, что дает бакалавр за глаза. глубоко разбираться в статистике и алгаритмах уже задача дата сайнтиста.
...
Рейтинг: 0 / 0
18.07.2017, 21:40
    #39491207
Alex_496
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
ради чего весь сыр бор?
что за монетизация данных?
что в итоге реклама и предложения будут еще более назойливыми и влазить в приватную жизнь людей?
и не оставлять им права выбора, а клевать будут прямо в мозг? качество товаров падает, зато будут таргетировать покупателей. только подумал, не успел одуматься - а тебе уже впарили кредит, услугу или одноразовый товар
...
Рейтинг: 0 / 0
18.07.2017, 21:43
    #39491208
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
по чем сейчас 1Тб бигдаты для enterprise?
чисто если по месту, без всего остального
...
Рейтинг: 0 / 0
20.07.2017, 09:47
    #39492060
bbx1389
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
ибо попил будет страшный
Силуанов: big data позволит кратно уменьшить теневой сектор

Автоматизация электронных счетов-фактур по НДС, данных Таможенной службы, данных о розничных продажах позволит очень сильно сократить теневой сектор российской экономики. Об этом заявил министр финансов РФ Антон Силуанов на парламентских слушаниях по теме «Основные направления бюджетной, налоговой и таможенно-тарифной политики на 2018 год и плановый период 2019 и 2020 годов».

«Автоматизация такого большого массива данных, как говорят сейчас, big data позволит кратно сократить теневой сектор, где не платятся сегодня налоги. Это наша одна из ключевых задач», — рассказал он в Государственной думе.


«(Наша) задача — цифровизация интеграции всех потоков данных в единое информационное пространство налогового администрирования. Это и электронные счета-фактуры НДС, данные Таможенной службы, данные о розничных продажах, которые мы будем собирать от контрольно-кассовой техники в единую базу и в единое облако и которые будут анализироваться Налоговой службой», — пояснил министр.


при заходе на уровень министра , технологический вопрос уходит на второй, а то и третий план
...
Рейтинг: 0 / 0
21.07.2017, 09:58
    #39492805
SpellBuilder
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
bbx1389ибо попил будет страшный
Силуанов: big data позволит кратно уменьшить теневой сектор«Автоматизация такого большого массива данных, как говорят сейчас, big data
при заходе на уровень министра , технологический вопрос уходит на второй, а то и третий план

Ну да понты с дословным переводом.
Для кого то и файл Excel с миллионом строк, это такая биг дата и наш отдел самый геройский работает сутками на благо компании.
...
Рейтинг: 0 / 0
21.07.2017, 21:56
    #39493176
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
Полковник.бигдата никакого отношения к хранилищам данных не имело, не имеет и иметь не будет, это платформа для специфических задач.исключительно имхо...
если под "бигдатой" понимать классическое определение "наличие 3V", то этой самой бигдатой может стать (ну несколько утрировано) любой набор данных.
при этом основная задача хранилища данных хранить эти данные (как бы банально это не звучало) и отдавать по запросам.
как именно вы будете их хранить зависит только от вас, да хоть на ДНК записывайте...
основная идея заложенная в эту "бигдату" это масштабирование.
если вам оно не нужно ну и не нужно, если вы можете решить проблему масштабирования в рамках другой платформы, то почему бы и нет - это всего лишь инструменты.
...
Рейтинг: 0 / 0
22.07.2017, 20:28
    #39493391
Кэптен
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
Критикпо чем сейчас 1Тб бигдаты для enterprise?
чисто если по месту, без всего остального
По разному, обычно 1к долл. В Экзадате тоже будет стоить 50к.
Yo очень точно всё сказал, если предприятие соблюдает лицензионную чистоту, то платит дурные деньги за реляционки.
Поэтому делают расширение DWH. Например в телекомах все данные хранят в Хадупе (шара по деньгам), там же делают пре-ETL (очистка, трансформация, расчет агрегатов), а результаты уже в реляционку. Тоже касается банков.
Хотя есть реальные примеры и монетизации и пользы, я как-то 12 штук рассказывал одному клиенту. Например, идёт должник банка мимо отделения банка, ему сообщение: "вы проходите мимо нашего отделения, зайдите и погасите кредит". Давит на психику должника. Средства спама и антиспама. Работа с веб-данными (а это огромные объемы).
...
Рейтинг: 0 / 0
26.07.2017, 13:44
    #39495270
Sintetik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
КэптенНапример, идёт должник банка мимо отделения банка, ему сообщение: "вы проходите мимо нашего отделения, зайдите и погасите кредит". Давит на психику должника. Средства спама и антиспама. Работа с веб-данными (а это огромные объемы).
Очень плохой пример, это уже отслеживание местоположения человека, можно и иск отгрести.
А в целом для работника выгодно чтобы система(софт, железо, работы) на которой он работает стоила как можно дороже. Если компания экономит на системе, значит скоро начнет экономить и на работнике. Перефразируя известного застройщика-сидельца "Компании у которых нет денег на exadata(нужное вписать) могут идти в ..."
...
Рейтинг: 0 / 0
26.07.2017, 14:05
    #39495296
982183
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
Полковник.80% данных, а то и больше, это же полный шлак, копаться в этом шлаке в поиске золота?
Совершенно точно.
Осталось понять, как вычленить эти 80% из массива данных.
...
Рейтинг: 0 / 0
26.07.2017, 14:53
    #39495334
Полковник.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
982183Полковник.80% данных, а то и больше, это же полный шлак, копаться в этом шлаке в поиске золота?
Совершенно точно.
Осталось понять, как вычленить эти 80% из массива данных.
О каком массиве данных идёт речь? Я говорю, что 80% любых данных предприятия это мусор и копание в мусоре никакого эффекта не приносит. Мы тут до сих пор остатки 15 го года пересчитываем и перегружаем, потому что все что нам выдавали учётные системы это оказывается был полный шлак.
...
Рейтинг: 0 / 0
26.07.2017, 15:10
    #39495350
982183
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
Полковник.О каком массиве данных идёт речь?
Любом.
...
Рейтинг: 0 / 0
26.07.2017, 15:30
    #39495369
Yo.!
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
Полковник.О каком массиве данных идёт речь? Я говорю, что 80% любых данных предприятия это мусор и копание в мусоре никакого эффекта не приносит. Мы тут до сих пор остатки 15 го года пересчитываем и перегружаем, потому что все что нам выдавали учётные системы это оказывается был полный шлак.
нахрена такой канторе вообще DWH, если даже остатки не в состоянии загрузить ? и смысл в них спустя 2 года ? подозреваю "предприятие" как эти два года жило без DWH и следующие проживет без этого DWH.
...
Рейтинг: 0 / 0
26.07.2017, 18:37
    #39495524
Alex_496
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
Полковник.982183пропущено...

Совершенно точно.
Осталось понять, как вычленить эти 80% из массива данных.
О каком массиве данных идёт речь? Я говорю, что 80% любых данных предприятия это мусор и копание в мусоре никакого эффекта не приносит. Мы тут до сих пор остатки 15 го года пересчитываем и перегружаем, потому что все что нам выдавали учётные системы это оказывается был полный шлак.

:)
ну у нас тоже то 200+ млн. руб. недостачи несколько месяцев жили и не замечали, то 7 млрд. руб. в прошедшие периоды пропали.
Но корпоративная этика превыше всего как ангулярность агилистического скрама
...
Рейтинг: 0 / 0
26.07.2017, 19:20
    #39495544
Полковник.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
982183Полковник.О каком массиве данных идёт речь?
Любом.
Отличный ответ.
...
Рейтинг: 0 / 0
26.07.2017, 21:22
    #39495589
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Что так все носятся с этой bigdata-ой?
Полковник.Я говорю, что 80% любых данных предприятия это мусор и копание в мусоре никакого эффекта не приносит. Мы тут до сих пор остатки 15 го года пересчитываем и перегружаем, потому что все что нам выдавали учётные системы это оказывается был полный шлак.дак, а причём здесь бигдата то?
если вам привезли гвозди, а у вас отвёртка, то отвёртка не плоха, отнюдь.
опять же, ваша мысль понятна, но вот вы рассуждаете прямолинейно, как разработчик (ну, так это выглядит, могу ошибаться), а с позиции архитектора и топ-менеджера (ну, так, сферического) бигдату вы поднимете не сразу, а за это время и данные из первичек почистят и глядишь НСИ и МДМ как нибудь подтянут...
короче не складывать все яйца к вам в карман.
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Что так все носятся с этой bigdata-ой? / 25 сообщений из 59, страница 1 из 3
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]