|
|
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
2 George Nordic: ;) Взять исходные данные за 3 года по SKU и по дням - вполне логично. Прекрасно, возьмите данные за 2007, 2008 и 2009 год и постройте прогноз. Посмеемся. Зачем мне старые данные? Я возьму данные за последние 3 года. Перечитайте внимательно Ваш пост, Вы не говорили что ритейлер хочет взять более старые данные. Успешные проекты по прогнозированию в разрезе SKU имеют место в России... Согласен. У кого очень немного SKU или они сильно разные, со слабой корреляцией между собой в плане каннибализации - FMCG производители, например. Мне известны успешные проекты в ритейле и дистрибуции, там очень много SKU. Прогноз будет делаться не на 3 года, это тоже понятно, обычно прогнозируют недель на 10 вперед. Да?? "А ребята-то не знают" :) Я говорю о реальных проектах. В разрезе SKU при широком ассортименте не так важно и нужно прогнозировать на год вперед, достаточно нескольких недель, чтобы корректно управлять закупками, производством и логистикой. Дело в том, что нельзя вести прогнозирование на уровне SKU. Вот эту Вашу цитату надо запостить в социальные сети, будет грандиозное обсуждение ;) Я понимаю о чем Вы пишете, но жизнь более многообразна, во многих случаях прогнозируют по каждому SKU, не учитывают все факторы, и т.п. Если ритейлер умный - то у него все получится, особенно если он возьмет дефолтный инструмент Почему-то я не видел еще ни одного крупного ритейлера, который бы выбрал "default BI". С кем работаю - Х5, Магнит, Леруа, Лента, Детский Мир и прочие - почему-то выбирают именно Qlik. Под дефолтным инструментом я имел в виду лучшую систему прогнозирования и управления запасами, а не Default BI. Ни Cognos BI, ни Qlik, не заточены под задачи прогнозирования и управления запасами. Я понимаю, что у Вас связаны руки, и Вам нужно для любых задач предлагать Qlik. Я же выбираю для каждого класса задач лучшее решение в своем классе, независимо от принадлежности к тому или иному вендору, чтобы проекты были максимально успешными. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.12.2017, 13:02 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
George Nordic, вставлю 5 копеек за IBM:) У IBM очень хорошие , если не лучше инструменты для прогнозирования начиная от SPSS Statistica и далее Modeler и т.п. (я бы даже добавил, исторически). Я во всех своих проектах, когда стоит задача поставить процесс прогнозирования использую их , т.к. можно очень быстро оценить , что за данные перед вами, какие модели подойдут лучше, стоит ли их категорировать и т.д. и т.п. Тот же R скорее дополнение к функционалу. Задача по прогнозирования в ветке очень размыта . Прогнозирование по ассортиментная матрице B2B какого-нибудь завода производителя и B2C торговой сети, вещи разные. Иногда категоризация нужна, иногда нет, иногда в категории есть несколько SKU-локомотивов, которые стоит ручками прогнозировать, а остальное нет и т.п. Вот хорошая точность прогноза на ассортиментной матрице в 10 000 sku на ваш(или ваших заказчиков) взгляд какая? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.12.2017, 13:14 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
просто Cognos стал плохо покупаться а впрочем, без особой разницы каким ПО смотреть хорошо подготовленные согласованные данные DWH. А вот с DWH-ми что-то грустно, так еще нигде и не видел, чтобы впечатлиться, чтобы вах! Может, это только в банках такая карма. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.12.2017, 13:14 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
George NordicДело в том, что нельзя вести прогнозирование на уровне SKU. Юрий сделал вид, что не прочитал слово "магазины" и сразу съехал на более общую фразу "корректно управлять закупками, производством и логистикой". Понятно, что на заводе гайка одна от гайки второй с одинаковыми размерами отличается кардинально, один производитель из одного металла делает, другой из другого. Тут логистика на уровне SKU. Но, Юрий, это ведь не продажи. А производство и закупки для него. Не придирайтесь к фразам, контекст которых Вы ведь поняли. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.12.2017, 13:33 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
Alex_496просто Cognos стал плохо покупаться а впрочем, без особой разницы каким ПО смотреть хорошо подготовленные согласованные данные DWH. А вот с DWH-ми что-то грустно, так еще нигде и не видел, чтобы впечатлиться, чтобы вах! Может, это только в банках такая карма. У банков карма называется "ЦБ", у простых смертных называется "изменения НК РФ и новый конфиг 1С". Когда учетные системы постоянно меняются, чтобы владельцы бизнеса не получили штрафы - DWH не могут быть априори кошерными. И получается не "ах", а "ой-вей". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.12.2017, 13:35 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
bbx1389У IBM очень хорошие , если не лучше инструменты для прогнозирования начиная от SPSS Statistica и далее Modeler и т.п. (я бы даже добавил, исторически).Точно! Я ж ими и занимался! :) Кстати, полностью согласен - к бюджетированию плюсую и предиктивную аналитику. :) Возвращаясь к "темным данным" и методах работы с ними - вот на том же datamining я понял простую вещь: если заказчику это надо - телеком, соц.сети, некоторые крупные банки - они так все прекрасно знают. У них свои есть аналитики, которые на R / python / matlab с огромной скоростью пишут, и ничего им не нужно - еще и интегратору рассказать могут. А если компании не надо или она не понимает ценность - убедить их в том, что ей нужно нормальное прогнозирование или там "тёмные данные" осветлить - практически нереально. С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.12.2017, 13:41 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
bbx1389George Nordic, вставлю 5 копеек за IBM:) У IBM очень хорошие , если не лучше инструменты для прогнозирования Маленький шажок в сторону - это все потому, что IBM работает на Пентагон, да и создавалась с целью обслуживания ВПК США, а у военных задачи прогнозирования всегда на первом месте, начиная с мобилизации... Так что все разработчики, которые понимают прогнозирование, и дальше будут идти в стены IBM. Им там самое место. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.12.2017, 13:41 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
Ну, тут было бы неправильно SAS не упомянуть... В итоге, лично у меня сложилось впечатление, что SAS Dataminer и IBM SPSS делают работу с Dataminig проще для аналитиков, и не требуют такой сильной подготовки. Однако, продвинутые аналитики прекрасно себе используют и бесплатные пакеты - от вышеупомянутых до специализированных mahout для hadoop и прочих... Главным минусом, это, пожалуй и было - конечных потребителей было не так много, а те, что есть - и так прекрасно разбираются в данных технологиях и готовы использовать бесплатную альтернативу. Как бы не вышло того же самого и с темными данными... С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.12.2017, 14:30 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
2 bbx1389: вставлю 5 копеек за IBM:) У IBM очень хорошие , если не лучше инструменты для прогнозирования начиная от SPSS Statistica и далее Modeler Да, инструменты хорошие, но есть более удобные инструменты для прогнозирования, не от IBM (особенно когда велики объемы данных, велико число пар SKU-склад). Да и в плане патриотичности, если посмотреть на карту России/Украины, IBM немного отстает ;) 2 Alex_496: А вот с DWH-ми что-то грустно, так еще нигде и не видел, чтобы впечатлиться, чтобы вах В этом плане стоит смотреть ХД, которые формируются с помощью искусственного интеллекта. Если там даже что-то будет не идеальным, то ИИ можно дополнительно обучать. 2 Andy_OLAP: Дело в том, что нельзя вести прогнозирование на уровне SKU. Юрий сделал вид, что не прочитал слово "магазины" и сразу съехал на более общую фразу "корректно управлять закупками, производством и логистикой". Понятно, что на заводе гайка одна от гайки второй с одинаковыми размерами отличается кардинально, один производитель из одного металла делает, другой из другого. Тут логистика на уровне SKU. Но, Юрий, это ведь не продажи. А производство и закупки для него. Не придирайтесь к фразам, контекст которых Вы ведь поняли Перечитайте дискуссию. Мы с г-ном George Nordic говорили именно о магазинах, о ритейле, там прогнозируются продажи, и я знаю успешные проекты когда прогнозы в разрезе SKU. Для чего делаются прогнозы продаж по SKU - чтобы формировать планы закупок и логистики по SKU. А когда производственное предприятие анализирует данные по вторичным продажам в ритейле, то дополнительно решается задача управления производством (на основе того, какие ожидаются продажи). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.12.2017, 14:34 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
Jurii и я знаю успешные проекты когда прогнозы в разрезе SKU. И я тоже знаю. И все мы знаем, что это за SKU такие. Женская косметика в FMCG. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.12.2017, 17:01 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
ну раз уж тема про новые термины в области анализа данных, то предлагаю вот такое толкование понятия "Хранилище данных": Училище -> Удилище -> Седалище -> Чистилище -> Влагалище -> Жилище -> {Забугорище} ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2017, 15:13 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
Jurii В этом плане стоит смотреть ХД, которые формируются с помощью искусственного интеллекта. Если там даже что-то будет не идеальным, то ИИ можно дополнительно обучать. Интересно, а есть описание как это работает? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2017, 16:31 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
2 Andy_OLAP: и я знаю успешные проекты когда прогнозы в разрезе SKU. И я тоже знаю. И все мы знаем, что это за SKU такие. Женская косметика в FMCG. Не напомните, какая там из дефолтных систем используется для прогнозирования? Можно в личку. Я имел в виду другие проекты. 2 bideveloper: В этом плане стоит смотреть ХД, которые формируются с помощью искусственного интеллекта. Если там даже что-то будет не идеальным, то ИИ можно дополнительно обучать. Интересно, а есть описание как это работает? Пока идет тестирование ИИ на первых проектах, тема достаточно инновационная и конфиденциальная, документация в открытый доступ не выкладывается. Если кратко, то ИИ заменяет работу аналитиков/архитекторов (которые спрашивают у ключевых пользователей, что им нужно в ХД, какие отчеты/аналитика/факт для бюджетов и проектируют ХД) и ИТ специалистов (которые создают ХД и разрабатывают процедуры перекачек данных/вычислений). Берутся одна или несколько баз учетных систем на одном или нескольких серверах, устанавливается база знаний ИИ, запускаются процедуры ИИ - сначала формируются типовые таблицы фактов и справочников, а потом ИИ определяет, что было кастомизировано, и формирует дополнительные таблицы фактов и справочников. Далее формируются коннекторы к таблицам фактов для дефолтного BI, чтобы можно было по-быстрому создать OLAP-кубы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2017, 17:26 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
Если кратко, то ИИ заменяет работу аналитиков/архитекторовЭто все глубокая туфта. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2017, 17:36 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
JuriiНе напомните, какая там из дефолтных систем используется для прогнозирования? В FMCG дефолтная система - это SSAS из Редмонда. Впрочем, она таки дефолтная и в целом в РФ, и даже не только в РФ. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2017, 19:25 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
LSVЕсли кратко, то ИИ заменяет работу аналитиков/архитекторовЭто все глубокая туфта. ИИ - это не Искусственный Интеллект, это Имитация Интеллекта. Те, кто запрограммируют "ИИ" на работу вместо аналитиков/архитекторов, будут потом переделывать переучивать "ИИ" на нормальную работу еще долго и долго. Зарплата, рабочие места, "вот это всё" (с) Так что пусть Юрий работает в этом направлении - всем ведь работы прибавится в конечном итоге. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2017, 19:27 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
2 Andy_OLAP: Не напомните, какая там из дефолтных систем используется для прогнозирования? В FMCG дефолтная система - это SSAS из Редмонда. Впрочем, она таки дефолтная и в целом в РФ, и даже не только в РФ. Я не слышал, чтобы SSAS использовалась для прогнозирования, SAS и SPSS более популярны, хотя и они не дотягивают до дефолтного уровня. Судя по Вашему акценту, Вы говорите про проекты не в России, а в более южной стране ;) Если кратко, то ИИ заменяет работу аналитиков/архитекторов ИИ - это не Искусственный Интеллект, это Имитация Интеллекта. Те, кто запрограммируют "ИИ" на работу вместо аналитиков/архитекторов, будут потом переделывать переучивать "ИИ" на нормальную работу еще долго и долго. Зарплата, рабочие места, "вот это всё" (с) Так что пусть Юрий работает в этом направлении - всем ведь работы прибавится в конечном итоге. Вот это разумно, когда машины восстают - начинать работать на них, а не стараться с дикой скоростью печатать код для ХД на клавиатуре (ИИ создает код с недосягаемой для ИТ специалиста производительностью). Обучение ИИ не так трудоемко, и в текущем варианте базы знаний для ИИ уже создаются полноценные хранилища данных за несколько часов из нескольких баз-источников. Я думаю что рынок ХД будет постепенно переформатироваться, будет увеличиваться доля быстрых проектов по ХД с помощью ИИ, и аналитики с ИТ специалистами будут востребованы для других задач (например, осуществлять поддержку и мелкие доработки ХД, разрабатывать отчеты/дашборды в дефолтном BI, и т.п.). 2 LSV: Если кратко, то ИИ заменяет работу аналитиков/архитекторов Это все глубокая туфта. Вы считаете, что машину нельзя обучить тому, что делают аналитики/архитекторы в проекте разработки ХД? Даже шахматам недавно ИИ обучили, а шахматы сложнее, чем ХД ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2017, 10:06 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
авторВы считаете, что машину нельзя обучить тому, что делают аналитики/архитекторы в проекте разработки ХД?Можно обучить тому, что они рутинно делают. Но это не ИИ. Набор хороших отчетов сокращает кол-во аналитиков в 3 раза, которые ранее только тем и занимались, что из кучи отчетов днями лепили мутные эксельчики для руководства. Извлечение из ХД какой-то новой аналитики ? Дык какой же это ИИ ? Это в сотый раз очередной отчет/дашборд. зы: У нас даже должность есть "аналитик консолидированной информации". Хненачит из BI в эксельчики... :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2017, 11:14 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
2 LSV: Вы считаете, что машину нельзя обучить тому, что делают аналитики/архитекторы в проекте разработки ХД? Можно обучить тому, что они рутинно делают. Но это не ИИ. Набор хороших отчетов сокращает кол-во аналитиков в 3 раза, которые ранее только тем и занимались, что из кучи отчетов днями лепили мутные эксельчики для руководства. Извлечение из ХД какой-то новой аналитики ? Дык какой же это ИИ ? Это в сотый раз очередной отчет/дашборд. зы: У нас даже должность есть "аналитик консолидированной информации". Хненачит из BI в эксельчики... :) Вам приходилось разрабатывать ХД из нескольких источников данных? Мы тут обсуждаем ИИ, который проектирует и формирует буферную область ХД, таблицы справочников и фактов, аналитические витрины данных, создает процедуры загрузки, трансформации, агрегации, обогащения данных, геокодирование, и т.п. А Вы говорите про готовое ХД, про то что делают отчеты, выгружают их в MS Excel... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2017, 11:52 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
Опять пошли мухи с котлетами, Andy_Olap намекает что ИИ человечество пока не придумало (в практическом плане), т.е. его не существует кроме как в форме маркетингового термина (и когда кто-то говорит что применяет ИИ - ну тут уже без комментариев..) несмотря на то что разговоры об этом идут десятилетия, есть модели с некоторой гибкостью параметры которых "обучаются" (в примитивном понятии уровня средней школы - найти коэффициент{ы} регрессии). Так что тут скорее речь об алгоритмах со специфичной логикой в области ХД а не ИИ (что по факту всё ещё научная фантастика) Функционально задачи аналитиков тоже несколько другие - они скорее пользователи отчётов (создатели их в основном для себя, т.е. конечная стадия подготовки данных для анализа), аналитик (тавтология) анализирует/исследует, делает выводы, идентифицирует формы/типы, занимается классификацией, часто собственно принимает и передаёт решения (в крупных организациях воплощаемые другими) Единственная отчётная функция аналитика - форматирование выводов/результатов анализа - но это не настолько крупная функция в общем объёме и кроме того - довольно динамичная (каждый отчёт другой по форме), т.е. тут важна удобность платформы. П.С. В SSAS есть как математическое фукции (напр. регрессии, корелляции) так и отдельная специализированная функциональность через DMX - оба варианта (вместе и каждый в отдельности) в моей профессиональной практике применялись для прогнозирования в том числе. (хотя сейчас MS предложило как отдельную облачную платформу для ML {даже с прямыми Web-Интерфейсами в Excel и пр. локальными приложениями через API} так и встроенную в SQL DB функциональность R - вот туда понемногу и переход ожидается в ближайшее время). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2017, 12:23 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
vikkivчеловечество пока не придумало (в практическом плане), т.е. его не существует кроме как в форме маркетингового термина ... ну новости это года, меня лично впечатлили: "За 4 часа игры сама с собой нейронная сеть AlphaZero, получив на входе только правила, превзошла в шахматах не только людей и их полторы тысячи лет опыта, но и все существующие компьютерные программы, в том числе сильнейший Stockfish" https://science.d3.ru/neironnaia-set-alphazero-okonchatelno-dobila-shakhmaty-1501320/?sorting=rating ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2017, 12:31 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
StarikNavy, может я как не специалист что-то путаю но NN является обучаемым (или как у нас называют тренируемым) алгоритмом (пошаговый набор инструкций) а не ИИ (как конструировать алгоритмы). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2017, 13:04 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
..хоть и в NN в некотором роде есть такие элементы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.12.2017, 13:06 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
vikkiv, Я в целом согласен с Игорем Ашмановым. Когда он разделяет ИИ на голливудский и технический , ссылка на его выступление в Сколково в марте 2015-го. Еще он рассуждает, что А есть понимание искусственного интеллекта у тех, кто этим занимается профессионально. Во-первых, этот термин неправильно переведён Artificial intelligence – в переводе означает “искусственное понимание” . Ну и замечательная цитата про то, что люди сами то до конца не понимают, как они мыслят, и что вообще такой интеллект. Существует серьёзная проблема, заключающаяся в том, что человечество не смогло ни в науке, ни в философии определить понятие "осознавать". Мы про себя не знаем, как достоверно установить, что мы себя осознаём, и что это значит. То есть теории интеллекта по-настоящему не существует. Так же как осознания и понимания. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.12.2017, 21:03 |
|
||
|
Тёмные данные
|
|||
|---|---|---|---|
|
#18+
vikkivФункционально задачи аналитиков тоже несколько другие - они скорее пользователи отчётов (создатели их в основном для себя, т.е. конечная стадия подготовки данных для анализа), аналитик (тавтология) анализирует/исследует, делает выводы, идентифицирует формы/типы, занимается классификацией, часто собственно принимает и передаёт решения (в крупных организациях воплощаемые другими) Единственная отчётная функция аналитика - форматирование выводов/результатов анализа - но это не настолько крупная функция в общем объёме и кроме того - довольно динамичная (каждый отчёт другой по форме), т.е. тут важна удобность платформы. Я вообще думаю, что Юрий таки поможет допилить некий "ИИ", который на платформе Cognos BI будет собирать некие хранилища для неких аналитиков. И даже завалит их сотнями и тысячами отчетов. Но тут есть два "но". 1. Аналитики утонут в этом потоке информации, потому что сначала они определяют, что анализировать собираются, а потом уже под это дело отчеты собирают. 2. Они будут анализировать не то. Собирать копейку к копейке на анализе out-off-stock, когда условно можно продавить одного поставщика по ценам закупки - и получить на десятки и сотни рублей вместо копеек. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.12.2017, 21:06 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=39566551&tid=1858024]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
158ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
58ms |
get tp. blocked users: |
2ms |
| others: | 12ms |
| total: | 273ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...