|
|
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Jurii Рано или поздно возникает нестандартная задача и если вы не имеете доступа к его коду, то не можете этот кастомный вопрос решить и начинают возникать жуткие костыли. Доступ к коду в решениях класса DWA - это решаемый вопрос. Здравствуйте, Юрий. Если решаемый, то хорошо. Если не решаемый, то плохо ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.12.2018, 13:11 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
tarrusЭто же был сарказм. Именно :) Спасибо. Даже не понимаю, как это иначе можно было истолковать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.12.2018, 13:34 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Evolex_, А какого объёма данные вы обрабатывали с помощью DWA. Потому что много разговоров, а потом выясняется, речь идет о 2-5 миллионах строк в самой большой таблице. При сотнях лямов, лярдах это динамическое SCD2 ляжен, вам доступ к системам источникам просто закроют, если вы будете там полные сканы делать, вычисляя SCD2 . ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.12.2018, 16:03 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
a_voroninЯ так заявляю, потому что наша команда по факту выиграла конкуренцию с альтернативным решением на DWA инструменте, который как раз не позволял гибко настраивать показатели под потребности бизнеса. Несмотря на свой скептицизм по отношению к DWA в целом и адепту этого культа в частности, я не могу согласиться с этим аргументом. 1. Это один частный случай. Неполное индуктивное умозаключение, слабая доказательность. Увидев одно, увидел все, ага. 2. Весьма затруднительно определить действительную причину провала Ханы, тем более сейчас. Возможен целый ряд причин, не связанных с инструментом, например: внедренцы могли не справиться, могли быть введены в заблуждение бизнесом, могли различаться требования к решениям, и т.п. 3. Гибкость решения в отношении к потребностям бизнеса - не идол и не предмет поклонения. Решение без жесткого архитектурного костяка - это бесформенный кусок протоплазмы, ужас для поддержки и доработки из-за повсеместной кастомности и неочевидной внутренней логики. Лично я считаю, что требование гибкости должно применяться не к решению, а его к архитектору. Именно он должен изогнуться и адаптировать настойчивые требования бизнеса к жесткой архитектуре решения. P.S. Соглашаюсь с тем, что проблема DWA - это проблема расширяемости. Если инструмент DWA сможет покрывать 90% потребностей стандартным функционалом и 10% - кастомными расширениями, то я на месте встану на колени, признаюсь ему в любви и предложу руку и сердце до конца жизни. a_voroninEvolex_, А какого объёма данные вы обрабатывали с помощью DWA. Потому что много разговоров, а потом выясняется, речь идет о 2-5 миллионах строк в самой большой таблице. При сотнях лямов, лярдах это динамическое SCD2 ляжен, вам доступ к системам источникам просто закроют, если вы будете там полные сканы делать, вычисляя SCD2 . Более трех месяцев назад я задавал аналогичный вопрос, так и оставшийся без ответа:Но вернемся к элементарной задаче ХД - разрешению идентификатора. Загрузка обновляет некую сущность ХД порцией строк. Как эффективно выбрать для каждой строки порции стратегию обновления (Insert/Update/Delete/Ignore)? Примечание: мелочь неинтересна, пусть сущность содержит от 100 млн. строк, порция - от 100 тыс. Каким образом ETL (не ELT!) сопоставить указанные количества бизнес-ключей? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.12.2018, 16:43 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
.Евгений, ты же пришел позже всей этой катавасии с САП ХАНО'Й. Я вот застал разгон команды. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.12.2018, 16:51 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
[quot .Евгений] Более трех месяцев назад я задавал аналогичный вопрос, так и оставшийся без ответа:Но вернемся к элементарной задаче ХД - разрешению идентификатора. Загрузка обновляет некую сущность ХД порцией строк. Как эффективно выбрать для каждой строки порции стратегию обновления (Insert/Update/Delete/Ignore)? Примечание: мелочь неинтересна, пусть сущность содержит от 100 млн. строк, порция - от 100 тыс. Каким образом ETL (не ELT!) сопоставить указанные количества бизнес-ключей? Допустим есть CDC или ROWVERSION или архив с CSV, как дальше действуем? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.12.2018, 16:53 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
a_voronin.Евгений, ты же пришел позже всей этой катавасии с САП ХАНО'Й. Я вот застал разгон команды. Вот именно, потому и говорю - я не знаю реальной причины. У тебя, вероятно, есть своя версия. У внедренцев, возможно, своя. Но не думаю, что кому-то было интересно докопаться до реальной причины провала. Ну не то место, не те люди... [quot a_voronin].ЕвгенийДопустим есть CDC или ROWVERSION или архив с CSV, как дальше действуем? Лично я в последнее время испытываю кайф от шины как источника данных, как кот от валерьянки. Свобода от потрохов источников в обмен на мелкие проблемы с хранением и индексацией XML - это ли не счастье? Поток из систем-источников я прогоняю через собственноручно написанный пополняемый кеш в памяти, соответствующий нужным полям ХД, аналогично лукапу. Работает быстро, но хранить в памяти данные по всем строкам не хочется. Поэтому буду работать над кешем дальше. До этого для непосредственного сравнения предпочитал Outer Merge Join внутри ETL, когда была возможность сортировки данных на стороне системы-источника (с ХД обычно проще). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.12.2018, 17:19 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Рано или поздно возникает нестандартная задача и если вы не имеете доступа к его коду, то не можете этот кастомный вопрос решить и начинают возникать жуткие костыли. Доступ к коду в решениях класса DWA - это решаемый вопрос. Здравствуйте, Юрий. Если решаемый, то хорошо. Если не решаемый, то плохо Своими руками я не раз кастомизировал код Исина, выполняющего функции DWA. По другим вопросам по поводу объемов данных - есть единичные компании с очень большими объемами данных, для этих компаний использование DWA может оказаться менее разумным, чем нанять команду экспертов класса Homo sapiens. Если работать над повышением ВВП России, то нужно одновременно выполнять тысячи проектов DWH/BI, и эксперты не смогут масштабироваться. А вот искусственный интеллект сможет легко. И у большинства предприятий объемы данных не так велики. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.12.2018, 18:02 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Так, в прошлый раз все "покажите ну а как а что да это не правда" резко закончились когда предложил сформулировать список вопросов для демонстрации. В списке вопросов есть демонстрация работы больших persistent staging, кстати, можете проголосовать (это большие SCD2 на входе в хранилище )))) у меня есть информация что есть примеры с терабайтами в одной таблице SQL Server ))) можем повторить процесс )))) ниже голосование за список вопросов для демонстрации DWA ))) (только что добавил "plans for big data clusters support") Evolex_Всем привет. Голосуем ))) http://www.rkursem.com/poll/view.php?id=72d2816ffbd66d455 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.12.2018, 23:16 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Evolex_Так, в прошлый раз все "покажите ну а как а что да это не правда" резко закончились когда предложил сформулировать список вопросов для демонстрации. В списке вопросов есть демонстрация работы больших persistent staging, кстати, можете проголосовать (это большие SCD2 на входе в хранилище )))) у меня есть информация что есть примеры с терабайтами в одной таблице SQL Server ))) можем повторить процесс )))) ниже голосование за список вопросов для демонстрации DWA ))) (только что добавил "plans for big data clusters support") Evolex_Всем привет. Голосуем ))) http://www.rkursem.com/poll/view.php?id=72d2816ffbd66d455 боюсь никому не интересны самопальные скриптики от компании студентов, поленившихся даже документацию написать. где техническая документация ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2018, 11:36 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
H5N1, "Никому не интересны" Я не против )))))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2018, 11:46 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Evolex_Так, в прошлый раз все "покажите ну а как а что да это не правда" резко закончились когда предложил сформулировать список вопросов для демонстрации. В списке вопросов есть демонстрация работы больших persistent staging, кстати, можете проголосовать (это большие SCD2 на входе в хранилище )))) у меня есть информация что есть примеры с терабайтами в одной таблице SQL Server ))) можем повторить процесс )))) ниже голосование за список вопросов для демонстрации DWA ))) (только что добавил "plans for big data clusters support") Evolex_Всем привет. Голосуем ))) http://www.rkursem.com/poll/view.php?id=72d2816ffbd66d455 Вот вам две задачи из реальной практики 1) Есть User (UserId) Orders (OrderId, UserId, Date) Refunds(OrderId, Date) -- объем 300 лямов Пользователь Заказ Возврат Надо сделать таблицу фактов заказов с измерением "порядковый номер заказа" пользователя. Fact.Orders(OrderId, UserId, UserOrderNumber) При возврате, последовательность должна пересчитываться, чтобы исключить возврат. Поступление заказов по порядку Date не гарантируется. 2) Есть PriceBase(SKU, StartDate, Price_RU, Price_KZ, Price_BY), BaseDiscountPrice(SKU, StartDate, EndDate, Price_RU, Price_KZ, Price_BY), DiscountPrice(SKU, StartDate, EndDate, Price_RU, Price_KZ, Price_BY) -- объем 100 лямов Приоритет цены 1) DiscountPrice 2) BaseDiscountPrice 3) PriceBase В таблице PriceBase есть дубли и повторы (также цена на более позднюю дату). Необходимо получить SCD2 по ценам -- для каждого SKU историю цен без дублей и повторов. Поступление по порядку не гарантируется. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2018, 12:25 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
a_voronin, Даже вчитываться не буду ))) Хотите ответ - переводите на ангийский, добавляете заголовок в список вопросов (вместе с ссылкой на перевод всего вопроса, видимо). Как набирается какое-то существенное количество вопросов/проголосовавших делаем демонстрацию )) Ну и я всем напоминаю ) вы всегда можете напрямую спросить что хотите всех 26 (минимум) представителей рынка DWA. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2018, 12:52 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Evolex_a_voronin, Даже вчитываться не буду ))) Хотите ответ - переводите на ангийский, добавляете заголовок в список вопросов (вместе с ссылкой на перевод всего вопроса, видимо). Как набирается какое-то существенное количество вопросов/проголосовавших делаем демонстрацию )) Ну и я всем напоминаю ) вы всегда можете напрямую спросить что хотите всех 26 (минимум) представителей рынка DWA. Не смог удержаться под Новый Год ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2018, 12:57 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
.ЕвгенийEvolex_a_voronin, Даже вчитываться не буду ))) Хотите ответ - переводите на ангийский, добавляете заголовок в список вопросов (вместе с ссылкой на перевод всего вопроса, видимо). Как набирается какое-то существенное количество вопросов/проголосовавших делаем демонстрацию )) Ну и я всем напоминаю ) вы всегда можете напрямую спросить что хотите всех 26 (минимум) представителей рынка DWA. Не смог удержаться под Новый Год Опередил! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2018, 12:58 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Расширяем определение )))) Люди, которые в IT темах рассуждают про зло, бороду бога, слонов, серебряные пули и рептилоидов ))) А так же те которые Прут на бизнес "логикой" ))))) а понимание деталей рынка DWA полностью вытеснило слово /мотороллер/ ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2018, 13:09 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Evolex_a_voronin, Даже вчитываться не буду ))) Хотите ответ - переводите на ангийский, добавляете заголовок в список вопросов (вместе с ссылкой на перевод всего вопроса, видимо). Как набирается какое-то существенное количество вопросов/проголосовавших делаем демонстрацию )) Ну и я всем напоминаю ) вы всегда можете напрямую спросить что хотите всех 26 (минимум) представителей рынка DWA. В общем очередная оторванная от практики болтовня, рассчитанная на пускание бизнесу пыли в глаза с целью продать коробку с "решением" и умыть руки. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2018, 13:22 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
DWA, вы в ответе за тех, кого приручили... С одной стороны, человек старательно пытается поддержать интерес к DWA. Например, рассказывает, как нажатием кнопки генерировал 3х уровневое хранилище. С другой стороны, он ни единого разу не попытался приложить поставленные перед ним примеры задач (отмечу: явно не высокой сложности) на эти 3 уровня ХД. Я уж не говорю о том, чтобы продемонстрировать работающее решение. Хотя именно это и интересует присутствующих здесь. Выводы относительно человека и DWA каждый может сделать самостоятельно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2018, 13:41 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
.Евгений DWA, вы в ответе за тех, кого приручили... С одной стороны, человек старательно пытается поддержать интерес к DWA. Например, рассказывает, как нажатием кнопки генерировал 3х уровневое хранилище. С другой стороны, он ни единого разу не попытался приложить поставленные перед ним примеры задач (отмечу: явно не высокой сложности) на эти 3 уровня ХД. Я уж не говорю о том, чтобы продемонстрировать работающее решение. Хотя именно это и интересует присутствующих здесь. Выводы относительно человека и DWA каждый может сделать самостоятельно. Ну, что же вы так сразу. А как же искрометный юмор и доброжелательные смайлики? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2018, 13:45 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
.Евгений DWA, вы в ответе за тех, кого приручили... С одной стороны, человек старательно пытается поддержать интерес к DWA. Например, рассказывает, как нажатием кнопки генерировал 3х уровневое хранилище. С другой стороны, он ни единого разу не попытался приложить поставленные перед ним примеры задач (отмечу: явно не высокой сложности) на эти 3 уровня ХД. Я уж не говорю о том, чтобы продемонстрировать работающее решение. Хотя именно это и интересует присутствующих здесь. Выводы относительно человека и DWA каждый может сделать самостоятельно. Да вот такую коробку с САП ХАНО'Й и продали потратив кучу денег базнеса, а как возникла задача что-то нетривиальное посчитать вроде оборачиваемости склада или эффективности скидок, так сказали, что мы такого не могём, потому как этого в коробке нет, а допилить не получится. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2018, 13:48 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
tarrus.Евгений DWA, вы в ответе за тех, кого приручили... С одной стороны, человек старательно пытается поддержать интерес к DWA. Например, рассказывает, как нажатием кнопки генерировал 3х уровневое хранилище. С другой стороны, он ни единого разу не попытался приложить поставленные перед ним примеры задач (отмечу: явно не высокой сложности) на эти 3 уровня ХД. Я уж не говорю о том, чтобы продемонстрировать работающее решение. Хотя именно это и интересует присутствующих здесь. Выводы относительно человека и DWA каждый может сделать самостоятельно. Ну, что же вы так сразу. А как же искрометный юмор и доброжелательные смайлики? Раз-два-три четыре пять DWA идем пилять, Це решение крутое, Всё пульнём одной ногою. Как увидим мы проблему, Так мы сразу сменим тему, Нам не нужно усложнять, Нужно бабки с ниши снять. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2018, 13:51 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
a_voroninкак возникла задача что-то нетривиальное посчитать вроде оборачиваемости склада или эффективности скидок, так сказали, что мы такого не могём, потому как этого в коробке нет, а допилить не получится . Именно так ни один вменяемый внедренец не скажет. Даже если он будет внедрять calc.exe. Для САПа, на кастомизации которого консультанты рубят запредельные бабки, это вообще из ряда вон. Вот если денег выделили только на коробку или консультанты типа некоторых присутствующих здесь (понятно, кого я имею в виду) - тогда да, такое услышать вполне реально. tarrusНу, что же вы так сразу. А как же искрометный юмор и доброжелательные смайлики? От ваших слов я на мгновение почувствовал себя Брейвиком: в руках карабин, под мышкой пистолет, много патронов с пропилами и целый остров консультантов типа некоторых присутствующих здесь. Да-да, доброжелательный смайлик на лице и искрометный юмор из дула! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2018, 14:07 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Evolex_.Евгений, У меня были вполне прозрачные цели создания этого обсуждения - кто и почему использует/не использует ))) Мои описания что такое DWA были больше off-topic - базовый ликбез. Бесплатная работа с вашими представлениями о "поиске серебряной пули" и нужно ли вам DWA или нет мне вообще неинтересны )))))))) Кстати, может вообще тему закроем? )))) я - за ))))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2018, 14:31 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Evolex_Evolex_.Евгений, У меня были вполне прозрачные цели создания этого обсуждения - кто и почему использует/не использует ))) Мои описания что такое DWA были больше off-topic - базовый ликбез. Бесплатная работа с вашими представлениями о "поиске серебряной пули" и нужно ли вам DWA или нет мне вообще неинтересны )))))))) Кстати, может вообще тему закроем? )))) я - за ))))) А баба яга против )))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.12.2018, 14:34 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=39750857&tid=1857698]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
145ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
51ms |
get tp. blocked users: |
1ms |
| others: | 14ms |
| total: | 247ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...