|
|
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Evolex_tarrus, А чего тогда пишешь авторЯ не поддерживаю? )))) То есть неитральное отношение в голову не пришло? Обязательно "не понравился"? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2018, 22:45 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
tarrus, Итак, от тебя прозвучали все 3 варианта по этому вопросу авторИван сказал дельные вещи авторНе поддерживаю (Ивана) авторНейтральное отношение Надо определяться, мне кажется ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2018, 22:47 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
tarrus, И у меня есть ощущение, что ты меня решил добить после того как я сказал что на ночь нельзя много смеяться )))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2018, 22:49 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
БумбарашEvolex_Я лично для POC использовал dimodelo - обычно люди в шоке когда видят как на их глазах выбираются типы атрибутов scd1 scd2 нажимается кнопка развернуть и генерируется 3х уровневое хранилище с persistence layer и сразу опимизированным кодом для pdw/azure. А алгоритм преобразования из источника в приёмник откуда берётся? А на главный вопрос ответа мы так и не получили. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2018, 22:49 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Evolex_tarrus, Итак, от тебя прозвучали все 3 варианта по этому вопросу авторИван сказал дельные вещи авторНе поддерживаю (Ивана) авторНейтральное отношение Надо определяться, мне кажется ))) Где противоречие то? У тебя жизнь черно-белая штоли? Сочувствую ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2018, 22:51 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
tarrus, Начинаются 30% Главный вопрос: авторЕсть идеи кроме особенностей классических российских продаж почему у нас не слышно об этом? ))) Главный ответ: авторBI Developer + vik + ivan + tarrus: нет и не надо (вообще не надо) Бумбарш + jurii: нет и не надо, мы давно в перед и без рынка готовых dwa Я + Alexxx : не выгодно тем кто зарабатывает на внедрении решений ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2018, 22:52 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Evolex_tarrus, Итак, от тебя прозвучали все 3 варианта по этому вопросу авторИван сказал дельные вещи авторНе поддерживаю (Ивана) авторНейтральное отношение Надо определяться, мне кажется ))) tarrus Где противоречие то? У тебя жизнь черно-белая штоли? Сочувствую ну то есть тебе нормально по одному вопросу высказать одновременно все 3 мнения, не, я не против, в принципе - нормальный подход ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.08.2018, 22:55 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
а то как показывает практика - время затраченное на освоение всяких сторонних свистулек средств а потом на его использование/поддержку обычно превышает default решение (на которое между прочим толковых и доступных специалистов на рынке труда - толпы), только вот потери на освоение уже не вернуть+500 А по факту - это еще один уровень абстракции возникающий над данными и их преобразованиями. +500 Вы то есть поддерживаете Ивана в идее что то что пишут про DWA про кратное увеличение производительности это происки маркетологов?А что же еще ? Судя по тормозам и глюкам современных продуктов, маркетологи уже начали писать код. :) Ну съэкономим мы 30% от этих 20%. Большой роли не сыграет. Зато придется вложиться в обучение. Где профит? +500 ЗЫ: зоопарк технологий - зло. И чем они многочисленнее и экзотичнее - тем зло злее. "Экономия" на эффективности решения быстро и полностью будет съедена отсутствием квалиф.специалиста в нужный момент или вынужденной миграцией на новый зоопарк. Риски будут намного критичнее скорости и удобства. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2018, 09:25 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Лично я не вижу смысла в поисках серебряной пули и универсального солдата инструмента. Не только по очевидной причине (разные потребности клиентов). И не потому, что разрабатываю кастомное решение, а не продукт. Более важна другая причина: потребность разработчика (руководителя разработки) в ощутимой оплате труда. Извините, за нажатие кнопки можно получить оплату один раз, два, ну три. Но потом клиенты просекут фишку, и лафа непременно закончится. Придется уходить из разработчиков ХД куда-то еще. P.S. Чье-то отсутствие юмора - не моя проблема. P.P.S. В настоящее время ваяю нестандартную загрузку ХД (нестандартная постановка). В SSIS-пакетах больше половины компонент - скрипты (в первой версии решения скрипты отсутствовали) . Не говорите мне сейчас про DWA. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2018, 12:01 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Добавляем мнения ))) BI Developer + vik + ivan + tarrus +L_argo (DWA - это зло) : нет и не надо (вообще не надо) Бумбарш + jurii: нет и не надо, мы давно в перед и без рынка готовых dwa Я + Alexxx + .Евгений(+серебряная пуля) : не выгодно тем кто зарабатывает на внедрении решений ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.09.2018, 16:03 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Evolex_, В вашу копилку 5 копеек. Допускаю , что для тиражируемых отраслевых решений эдакий "Starter kit" , возможно, даже необходим, чтобы хоть новички делали на уже основе этого кастомизацию, а не лепили непонятно что. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2018, 10:02 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Завидую Evolex_, что у него есть время делать какую-то статистику. Я так и не понял зачем, но... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2018, 10:43 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Добавляем мнения ))) BI Developer + vik + ivan + tarrus +L_argo (DWA - это зло) +Shtock (смысла нет, вообще нет) : нет и не надо (вообще не надо) Бумбарш + jurii: нет и не надо, мы давно в перед и без рынка готовых dwa Я + Alexxx + .Евгений(+серебряная пуля) : не выгодно тем кто зарабатывает на внедрении решений ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2018, 12:09 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Voyager_lan, Добоый день ) а не для тиражируемых? )) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2018, 12:10 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Evolex_, лучше продемонстрируйте, как некое DWA помогает в разрешении типовых задач ХД - разрешении идентификаторов, очистке данных. Как оно пишет агрегированную статистику выполнения (пакет XXX выполнялся пользователем YYY с timestamp1 по timestamp2, считал n1 строк, из них n2 полезных; отсеял n3 и очистил n4 грязных строк; вставил n5, обновил n6, удалил n7 чистых строк) Как создает лог с регулируемой детализацией вплоть до прохождения каждой строки через каждый компонент. Как создает обработчики ошибок выполнения пакетов. Потому что если DWA этого не делает, то оно мне не нужно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2018, 12:40 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
.Евгений, У меня были вполне прозрачные цели создания этого обсуждения - кто и почему использует/не использует ))) Мои описания что такое DWA были больше off-topic - базовый ликбез. Бесплатная работа с вашими представлениями о "поиске серебряной пули" и нужно ли вам DWA или нет мне вообще неинтересны )))))))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2018, 13:32 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
2 Evolex_: Рекомендую еще добавить, что наличие обученного Исина (в т.ч. с навыками DWA), который работает за еду, достаточно выгодно для тех "кто зарабатывает на внедрении решений", поскольку это сильно снижает себестоимость работ. При этом, для проектов, которые делает г-н .Евгений , Исина нужно немного дополнительно обучить ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2018, 13:34 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Jurii, Коллега, полностью с вами согласен в этом утверждении )) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2018, 13:38 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Evolex_.Евгений, У меня были вполне прозрачные цели создания этого обсуждения - кто и почему использует/не использует ))) Мои описания что такое DWA были больше off-topic - базовый ликбез. Бесплатная работа с вашими представлениями о "поиске серебряной пули" и нужно ли вам DWA или нет мне вообще неинтересны )))))))) Ну пошли-поехали детские обидки. Сначала объясни вам, почему не используют DWA. То вам вообще неинтересно, какие задачи, слегка выходящие за пределы элементарного ETL, могут поставить перед DWA. С такими нервами слонаDWA не продашь... JuriiПри этом, для проектов, которые делает г-н .Евгений , Исина нужно немного дополнительно обучить ;) Как, перед вашим Исином не ставили перечисленных задач? Ну извините, мне сложно считать адекватной загрузку ХД, не реализующей хотя бы половину сказанного. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2018, 15:48 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
.Евгений, Могу предожить вам убить вашего слона вашей же серебряной пулей, но ко мне эти процессы никакого отношения не имеют ))) По поводу продаж - я не продацец, я делаю решения ))) + поддерживаю текущий тренд на то что продавцов в текущем понимании с их особенностями должно становиться меньше, даже тестировал рекламу - интерес был большой ))))) Еще есть идея что вот те продавцы решают вполне конкретные полезные задачи - помогают людям, которые говорят про зло, слонов и серебряные пули, и продавцы с теми сказочными персонажами вполне вместе нормально могут работать, мне кажется, но я в таком лично не хотел бы участвовать )))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2018, 16:06 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
2 .Евгений: помогает в разрешении типовых задач ХД - разрешении идентификаторов, очистке данных. Как оно пишет агрегированную статистику выполнения (пакет XXX выполнялся пользователем YYY с timestamp1 по timestamp2, считал n1 строк, из них n2 полезных; отсеял n3 и очистил n4 грязных строк; вставил n5, обновил n6, удалил n7 чистых строк) Как создает лог с регулируемой детализацией вплоть до прохождения каждой строки через каждый компонент. Как создает обработчики ошибок выполнения пакетов. Как, перед вашим Исином не ставили перечисленных задач? Ну извините, мне сложно считать адекватной загрузку ХД, не реализующей хотя бы половину сказанного. Перед Исином я ставил задачи по правилу 80 на 20 - чтобы достичь максимальной монетизации и роста курса хракойна, высокой производительности когда ХД формируется на основе десятков-сотен и более учетных систем. Исин формирует целочисленные ID, это важно. Поддерживает медленно меняющиеся измерения. Уважает лучшие практики разработки ХД. С очисткой данных - не такой однозначный вопрос. Исин по произвольно написанным адресам определяет эталонные адреса с координатами, но если он в разных базах видит 2 примерно одинаковых контрагента - он отдает этот вопрос на откуп модулю MDM, сам пока не принимает решение, что это один и тот же контрагент. Некоторые логирования реализованы, некоторые нет, это на мой взгляд - менее приоритетные фантики. Некоторые вопросы - где используется Inner Join, а где Outer Join - сходу не вспомню, нужно анализировать. Для большинства российских компаний Исин может дать быстрый результат, это важный приоритет с учетом пожелания ВВП о росте производительности на 5% в год. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2018, 17:57 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
авторИсин по произвольно написанным адресам определяет эталонные адреса с координатами Есть API Яндекса, которые отлично решают эту задачу, которые можно обернуть и обернули в пакетную (bulk) обработку. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2018, 18:14 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
Evolex_.Евгений, Могу предожить вам убить вашего слона вашей же серебряной пулей, но ко мне эти процессы никакого отношения не имеют ))) По поводу продаж - я не продацец, я делаю решения ))) + поддерживаю текущий тренд на то что продавцов в текущем понимании с их особенностями должно становиться меньше, даже тестировал рекламу - интерес был большой ))))) Еще есть идея что вот те продавцы решают вполне конкретные полезные задачи - помогают людям, которые говорят про зло, слонов и серебряные пули, и продавцы с теми сказочными персонажами вполне вместе нормально могут работать, мне кажется, но я в таком лично не хотел бы участвовать )))) Я правильно понял, что про возможности DWA для решения указанных мной ранее задач, характерных для ХД, вы говорить не желаете? JuriiПеред Исином я ставил задачи по правилу 80 на 20 - чтобы достичь максимальной монетизации и роста курса хракойна, высокой производительности когда ХД формируется на основе десятков-сотен и более учетных систем. Исин формирует целочисленные ID, это важно. Поддерживает медленно меняющиеся измерения. Уважает лучшие практики разработки ХД. С очисткой данных - не такой однозначный вопрос. Исин по произвольно написанным адресам определяет эталонные адреса с координатами, но если он в разных базах видит 2 примерно одинаковых контрагента - он отдает этот вопрос на откуп модулю MDM, сам пока не принимает решение, что это один и тот же контрагент. Некоторые логирования реализованы, некоторые нет, это на мой взгляд - менее приоритетные фантики. Некоторые вопросы - где используется Inner Join, а где Outer Join - сходу не вспомню, нужно анализировать. Для большинства российских компаний Исин может дать быстрый результат, это важный приоритет с учетом пожелания ВВП о росте производительности на 5% в год. Еще раз, как решается простая задача: разрешить идентификатор исходной системы в идентификатор ХД? Как решается другая задача: отсеивание плохой строки (например, не разрешена ссылка на справочник ХД) и автоматическая загрузка после исправления (пополнения справочника ХД)? Как решается обработка ошибок - например, нехватки памяти? (Ненавижу разработчиков SSIS, которые вместо инициации ошибки до бесконечности пишут в лог строки типа "The buffer manager failed a memory allocation call for 560000 bytes, but was unable to swap out any buffers to relieve memory pressure…") Вот именно это и есть реальная жизнь с ХД, а не маркетологические бла-бла-бла про практики SCD как в лучших домах Лондона и развертывание ХД нажатием одной кнопки. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2018, 18:44 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
2 .Евгений: Еще раз, как решается простая задача: разрешить идентификатор исходной системы в идентификатор ХД? Как решается другая задача: отсеивание плохой строки (например, не разрешена ссылка на справочник ХД) и автоматическая загрузка после исправления (пополнения справочника ХД)? Как решается обработка ошибок - например, нехватки памяти? Не знаю, правильно ли мы друг друга понимаем, могут помочь конкретные примеры. В целом Исин работает так - сначала формирует справочники, присваивает каждой записи справочника целочисленный ID, а потом формирует таблицы фактов с этими целочисленными ID. Если в документе есть код товара, а в справочнике его нет - сходу не помню, завтра посмотрю алгоритм Исина. Нехватка памяти пока не обрабатывается. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2018, 19:03 |
|
||
|
DWA в России
|
|||
|---|---|---|---|
|
#18+
JuriiНе знаю, правильно ли мы друг друга понимаем, могут помочь конкретные примеры. В целом Исин работает так - сначала формирует справочники, присваивает каждой записи справочника целочисленный ID, а потом формирует таблицы фактов с этими целочисленными ID. Порядок понятен и естественен. Вот, кстати, еще одна веселая задача для ХД - автоматическое построение иерархии зависимости для снежинки с большим количеством уровней справочников (сущность знает только своих родителей) , и выполнение их загрузок в соответствующем порядке. Но вернемся к элементарной задаче ХД - разрешению идентификатора. Загрузка обновляет некую сущность ХД порцией строк. Как эффективно выбрать для каждой строки порции стратегию обновления (Insert/Update/Delete/Ignore)? Примечание: мелочь неинтересна, пусть сущность содержит от 100 млн. строк, порция - от 100 тыс. Каким образом ETL (не ELT!) сопоставить указанные количества бизнес-ключей? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.09.2018, 20:25 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=39696588&tid=1857698]: |
0ms |
get settings: |
8ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
150ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
54ms |
get tp. blocked users: |
1ms |
| others: | 13ms |
| total: | 256ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...