powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / DWA в России
25 сообщений из 156, страница 3 из 7
DWA в России
    #39695885
tarrus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Evolex_tarrus,

А чего тогда пишешь авторЯ не поддерживаю? ))))

То есть неитральное отношение в голову не пришло? Обязательно "не понравился"?
...
Рейтинг: 0 / 0
DWA в России
    #39695886
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
tarrus,
Итак, от тебя прозвучали все 3 варианта по этому вопросу
авторИван сказал дельные вещи
авторНе поддерживаю (Ивана)
авторНейтральное отношение
Надо определяться, мне кажется )))
...
Рейтинг: 0 / 0
DWA в России
    #39695887
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
tarrus,
И у меня есть ощущение, что ты меня решил добить после того как я сказал что на ночь нельзя много смеяться ))))
...
Рейтинг: 0 / 0
DWA в России
    #39695888
tarrus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
БумбарашEvolex_Я лично для POC использовал dimodelo - обычно люди в шоке когда видят как на их глазах выбираются типы атрибутов scd1 scd2 нажимается кнопка развернуть и генерируется 3х уровневое хранилище с persistence layer и сразу опимизированным кодом для pdw/azure.

А алгоритм преобразования из источника в приёмник откуда берётся?

А на главный вопрос ответа мы так и не получили.
...
Рейтинг: 0 / 0
DWA в России
    #39695889
tarrus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Evolex_tarrus,
Итак, от тебя прозвучали все 3 варианта по этому вопросу
авторИван сказал дельные вещи
авторНе поддерживаю (Ивана)
авторНейтральное отношение
Надо определяться, мне кажется )))

Где противоречие то? У тебя жизнь черно-белая штоли? Сочувствую
...
Рейтинг: 0 / 0
DWA в России
    #39695890
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
tarrus,

Начинаются 30%

Главный вопрос:
авторЕсть идеи кроме особенностей классических российских продаж почему у нас не слышно об этом? )))
Главный ответ:
авторBI Developer + vik + ivan + tarrus: нет и не надо (вообще не надо)

Бумбарш + jurii: нет и не надо, мы давно в перед и без рынка готовых dwa

Я + Alexxx : не выгодно тем кто зарабатывает на внедрении решений
...
Рейтинг: 0 / 0
DWA в России
    #39695891
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Evolex_tarrus,
Итак, от тебя прозвучали все 3 варианта по этому вопросу
авторИван сказал дельные вещи
авторНе поддерживаю (Ивана)
авторНейтральное отношение
Надо определяться, мне кажется )))

tarrus
Где противоречие то? У тебя жизнь черно-белая штоли? Сочувствую
ну то есть тебе нормально по одному вопросу высказать одновременно все 3 мнения, не, я не против, в принципе - нормальный подход )))
...
Рейтинг: 0 / 0
DWA в России
    #39696562
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а то как показывает практика - время затраченное на освоение всяких сторонних свистулек средств а потом на его использование/поддержку обычно превышает default решение (на которое между прочим толковых и доступных специалистов на рынке труда - толпы), только вот потери на освоение уже не вернуть+500

А по факту - это еще один уровень абстракции возникающий над данными и их преобразованиями. +500

Вы то есть поддерживаете Ивана в идее что то что пишут про DWA про кратное увеличение производительности это происки маркетологов?А что же еще ? Судя по тормозам и глюкам современных продуктов, маркетологи уже начали писать код. :)

Ну съэкономим мы 30% от этих 20%. Большой роли не сыграет.
Зато придется вложиться в обучение. Где профит? +500

ЗЫ: зоопарк технологий - зло. И чем они многочисленнее и экзотичнее - тем зло злее.
"Экономия" на эффективности решения быстро и полностью будет съедена отсутствием квалиф.специалиста в нужный момент или вынужденной миграцией на новый зоопарк. Риски будут намного критичнее скорости и удобства.
...
Рейтинг: 0 / 0
DWA в России
    #39696588
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Лично я не вижу смысла в поисках серебряной пули и универсального солдата инструмента. Не только по очевидной причине (разные потребности клиентов). И не потому, что разрабатываю кастомное решение, а не продукт.
Более важна другая причина: потребность разработчика (руководителя разработки) в ощутимой оплате труда. Извините, за нажатие кнопки можно получить оплату один раз, два, ну три. Но потом клиенты просекут фишку, и лафа непременно закончится. Придется уходить из разработчиков ХД куда-то еще.

P.S. Чье-то отсутствие юмора - не моя проблема.

P.P.S. В настоящее время ваяю нестандартную загрузку ХД (нестандартная постановка). В SSIS-пакетах больше половины компонент - скрипты (в первой версии решения скрипты отсутствовали) . Не говорите мне сейчас про DWA.
...
Рейтинг: 0 / 0
DWA в России
    #39696649
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добавляем мнения )))
BI Developer + vik + ivan + tarrus +L_argo (DWA - это зло) : нет и не надо (вообще не надо)

Бумбарш + jurii: нет и не надо, мы давно в перед и без рынка готовых dwa

Я + Alexxx + .Евгений(+серебряная пуля) : не выгодно тем кто зарабатывает на внедрении решений
...
Рейтинг: 0 / 0
DWA в России
    #39697022
Voyager_lan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Evolex_,

В вашу копилку 5 копеек.
Допускаю , что для тиражируемых отраслевых решений эдакий "Starter kit" , возможно, даже необходим, чтобы хоть новички делали на уже основе этого кастомизацию, а не лепили непонятно что.
...
Рейтинг: 0 / 0
DWA в России
    #39697051
Фотография Shtock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Завидую Evolex_, что у него есть время делать какую-то статистику. Я так и не понял зачем, но...
...
Рейтинг: 0 / 0
DWA в России
    #39697099
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добавляем мнения )))
BI Developer + vik + ivan + tarrus +L_argo (DWA - это зло) +Shtock (смысла нет, вообще нет) : нет и не надо (вообще не надо)

Бумбарш + jurii: нет и не надо, мы давно в перед и без рынка готовых dwa

Я + Alexxx + .Евгений(+серебряная пуля) : не выгодно тем кто зарабатывает на внедрении решений
...
Рейтинг: 0 / 0
DWA в России
    #39697100
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Voyager_lan,

Добоый день ) а не для тиражируемых? ))
...
Рейтинг: 0 / 0
DWA в России
    #39697120
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Evolex_,

лучше продемонстрируйте, как некое DWA помогает в разрешении типовых задач ХД - разрешении идентификаторов, очистке данных. Как оно пишет агрегированную статистику выполнения (пакет XXX выполнялся пользователем YYY с timestamp1 по timestamp2, считал n1 строк, из них n2 полезных; отсеял n3 и очистил n4 грязных строк; вставил n5, обновил n6, удалил n7 чистых строк)
Как создает лог с регулируемой детализацией вплоть до прохождения каждой строки через каждый компонент.
Как создает обработчики ошибок выполнения пакетов.

Потому что если DWA этого не делает, то оно мне не нужно.
...
Рейтинг: 0 / 0
DWA в России
    #39697160
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
.Евгений,

У меня были вполне прозрачные цели создания этого обсуждения - кто и почему использует/не использует )))
Мои описания что такое DWA были больше off-topic - базовый ликбез. Бесплатная работа с вашими представлениями о "поиске серебряной пули" и нужно ли вам DWA или нет мне вообще неинтересны ))))))))
...
Рейтинг: 0 / 0
DWA в России
    #39697163
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Evolex_:

Рекомендую еще добавить, что наличие обученного Исина (в т.ч. с навыками DWA), который работает за еду, достаточно выгодно для тех "кто зарабатывает на внедрении решений", поскольку это сильно снижает себестоимость работ.
При этом, для проектов, которые делает г-н .Евгений , Исина нужно немного дополнительно обучить ;)
...
Рейтинг: 0 / 0
DWA в России
    #39697166
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jurii,

Коллега, полностью с вами согласен в этом утверждении ))
...
Рейтинг: 0 / 0
DWA в России
    #39697251
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Evolex_.Евгений,

У меня были вполне прозрачные цели создания этого обсуждения - кто и почему использует/не использует )))
Мои описания что такое DWA были больше off-topic - базовый ликбез. Бесплатная работа с вашими представлениями о "поиске серебряной пули" и нужно ли вам DWA или нет мне вообще неинтересны ))))))))
Ну пошли-поехали детские обидки. Сначала объясни вам, почему не используют DWA. То вам вообще неинтересно, какие задачи, слегка выходящие за пределы элементарного ETL, могут поставить перед DWA.
С такими нервами слонаDWA не продашь...
JuriiПри этом, для проектов, которые делает г-н .Евгений , Исина нужно немного дополнительно обучить ;)
Как, перед вашим Исином не ставили перечисленных задач? Ну извините, мне сложно считать адекватной загрузку ХД, не реализующей хотя бы половину сказанного.
...
Рейтинг: 0 / 0
DWA в России
    #39697260
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
.Евгений,
Могу предожить вам убить вашего слона вашей же серебряной пулей, но ко мне эти процессы никакого отношения не имеют )))

По поводу продаж - я не продацец, я делаю решения ))) + поддерживаю текущий тренд на то что продавцов в текущем понимании с их особенностями должно становиться меньше, даже тестировал рекламу - интерес был большой )))))

Еще есть идея что вот те продавцы решают вполне конкретные полезные задачи - помогают людям, которые говорят про зло, слонов и серебряные пули, и продавцы с теми сказочными персонажами вполне вместе нормально могут работать, мне кажется, но я в таком лично не хотел бы участвовать ))))
...
Рейтинг: 0 / 0
DWA в России
    #39697320
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 .Евгений:

помогает в разрешении типовых задач ХД - разрешении идентификаторов, очистке данных. Как оно пишет агрегированную статистику выполнения (пакет XXX выполнялся пользователем YYY с timestamp1 по timestamp2, считал n1 строк, из них n2 полезных; отсеял n3 и очистил n4 грязных строк; вставил n5, обновил n6, удалил n7 чистых строк)
Как создает лог с регулируемой детализацией вплоть до прохождения каждой строки через каждый компонент.
Как создает обработчики ошибок выполнения пакетов.
Как, перед вашим Исином не ставили перечисленных задач? Ну извините, мне сложно считать адекватной загрузку ХД, не реализующей хотя бы половину сказанного.


Перед Исином я ставил задачи по правилу 80 на 20 - чтобы достичь максимальной монетизации и роста курса хракойна, высокой производительности когда ХД формируется на основе десятков-сотен и более учетных систем. Исин формирует целочисленные ID, это важно. Поддерживает медленно меняющиеся измерения. Уважает лучшие практики разработки ХД. С очисткой данных - не такой однозначный вопрос. Исин по произвольно написанным адресам определяет эталонные адреса с координатами, но если он в разных базах видит 2 примерно одинаковых контрагента - он отдает этот вопрос на откуп модулю MDM, сам пока не принимает решение, что это один и тот же контрагент. Некоторые логирования реализованы, некоторые нет, это на мой взгляд - менее приоритетные фантики. Некоторые вопросы - где используется Inner Join, а где Outer Join - сходу не вспомню, нужно анализировать. Для большинства российских компаний Исин может дать быстрый результат, это важный приоритет с учетом пожелания ВВП о росте производительности на 5% в год.
...
Рейтинг: 0 / 0
DWA в России
    #39697326
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторИсин по произвольно написанным адресам определяет эталонные адреса с координатами

Есть API Яндекса, которые отлично решают эту задачу, которые можно обернуть и обернули в пакетную (bulk) обработку.
...
Рейтинг: 0 / 0
DWA в России
    #39697345
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Evolex_.Евгений,
Могу предожить вам убить вашего слона вашей же серебряной пулей, но ко мне эти процессы никакого отношения не имеют )))

По поводу продаж - я не продацец, я делаю решения ))) + поддерживаю текущий тренд на то что продавцов в текущем понимании с их особенностями должно становиться меньше, даже тестировал рекламу - интерес был большой )))))

Еще есть идея что вот те продавцы решают вполне конкретные полезные задачи - помогают людям, которые говорят про зло, слонов и серебряные пули, и продавцы с теми сказочными персонажами вполне вместе нормально могут работать, мне кажется, но я в таком лично не хотел бы участвовать ))))
Я правильно понял, что про возможности DWA для решения указанных мной ранее задач, характерных для ХД, вы говорить не желаете?
JuriiПеред Исином я ставил задачи по правилу 80 на 20 - чтобы достичь максимальной монетизации и роста курса хракойна, высокой производительности когда ХД формируется на основе десятков-сотен и более учетных систем. Исин формирует целочисленные ID, это важно. Поддерживает медленно меняющиеся измерения. Уважает лучшие практики разработки ХД. С очисткой данных - не такой однозначный вопрос. Исин по произвольно написанным адресам определяет эталонные адреса с координатами, но если он в разных базах видит 2 примерно одинаковых контрагента - он отдает этот вопрос на откуп модулю MDM, сам пока не принимает решение, что это один и тот же контрагент. Некоторые логирования реализованы, некоторые нет, это на мой взгляд - менее приоритетные фантики. Некоторые вопросы - где используется Inner Join, а где Outer Join - сходу не вспомню, нужно анализировать. Для большинства российских компаний Исин может дать быстрый результат, это важный приоритет с учетом пожелания ВВП о росте производительности на 5% в год.
Еще раз, как решается простая задача: разрешить идентификатор исходной системы в идентификатор ХД?
Как решается другая задача: отсеивание плохой строки (например, не разрешена ссылка на справочник ХД) и автоматическая загрузка после исправления (пополнения справочника ХД)?
Как решается обработка ошибок - например, нехватки памяти? (Ненавижу разработчиков SSIS, которые вместо инициации ошибки до бесконечности пишут в лог строки типа "The buffer manager failed a memory allocation call for 560000 bytes, but was unable to swap out any buffers to relieve memory pressure…")

Вот именно это и есть реальная жизнь с ХД, а не маркетологические бла-бла-бла про практики SCD как в лучших домах Лондона и развертывание ХД нажатием одной кнопки.
...
Рейтинг: 0 / 0
DWA в России
    #39697355
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 .Евгений:

Еще раз, как решается простая задача: разрешить идентификатор исходной системы в идентификатор ХД?
Как решается другая задача: отсеивание плохой строки (например, не разрешена ссылка на справочник ХД) и автоматическая загрузка после исправления (пополнения справочника ХД)?
Как решается обработка ошибок - например, нехватки памяти?


Не знаю, правильно ли мы друг друга понимаем, могут помочь конкретные примеры.
В целом Исин работает так - сначала формирует справочники, присваивает каждой записи справочника целочисленный ID, а потом формирует таблицы фактов с этими целочисленными ID. Если в документе есть код товара, а в справочнике его нет - сходу не помню, завтра посмотрю алгоритм Исина.
Нехватка памяти пока не обрабатывается.
...
Рейтинг: 0 / 0
DWA в России
    #39697384
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
JuriiНе знаю, правильно ли мы друг друга понимаем, могут помочь конкретные примеры.
В целом Исин работает так - сначала формирует справочники, присваивает каждой записи справочника целочисленный ID, а потом формирует таблицы фактов с этими целочисленными ID.
Порядок понятен и естественен. Вот, кстати, еще одна веселая задача для ХД - автоматическое построение иерархии зависимости для снежинки с большим количеством уровней справочников (сущность знает только своих родителей) , и выполнение их загрузок в соответствующем порядке.
Но вернемся к элементарной задаче ХД - разрешению идентификатора. Загрузка обновляет некую сущность ХД порцией строк. Как эффективно выбрать для каждой строки порции стратегию обновления (Insert/Update/Delete/Ignore)? Примечание: мелочь неинтересна, пусть сущность содержит от 100 млн. строк, порция - от 100 тыс. Каким образом ETL (не ELT!) сопоставить указанные количества бизнес-ключей?
...
Рейтинг: 0 / 0
25 сообщений из 156, страница 3 из 7
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / DWA в России
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]