|
|
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
Не, конечно, в целом, понятно, что нужны. Но будет ли лучше пользоваться SQL кодом там, где это возможно? JOIN в нём делается гораздо быстрее. В этих окошках пока тип каждого поля прощёлкаешь, 10 потов сойдёт. Особенно, бывает такое, что создаёшь какой-нибудь блок Slowly Changing Dimension, старательно прощёлкиваешь типы 15 полей и выясняется, что 16-е поле по типу не сходится. Отменяешь, вытягиваешь этот блочок с преобразованием типа. И т.д. А на каждый блочок "слияние" должно приходиться ещё два блока "сортировка". И самая жесть - если где-то в исходнике (в начале потока данных) поля поменяли свой тип, то приходится переделывать и перещёлкивать вообще все эти поля. Какая-то изнурительная работа. Гораздо проще и быстрее разработка стала, когда я стал тупо создавать всякие блоки типа "код SQL", а поток данных используется только для того, чтобы из файла XML что-то записать в этот SQL - т.е. ровно 2 блока, соединённых стрелкой. Как у вас разрабатывается ETL? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.07.2020, 15:41 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
Charles Weyland, Пишем всё на ХП от STG и дальше. SSIS как оркестратор и логирование. Загрузка из источников в STG через SSIS. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.07.2020, 16:16 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
Charles Weyland, SSIS - не очень удобный инструмент разработки. Мягко говоря. Но со временем появляется сноровка в обращении с инструментом. Блок Slowly Changing Dimension - это хрень (имхо). Блок "сортировка" - опасная на больших объемах вещь. Поэтому почти всегда сортирую в источнике. Типизация внутри ETL обычно более строга, чем для SQL. А все ради производительности и эффективности выполнения характерных для ETL задач. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.07.2020, 16:24 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
T87 Charles Weyland, Пишем всё на ХП от STG и дальше. SSIS как оркестратор и логирование. Загрузка из источников в STG через SSIS. прошу прощения, ХП - это о чём?) STG - Staging Area? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.07.2020, 16:42 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
Charles Weyland, ХП-хранимая процедура/stored procedure авторSTG - Staging Area? она самая ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.07.2020, 17:07 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
londinium Charles Weyland, ХП-хранимая процедура/stored procedure авторSTG - Staging Area? она самая Ааааа. Блин. Ну вот так я и делаю. Разработка идёт в 100 раз быстрее. А у меня над ухом сидит теоретический эксперт, который что-то там говорит про то, что всё, что можно сделать стрелочками, надо делать стрелочками. А они меня прям бесят. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.07.2020, 17:14 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
Charles Weyland Гораздо проще и быстрее разработка стала, когда я стал тупо создавать всякие блоки типа "код SQL", а поток данных используется только для того, чтобы из файла XML что-то записать в этот SQL - т.е. ровно 2 блока, соединённых стрелкой. Как у вас разрабатывается ETL? Я написал для себе генератор, который создает buffer, stage, процедуру с merge и SSIS пакет. Все сопровождается логировванием. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.07.2020, 18:04 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
Charles Weyland Но будет ли лучше пользоваться SQL кодом там, где это возможно? Лучше. Там где это целесообразно. Charles Weyland JOIN в нём делается гораздо быстрее. Угу. Особенно когда нужно сделать джоин таблиц, лежащих на разных серверах. Или с данными из нереляционных источников. Да мало ли еще каких вариантов использования? Charles Weyland Особенно, бывает такое, что создаёшь какой-нибудь блок Slowly Changing Dimension Коллега выше написал. Не стоит пользоваться этой крайне неудачно реализованной трансформацией. Charles Weyland А на каждый блочок "слияние" должно приходиться ещё два блока "сортировка". Коллега выше написал, что если возможно, сортировку надо делать на сервере с помощью ORDER BY. T87 Пишем всё на ХП от STG и дальше. SSIS как оркестратор и логирование. Загрузка из источников в STG через SSIS. Это обычный повод для холивара "своя нетленка vs промышленный тул" .Евгений SSIS - не очень удобный инструмент разработки. Мягко говоря. Это спорное утверждение. Кому как. Charles Weyland Разработка идёт в 100 раз быстрее. Там помимо разработки еще много чего бывает в жизненном цикле решения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.07.2020, 18:56 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
alexdr .Евгений SSIS - не очень удобный инструмент разработки. Мягко говоря. Это спорное утверждение. Кому как. Но нет в жизни идеала, у каждой зверушки свои погремушки... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.07.2020, 19:51 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
.Евгений alexdr пропущено... Это спорное утверждение. Кому как. Но нет в жизни идеала, у каждой зверушки свои погремушки... Расскажи ка Евгений, а чем ты нынче лярды строк копируешь и Гиги ипортируешь? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.07.2020, 20:42 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
a_voronin Расскажи ка Евгений, а чем ты нынче лярды строк копируешь и Гиги ипортируешь? Формально говоря, SSIS-ом. А де-факто у меня половина компонент (включая источники и приемники) - это Script Task, пакеты шлют друг другу данные напрямую, и т.п. Это явно не SSIS здорового человека, а мутант и химера. Нормальные программисты БД обычно тяготеют к ELT, а я наоборот - все трансформации затягиваю в SSIS. И мне это почему-то нравится... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.07.2020, 21:23 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
Делаю в SSIS только минимально возможные трансформации, например, тип данных поменять (чтобы потом джойн был без ненужных конверсий миллионов строк). Все остальное проще и быстрее (а значит и дешевле!) сделать в etl-процедуре. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.07.2020, 23:06 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
alexdr Это обычный повод для холивара "своя нетленка vs промышленный тул" Ну так я и не заявляю, что наш подход лучший, и никого не принуждаю. Человек спросил кто как делает, я ответил. Еще в тему SSIS. Многие стандартные компоненты для источников данных у него очень убогие. Мы например написали свои для Excel (думаю все знают проблемы с типами данных, драйвером ACE.OLEDB и т.п.) и Soap-сервисов (из коробки это просто ужас какой-то) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.07.2020, 22:25 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
В SSIS много недостатков. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.07.2020, 09:43 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
tunknown В SSIS много недостатков. Много недостатков есть в каждом туле. Нет тулов без недостатков. Особенно, когда "хочется странного". То, что Вы написали по опубликованной выше ссылке мне вообще ни разу не понадобилось (не потребовалось) за многие годы работы с ETL-решениями. И ни разу не возникло задачи, которую я не смог бы реализовать в SSIS тем или иным способом. Всяк себе выбирает инструмент по душе. Опять же за многие годы чтения постов хейтеров SSIS (никого лично не имею ввиду) сложилось впечатление, что либо не хватило терпения (компетенции) найти способ решения задачи, либо компетенции в каком-либо ином инструменте выше и поэтому кажется, что с помощью этого инструмента задачи решаются проще. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.07.2020, 11:53 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
tunknown В SSIS много недостатков. Претензии автора указанной темы для меня выглядят во многом странно и вызывают четкую ассоциацию с хейтом (не вижу сейчас смысла углубляться). Лично для меня и моих задач SSIS является полуфабрикатом, который нужно довольно долго доводить до кондиции (например, скрипт-тасками), и только после этого он покажет себя с лучшей стороны. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.07.2020, 12:56 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
У меня, кстати, тоже скрипт-тасков много. Проблема в том, что в них неудобно передавать параметры и тяжеловато с общим кодом - его сделать невозможно, пришлось через отдельную подключаемую сборку делать. А отладка вообще адовая( ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2020, 18:11 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
Charles Weyland У меня, кстати, тоже скрипт-тасков много. Проблема в том, что в них неудобно передавать параметры и тяжеловато с общим кодом - его сделать невозможно, пришлось через отдельную подключаемую сборку делать. А отладка вообще адовая( Своя dll действительно сильно упрощает жизнь. Из коробки параметры передаются действительно не очень удобно, но есть способы упрощения. Своя dll в помощь. Скрипт отлаживается аналогично обычному проекту C#, если вы не меняли для скрипта версию .Net. И даже в этом случае вы можете, например, писать отладочную информацию в лог SSIS. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2020, 19:55 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
.Евгений Charles Weyland У меня, кстати, тоже скрипт-тасков много. Проблема в том, что в них неудобно передавать параметры и тяжеловато с общим кодом - его сделать невозможно, пришлось через отдельную подключаемую сборку делать. А отладка вообще адовая( Своя dll действительно сильно упрощает жизнь. Из коробки параметры передаются действительно не очень удобно, но есть способы упрощения. Своя dll в помощь. Скрипт отлаживается аналогично обычному проекту C#, если вы не меняли для скрипта версию .Net. И даже в этом случае вы можете, например, писать отладочную информацию в лог SSIS. Своя dll - это гемор при деплое на сервера UAT и Prod ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.07.2020, 09:18 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
T87 Своя dll - это гемор при деплое на сервера UAT и Prod Особого головняка нет, просто вместе со своим компонентом - пишешь проект который делает инсталлятор (.msi), он умеет корректно добавлять dll в GAC. Последний раз заняло около часа, с правкой кода выяснения - где же SSIS установлен. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.07.2020, 11:56 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
Ferdipux T87 Своя dll - это гемор при деплое на сервера UAT и Prod Особого головняка нет, просто вместе со своим компонентом - пишешь проект который делает инсталлятор (.msi), он умеет корректно добавлять dll в GAC. Последний раз заняло около часа, с правкой кода выяснения - где же SSIS установлен. А еще от версии SQL Server зависит путь ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.07.2020, 00:05 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
Ferdipux T87 Своя dll - это гемор при деплое на сервера UAT и Prod Особого головняка нет, просто вместе со своим компонентом - пишешь проект который делает инсталлятор (.msi), он умеет корректно добавлять dll в GAC. Последний раз заняло около часа, с правкой кода выяснения - где же SSIS установлен. А можно чуть-чуть подробнее в этом месте? Какие слова в поисковик вбивать, чтобы понять, как это сделать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.07.2020, 21:40 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
Charles Weyland А можно чуть-чуть подробнее в этом месте? Какие слова в поисковик вбивать, чтобы понять, как это сделать? Пример - https://blog.tallan.com/2017/02/02/creating-an-effortless-custom-ssis-object-installer-using-wix . ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.07.2020, 11:16 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
авторНо будет ли лучше пользоваться SQL кодом там, где это возможно? Микрософт сам уже, тоже, видимо, устал от деятелей, которые используют SSIS там где это неэффективно. В курсе по хранилищам от микрософта, уже, уговаривающим тоном про это говорится: "пожалуйста, не думайте что вы должны делать это именно на SSIS". DWA в России Но я думаю, довольно немного людей курсы проходит, а еще меньше внимательно проходит advanced разделы, из которого взята цитата (у coursera 4% людей курсы до конца доходят, вроде). И SQL ru это довольно сомнительное место для обсуждения фундаментальных вопросов )) Тут у людей больше типа продажные темы - скорее будут запутывать, чтобы потом продать, чем рассказывать о том что на самом деле думают ))) DWA в России DWA в России ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.07.2020, 00:49 |
|
||
|
ETL в SSIS. Зачем все эти преобразования "добавить столбец" и пр.? SQL не лучше?
|
|||
|---|---|---|---|
|
#18+
Evolex_ В курсе по хранилищам от микрософта, уже, уговаривающим тоном про это говорится: "пожалуйста, не думайте что вы должны делать это именно на SSIS". Вы вырвали фразу из контекста. Там сказано, "if you have data staged" . Грубо говоря. Внутри одной БД -- однозначно скрипты. Между серверами, особенно трудно связанными -- SSIS. Но как сказал один мой старый знакомый программист: "ещё не придумали более быстрого способа передачи данных, чем КАМАЗ набитый хардами." ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.07.2020, 11:36 |
|
||
|
|

start [/forum/topic.php?fid=49&fpage=7&tid=1857278]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
39ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
58ms |
get tp. blocked users: |
1ms |
| others: | 234ms |
| total: | 377ms |

| 0 / 0 |
