powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
30 сообщений из 30, показаны все 2 страниц
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893301
хорошо я согласен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Или какого-нибудь другого

Ssis заставляет пользователя делать многочисленные тычки мышкой (напр., поменять тип всех 20 полей с int на float). Аналогичные действия в текстовом редакторе делаются в секунду.

Плюс, инициализация переменных, передача параметров... Очень удивительно, как мировое сообщество разработчиков это посчитало приемлемым
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893302
хорошо я согласен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сижу изучаю пакеты, подпакеты, и, о чудо, новинка 2016 - части пакетов!
Это же давно проверенные процедуры и функции
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893303
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо я согласен,

BIML. гуглите
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893310
bideveloper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо я согласен,

Так в стрелочках и квадратиках вся суть. Так то можно ETL для SQL Server чисто на T-SQL написать.
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893744
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо я согласен

Ssis заставляет пользователя делать многочисленные тычки мышкой (напр., поменять тип всех 20 полей с int на float). Аналогичные действия в текстовом редакторе делаются в секунду.



Я уже дано занимаюсь генерацией пакетов. Для этого есть API.
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893780
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
хорошо я согласен


Ssis заставляет пользователя делать многочисленные тычки мышкой (напр., поменять тип всех 20 полей с int на float). Аналогичные действия в текстовом редакторе делаются в секунду.

Плюс, инициализация переменных, передача параметров... Очень удивительно, как мировое сообщество разработчиков это посчитало приемлемым

Идея SSIS и редакторов - чтобы кто-то без квалификации разработчика мог тасканием квадратиков создать ETL. Попробуйте классический SAP BW примерно того же времени создания - там то же самое, квадратики, стрелочки и адский ад.
Вообще-то, SSIS пакет - это XML файл. Если знаете структуру - можете править в текстовом редакторе.
Как альтернативы - существуют BIML для генерации пакетов, и собственный API Microsoft, и EzAPI - упрощающий "скучные" задачи в этом API.
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893782
tunknown
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо я согласен
Очень удивительно, как мировое сообщество разработчиков это посчитало приемлемым

Предлагаю дописать минусы в ветку .
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893789
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
tunknown
хорошо я согласен
Очень удивительно, как мировое сообщество разработчиков это посчитало приемлемым

Предлагаю дописать минусы в ветку .


Видимо вы что-то не знаете про SSIS, если вам надо делать 20 тычков мышкой.
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893858
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voronin,

и меня научите, а то там и 2 тысяч тычков маловато бывает
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893910
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ShIgor,

А что вы делаете? Source на destination коннектится автоматически. Ничего там 20 раз тыкать не надо.

типы если не сходятся -- ну тык их надо откастить в исходном запросе.

Я вот недавно писал C# script source и даже там сделал выходы копипастом.
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893932
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voronin,

+1 там все плохо при неумелом использовании. когда набиваешь руку - лучше средства и не придумать. По крайней мере, у конкурентов такого ETL нет.

Вероятно, имеют в виду преобразование типов в потоках. Зачем менять с int на float не понятно, float используется только в научных целях, для записи показаний приборов. Но он там изначально float.
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893941
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
хорошо я согласен,
дата появления M ?
SSIS был с хрен знаект какой версии

НЕ идеален - но для таргет БД MS-SQL вряд ли что лушче есть


зы а так смотрите в сторону Airflow
там на Питоне все рисуется - вполне интересный тул
с похожей концепцией
м.б ваш случай - правда он под юникс
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893944
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гулин Федор,

Вот у меня вопрос airflow умеет мерджить сто лямов на сто лямов (две упорядоченных потока) по хешу прямо в памяти, чтобы синхронизировать две таблицы?
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894119
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voronin,
я НЕ спец - люди кой чего показывали
я ставил вариант с докером и плюнул - ибо времени ушло слишком много

Идея мне точно нравится - гибко вроде
хотя мне сдается это больше для юинксовых бд
хотя коннекторы к ms-sql тоже есть

зы мне там кидали телеграм чат по airflow - Если сильно интересно - можете там спросить

Осн. плюс SSIS в том что они идет в поставке - взял и юзаешь
все остальное требует доп. усилий
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894480
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894487
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voronin,

и какая связь между граф интерфейсом и API?
API позволяет кликать мышкой или просто кликов мышки при использовании API меньше?
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894607
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ShIgor
a_voronin,

и какая связь между граф интерфейсом и API?
API позволяет кликать мышкой или просто кликов мышки при использовании API меньше?


API позволяет создать пакеты нажимая клавиши. Вы задаете список таблиц, сканите INFORMATION_SCHEMA и создаете автоматические пакеты по некоторому образцу.

Например можно руками сделать задачу для 1 таблицы, а потом размножить её на 100 таблиц.
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894686
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voronin,

использование API и подобного в качестве средства автоматизации должно быть обусловлено несколькими причинами, как минимум две из них:
1. постоянное изменение состава источников данных и их метаданных приводящих к необходимости обновления использующих их задач
2. полная формализация входных и выходных данных и их трансформация

в остальном смысл генерации SSIS пакетов "на лету" вряд-ли оправдан.
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894696
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ShIgor
в остальном смысл генерации SSIS пакетов "на лету" вряд-ли оправдан.
Про генерацию на лету вообще речи не было.
Была речь о другом подходе (в мечтах) к построению SSIS пакетов.
ShIgor
использование API и подобного в качестве средства автоматизации должно быть обусловлено несколькими причинами, как минимум две из них:
1. постоянное изменение состава источников данных и их метаданных приводящих к необходимости обновления использующих их задач
2. полная формализация входных и выходных данных и их трансформация
Смысл тот же, что и применение процедур, функций, а потом и объектного подхода в ЯП.

Не "множить" код методом паст-копи, использовать один код для одинаковой обработки разных данных - давно оценённые паттерны программирования, это позволяет уменьшить стоимость разработки, уменьшить количество ошибок, и ускорить внесение изменений.

Изменение кода нужно не только при изменении состава источников данных, но и при правке багов, и изменении функционала. И да, "их метаданных" - они тоже могут меняться часто.

Положительного эффекта не будет только в том случае, если ничего не меняется, то есть тех. специалисты уволены, и всё работает. Тогда да, совершенно неважно, что там "внутри" у этого чёрного ящика.
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894739
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexeyvg

Была речь о другом подходе (в мечтах) к построению SSIS пакетов.

так и я о том же, что API вообще не способ быстрой правки пакетов, о чем мечтает ТС.

по поводу всего остального не отрицаю, но по факту вижу другое (только что касается SSIS). я на последнем месте работаю больше 8 лет, SSIS везде и всюду, причем свыше 500 однотипных мест возникновения/назначения данных, у которых регулярно меняются метаданные, ну вот ни разу не понадобилось использовать API для тиражирования или правки пакетов, ибо пакетов на задачу 1-2, остальное подставляется внутри пакета параметрами, переменными, выражениями, скриптами с параллельным запуском обработок.
единственный раз когда использовал "копи-паст", когда (уж не помню даже когда) прочитал статью о том как организовать в SSIS параллельную обработку средствами самого же SSIS, чтоб весь параллелизм был наглядно виден. попробовал и выкинул из продакшна - жутко неудобно сопровождать.
использовать API для правки багов тоже себе трудно представляю, это зачем надо было наплодить однотипных задач в разных пакетах? почему не отдельный пакет или процедура в SQL?

Даже тот же BIML не знаю куда прикрутить так чтобы получить от него существенную отдачу.
В общем, для большинства операций хватает кликанья мышкой, для тех кто хочет руками по клавиатуре постучать, тоже есть способ - F7/Shift-F7.
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894767
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ShIgor
alexeyvg

Была речь о другом подходе (в мечтах) к построению SSIS пакетов.
так и я о том же, что API вообще не способ быстрой правки пакетов, о чем мечтает ТС.
Не, про генерацию, или про API, в исходном посте не было.

ТС говорит про то, что вместо непонятного формата пакетов, и среды для их рисования, с сохранением в этом формате, Микрософт мог бы придумать какой то язык, предназначенный специально для ETL, программы на котором исполнялись бы в специальной среде, утилите (как сейчас пакеты dtsx исполняются утилитой DTExec).
Тем более что они переписали пакеты полностью, с нуля.
Вот и можно было оставить старые пакеты, и потихоньку их пилить, и сделать новую среду, программистско-дружелюбную, для задач ETL

ShIgor
я на последнем месте работаю больше 8 лет, SSIS везде и всюду, причем свыше 500 однотипных мест возникновения/назначения данных, у которых регулярно меняются метаданные, ну вот ни разу не понадобилось использовать API для тиражирования или правки пакетов, ибо пакетов на задачу 1-2, остальное подставляется внутри пакета параметрами, переменными, выражениями, скриптами с параллельным запуском обработок.
Да, только получается, что SSIS-пакет становится запускателем утилит и скрипт-тасков.

Сейчас, правда, сделали подпакеты, немножко полегче должно быть.

Но большинство вопросов, например, как посмотреть в версионном хранилище исходников разницу между старым и новым пакетом, это не решает.

ShIgor
единственный раз когда использовал "копи-паст", когда (уж не помню даже когда) прочитал статью о том как организовать в SSIS параллельную обработку средствами самого же SSIS, чтоб весь параллелизм был наглядно виден. попробовал и выкинул из продакшна - жутко неудобно сопровождать.
Сплошная боль, в SSIS не удосужились сделать даже распараллеливающий контейнер, позор, за 15 то лет.
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894798
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexeyvg
в SSIS не удосужились сделать даже распараллеливающий контейнер, позор, за 15 то лет.
сейчас у них фокус на Azure, там для Orchestration/Workflow задач вполне хватает инструментов
(от ADF, Flows, CloudShell и до того-же SSIS в разных вариантах {включая спец-таски под Azure} и т.д.)

кроме всего как писал выше a_voronin - там никто не запрещает полноценно ЯП кодить на .NET (C, VB да в конце концов
тот-же PS вызвать, всюду есть достаточно паралельности: Threading.Tasks/Start-Job и т.д., в самом SSIS стандартный MultiCast)
не совсем понимаю почему здесь некоторые высказываются об ограниченности - SSIS всего-лишь
среда с какими-то начальными блоками для неопытных, остальное кодится по необходимости в зависимости от фантазии

M это из PowerQuery который? Так вроде тоже в каких-то формах ещё с Excel-a существовал,
просто сейчас с маркетинговым давлением на пропихиванием Power BI начали более активно развивать
под растущие требования (и документацию привели в порядок),

а так-то у MS ещё целого ряда других языков (VBA,F#,F*,Q#,J#,X#,X++/MorphX,MVPL,MASM,Fortran,MS-DOS,QB/Basic,GWB,QC,QP,TS{JS},PS и куча др.,
туда-же можно добавить активно используемные с MS продуктами R,Python,T-SQL/U-SQL {сугубо их конечно}, в общем что-то скриптовое,
что-то запросное, полноценное ЯП или под специфичные задачи, Haskell Z3 Boogie HTML5 CSS W3C )
хватает под разную специфику и среды - что пользуется спросом и монетизируемо в
долгосрочном плане: развивают, остальное так: естъ и есть или списывают/продают,
так-что смотря какие перспективы и прямая/косвенная(через другие продукты) выгода (прибыль) в перспективе..

слишком мелко-детализированно под разные задачи - свой язык писать это ИМХО немного тупик
из-за не сильной радости пользователей всё это осваивать, т.к. легче один язык освоить
и применять широко под разные задачи: чисто по уровню интеллектуальных трудозатрат рациональней получается.
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894826
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexeyvg
в SSIS не удосужились сделать даже распараллеливающий контейнер, позор, за 15 то лет.


В смысле, не удосужились? Распараллеливание всегда было. С самой первой версии SSIS.

В Control Flow это Group. В DataFlow это Split.

Кидаете 20 Execute Sql в группу и они исполняются параллельно. Сплитите входной поток данных по бакетам, типа ID % 20 и они пошли на 20 стрелочек параллельно.

...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894982
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
alexeyvg
Сплошная боль, в SSIS не удосужились сделать даже распараллеливающий контейнер, позор, за 15 то лет.

Неправда ваша, оно есть начиная с SSIS 2014, называется Balanced Data Distributor . Только распространяется внутри Feature Pack, вероятно, поэтому не сильно популярно.
Честное же параллеливание задач SSIS между хостами - Scale-Out - началось с SSIS 2017. Правда, там сразу наступаешь на вопросы лицензирования и прочие заморочки. Так что еще менее популярно.
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39895022
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voronin,

1, 2, 3 и 4 batch - это ли не копи-паст? кто мешает в каждом из таких батчей поиметь свою логику?
4, а можно больше? а сколько больше можно? а динамически?
из-за этого и выкинул
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39895151
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ShIgor
a_voronin,

1, 2, 3 и 4 batch - это ли не копи-паст? кто мешает в каждом из таких батчей поиметь свою логику?
4, а можно больше? а сколько больше можно? а динамически?
из-за этого и выкинул


п.4 в control flow параллельность в несколько десятков

[youtube=
YouTube Video
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39895175
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voronin, Ferdipux

Я же про контейнер написал.

Есть "for loop container", это последовательное выполнение содержимого контейнера.
Вот можно было бы сделать какой нибудь for loop parallel container, для параллельного выполнения содержимого контейнера.

Альтернатива для паст-копи квадратиков. Самое логичное внедрение паралеллилизма в SSIS, выдержанное в его идеологии.
ShIgor
a_voronin,

1, 2, 3 и 4 batch - это ли не копи-паст? кто мешает в каждом из таких батчей поиметь свою логику?
4, а можно больше? а сколько больше можно? а динамически?
из-за этого и выкинул
Мало того, что это что то подобное паст-копи, со всеми указанными вами недостатками, так это ещё и сильно частный случай (вот, например, select тоже может распараллеливаться).

Скажем, самую частую (основную?) задачу распараллеливания в SSIS - загрузка данных из множества источников - так не решить.
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39895212
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
с SSIS ясно все -
лучше б написал народ кто ушел с SSIS
имея target DB MS-SQL (а может и не только )
В пользу чего - и как оно там - вкратце

ps я с Талендом вот работал лет 5 назад и скажу еще та песня с генерацией ява кода и прочими заморочками.
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39895230
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гулин Федор
лучше б написал народ кто ушел с SSIS
SSIS есть в комплекте...
...
Рейтинг: 0 / 0
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39895350
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гулин Федор
с SSIS ясно все -
лучше б написал народ кто ушел с SSIS
имея target DB MS-SQL (а может и не только )
В пользу чего - и как оно там - вкратце

ps я с Талендом вот работал лет 5 назад и скажу еще та песня с генерацией ява кода и прочими заморочками.


Знаю некоторых, кто ушел в сторону скриптов на Питоне.
...
Рейтинг: 0 / 0
30 сообщений из 30, показаны все 2 страниц
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]