ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
25 сообщений из 30, страница 1 из 2
  1  все
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893301
хорошо я согласен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
хорошо я согласен
Участник
Или какого-нибудь другого

Ssis заставляет пользователя делать многочисленные тычки мышкой (напр., поменять тип всех 20 полей с int на float). Аналогичные действия в текстовом редакторе делаются в секунду.

Плюс, инициализация переменных, передача параметров... Очень удивительно, как мировое сообщество разработчиков это посчитало приемлемым
...
Рейтинг: 0 / 0
23.11.2019, 11:40
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893302
хорошо я согласен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
хорошо я согласен
Участник
Сижу изучаю пакеты, подпакеты, и, о чудо, новинка 2016 - части пакетов!
Это же давно проверенные процедуры и функции
...
Рейтинг: 0 / 0
23.11.2019, 11:43
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893303
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShIgor
Участник
хорошо я согласен,

BIML. гуглите
...
Рейтинг: 0 / 0
23.11.2019, 11:48
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893310
bideveloper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bideveloper
Участник
хорошо я согласен,

Так в стрелочках и квадратиках вся суть. Так то можно ETL для SQL Server чисто на T-SQL написать.
...
Рейтинг: 0 / 0
23.11.2019, 12:07
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893744
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
хорошо я согласен

Ssis заставляет пользователя делать многочисленные тычки мышкой (напр., поменять тип всех 20 полей с int на float). Аналогичные действия в текстовом редакторе делаются в секунду.



Я уже дано занимаюсь генерацией пакетов. Для этого есть API.
...
Рейтинг: 0 / 0
25.11.2019, 08:30
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893780
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ferdipux
Гость
хорошо я согласен


Ssis заставляет пользователя делать многочисленные тычки мышкой (напр., поменять тип всех 20 полей с int на float). Аналогичные действия в текстовом редакторе делаются в секунду.

Плюс, инициализация переменных, передача параметров... Очень удивительно, как мировое сообщество разработчиков это посчитало приемлемым

Идея SSIS и редакторов - чтобы кто-то без квалификации разработчика мог тасканием квадратиков создать ETL. Попробуйте классический SAP BW примерно того же времени создания - там то же самое, квадратики, стрелочки и адский ад.
Вообще-то, SSIS пакет - это XML файл. Если знаете структуру - можете править в текстовом редакторе.
Как альтернативы - существуют BIML для генерации пакетов, и собственный API Microsoft, и EzAPI - упрощающий "скучные" задачи в этом API.
...
Рейтинг: 0 / 0
25.11.2019, 10:14
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893782
tunknown
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tunknown
Участник
хорошо я согласен
Очень удивительно, как мировое сообщество разработчиков это посчитало приемлемым

Предлагаю дописать минусы в ветку .
...
Рейтинг: 0 / 0
25.11.2019, 10:15
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893789
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
tunknown
хорошо я согласен
Очень удивительно, как мировое сообщество разработчиков это посчитало приемлемым

Предлагаю дописать минусы в ветку .


Видимо вы что-то не знаете про SSIS, если вам надо делать 20 тычков мышкой.
...
Рейтинг: 0 / 0
25.11.2019, 10:24
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893858
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShIgor
Участник
a_voronin,

и меня научите, а то там и 2 тысяч тычков маловато бывает
...
Рейтинг: 0 / 0
25.11.2019, 12:21
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893910
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
ShIgor,

А что вы делаете? Source на destination коннектится автоматически. Ничего там 20 раз тыкать не надо.

типы если не сходятся -- ну тык их надо откастить в исходном запросе.

Я вот недавно писал C# script source и даже там сделал выходы копипастом.
...
Рейтинг: 0 / 0
25.11.2019, 13:20
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893932
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
a_voronin,

+1 там все плохо при неумелом использовании. когда набиваешь руку - лучше средства и не придумать. По крайней мере, у конкурентов такого ETL нет.

Вероятно, имеют в виду преобразование типов в потоках. Зачем менять с int на float не понятно, float используется только в научных целях, для записи показаний приборов. Но он там изначально float.
...
Рейтинг: 0 / 0
25.11.2019, 13:50
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893941
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гулин Федор
Участник
хорошо я согласен,
дата появления M ?
SSIS был с хрен знаект какой версии

НЕ идеален - но для таргет БД MS-SQL вряд ли что лушче есть


зы а так смотрите в сторону Airflow
там на Питоне все рисуется - вполне интересный тул
с похожей концепцией
м.б ваш случай - правда он под юникс
...
Рейтинг: 0 / 0
25.11.2019, 14:04
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39893944
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Гулин Федор,

Вот у меня вопрос airflow умеет мерджить сто лямов на сто лямов (две упорядоченных потока) по хешу прямо в памяти, чтобы синхронизировать две таблицы?
...
Рейтинг: 0 / 0
25.11.2019, 14:08
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894119
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гулин Федор
Участник
a_voronin,
я НЕ спец - люди кой чего показывали
я ставил вариант с докером и плюнул - ибо времени ушло слишком много

Идея мне точно нравится - гибко вроде
хотя мне сдается это больше для юинксовых бд
хотя коннекторы к ms-sql тоже есть

зы мне там кидали телеграм чат по airflow - Если сильно интересно - можете там спросить

Осн. плюс SSIS в том что они идет в поставке - взял и юзаешь
все остальное требует доп. усилий
...
Рейтинг: 0 / 0
25.11.2019, 18:06
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894480
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
ShIgor,

загляните сюда:

http://binodmahto.blogspot.com/2014/07/create-ssis-package-programatically.html
...
Рейтинг: 0 / 0
26.11.2019, 14:12
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894487
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShIgor
Участник
a_voronin,

и какая связь между граф интерфейсом и API?
API позволяет кликать мышкой или просто кликов мышки при использовании API меньше?
...
Рейтинг: 0 / 0
26.11.2019, 14:18
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894607
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
ShIgor
a_voronin,

и какая связь между граф интерфейсом и API?
API позволяет кликать мышкой или просто кликов мышки при использовании API меньше?


API позволяет создать пакеты нажимая клавиши. Вы задаете список таблиц, сканите INFORMATION_SCHEMA и создаете автоматические пакеты по некоторому образцу.

Например можно руками сделать задачу для 1 таблицы, а потом размножить её на 100 таблиц.
...
Рейтинг: 0 / 0
26.11.2019, 17:35
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894686
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShIgor
Участник
a_voronin,

использование API и подобного в качестве средства автоматизации должно быть обусловлено несколькими причинами, как минимум две из них:
1. постоянное изменение состава источников данных и их метаданных приводящих к необходимости обновления использующих их задач
2. полная формализация входных и выходных данных и их трансформация

в остальном смысл генерации SSIS пакетов "на лету" вряд-ли оправдан.
...
Рейтинг: 0 / 0
26.11.2019, 19:24
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894696
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alexeyvg
Участник
ShIgor
в остальном смысл генерации SSIS пакетов "на лету" вряд-ли оправдан.
Про генерацию на лету вообще речи не было.
Была речь о другом подходе (в мечтах) к построению SSIS пакетов.
ShIgor
использование API и подобного в качестве средства автоматизации должно быть обусловлено несколькими причинами, как минимум две из них:
1. постоянное изменение состава источников данных и их метаданных приводящих к необходимости обновления использующих их задач
2. полная формализация входных и выходных данных и их трансформация
Смысл тот же, что и применение процедур, функций, а потом и объектного подхода в ЯП.

Не "множить" код методом паст-копи, использовать один код для одинаковой обработки разных данных - давно оценённые паттерны программирования, это позволяет уменьшить стоимость разработки, уменьшить количество ошибок, и ускорить внесение изменений.

Изменение кода нужно не только при изменении состава источников данных, но и при правке багов, и изменении функционала. И да, "их метаданных" - они тоже могут меняться часто.

Положительного эффекта не будет только в том случае, если ничего не меняется, то есть тех. специалисты уволены, и всё работает. Тогда да, совершенно неважно, что там "внутри" у этого чёрного ящика.
...
Рейтинг: 0 / 0
26.11.2019, 19:39
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894739
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShIgor
Участник
alexeyvg

Была речь о другом подходе (в мечтах) к построению SSIS пакетов.

так и я о том же, что API вообще не способ быстрой правки пакетов, о чем мечтает ТС.

по поводу всего остального не отрицаю, но по факту вижу другое (только что касается SSIS). я на последнем месте работаю больше 8 лет, SSIS везде и всюду, причем свыше 500 однотипных мест возникновения/назначения данных, у которых регулярно меняются метаданные, ну вот ни разу не понадобилось использовать API для тиражирования или правки пакетов, ибо пакетов на задачу 1-2, остальное подставляется внутри пакета параметрами, переменными, выражениями, скриптами с параллельным запуском обработок.
единственный раз когда использовал "копи-паст", когда (уж не помню даже когда) прочитал статью о том как организовать в SSIS параллельную обработку средствами самого же SSIS, чтоб весь параллелизм был наглядно виден. попробовал и выкинул из продакшна - жутко неудобно сопровождать.
использовать API для правки багов тоже себе трудно представляю, это зачем надо было наплодить однотипных задач в разных пакетах? почему не отдельный пакет или процедура в SQL?

Даже тот же BIML не знаю куда прикрутить так чтобы получить от него существенную отдачу.
В общем, для большинства операций хватает кликанья мышкой, для тех кто хочет руками по клавиатуре постучать, тоже есть способ - F7/Shift-F7.
...
Рейтинг: 0 / 0
26.11.2019, 21:55
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894767
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alexeyvg
Участник
ShIgor
alexeyvg

Была речь о другом подходе (в мечтах) к построению SSIS пакетов.
так и я о том же, что API вообще не способ быстрой правки пакетов, о чем мечтает ТС.
Не, про генерацию, или про API, в исходном посте не было.

ТС говорит про то, что вместо непонятного формата пакетов, и среды для их рисования, с сохранением в этом формате, Микрософт мог бы придумать какой то язык, предназначенный специально для ETL, программы на котором исполнялись бы в специальной среде, утилите (как сейчас пакеты dtsx исполняются утилитой DTExec).
Тем более что они переписали пакеты полностью, с нуля.
Вот и можно было оставить старые пакеты, и потихоньку их пилить, и сделать новую среду, программистско-дружелюбную, для задач ETL

ShIgor
я на последнем месте работаю больше 8 лет, SSIS везде и всюду, причем свыше 500 однотипных мест возникновения/назначения данных, у которых регулярно меняются метаданные, ну вот ни разу не понадобилось использовать API для тиражирования или правки пакетов, ибо пакетов на задачу 1-2, остальное подставляется внутри пакета параметрами, переменными, выражениями, скриптами с параллельным запуском обработок.
Да, только получается, что SSIS-пакет становится запускателем утилит и скрипт-тасков.

Сейчас, правда, сделали подпакеты, немножко полегче должно быть.

Но большинство вопросов, например, как посмотреть в версионном хранилище исходников разницу между старым и новым пакетом, это не решает.

ShIgor
единственный раз когда использовал "копи-паст", когда (уж не помню даже когда) прочитал статью о том как организовать в SSIS параллельную обработку средствами самого же SSIS, чтоб весь параллелизм был наглядно виден. попробовал и выкинул из продакшна - жутко неудобно сопровождать.
Сплошная боль, в SSIS не удосужились сделать даже распараллеливающий контейнер, позор, за 15 то лет.
...
Рейтинг: 0 / 0
26.11.2019, 22:58
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894798
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vikkiv
Участник
alexeyvg
в SSIS не удосужились сделать даже распараллеливающий контейнер, позор, за 15 то лет.
сейчас у них фокус на Azure, там для Orchestration/Workflow задач вполне хватает инструментов
(от ADF, Flows, CloudShell и до того-же SSIS в разных вариантах {включая спец-таски под Azure} и т.д.)

кроме всего как писал выше a_voronin - там никто не запрещает полноценно ЯП кодить на .NET (C, VB да в конце концов
тот-же PS вызвать, всюду есть достаточно паралельности: Threading.Tasks/Start-Job и т.д., в самом SSIS стандартный MultiCast)
не совсем понимаю почему здесь некоторые высказываются об ограниченности - SSIS всего-лишь
среда с какими-то начальными блоками для неопытных, остальное кодится по необходимости в зависимости от фантазии

M это из PowerQuery который? Так вроде тоже в каких-то формах ещё с Excel-a существовал,
просто сейчас с маркетинговым давлением на пропихиванием Power BI начали более активно развивать
под растущие требования (и документацию привели в порядок),

а так-то у MS ещё целого ряда других языков (VBA,F#,F*,Q#,J#,X#,X++/MorphX,MVPL,MASM,Fortran,MS-DOS,QB/Basic,GWB,QC,QP,TS{JS},PS и куча др.,
туда-же можно добавить активно используемные с MS продуктами R,Python,T-SQL/U-SQL {сугубо их конечно}, в общем что-то скриптовое,
что-то запросное, полноценное ЯП или под специфичные задачи, Haskell Z3 Boogie HTML5 CSS W3C )
хватает под разную специфику и среды - что пользуется спросом и монетизируемо в
долгосрочном плане: развивают, остальное так: естъ и есть или списывают/продают,
так-что смотря какие перспективы и прямая/косвенная(через другие продукты) выгода (прибыль) в перспективе..

слишком мелко-детализированно под разные задачи - свой язык писать это ИМХО немного тупик
из-за не сильной радости пользователей всё это осваивать, т.к. легче один язык освоить
и применять широко под разные задачи: чисто по уровню интеллектуальных трудозатрат рациональней получается.
...
Рейтинг: 0 / 0
27.11.2019, 03:20
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894826
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
alexeyvg
в SSIS не удосужились сделать даже распараллеливающий контейнер, позор, за 15 то лет.


В смысле, не удосужились? Распараллеливание всегда было. С самой первой версии SSIS.

В Control Flow это Group. В DataFlow это Split.

Кидаете 20 Execute Sql в группу и они исполняются параллельно. Сплитите входной поток данных по бакетам, типа ID % 20 и они пошли на 20 стрелочек параллельно.

...
Рейтинг: 0 / 0
27.11.2019, 08:27
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39894982
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ferdipux
Гость
alexeyvg
Сплошная боль, в SSIS не удосужились сделать даже распараллеливающий контейнер, позор, за 15 то лет.

Неправда ваша, оно есть начиная с SSIS 2014, называется Balanced Data Distributor . Только распространяется внутри Feature Pack, вероятно, поэтому не сильно популярно.
Честное же параллеливание задач SSIS между хостами - Scale-Out - началось с SSIS 2017. Правда, там сразу наступаешь на вопросы лицензирования и прочие заморочки. Так что еще менее популярно.
...
Рейтинг: 0 / 0
27.11.2019, 12:28
| Ответить | Цитировать | Написать  
Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
    #39895022
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShIgor
Участник
a_voronin,

1, 2, 3 и 4 batch - это ли не копи-паст? кто мешает в каждом из таких батчей поиметь свою логику?
4, а можно больше? а сколько больше можно? а динамически?
из-за этого и выкинул
...
Рейтинг: 0 / 0
27.11.2019, 13:16
| Ответить | Цитировать | Написать  
25 сообщений из 30, страница 1 из 2
  1  все
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Ssis - это многочисленные стрелочки, окошечки. Почему нельзя было сделать в виде языка M?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]