ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / SSIS это инструмент тлен, вы не согласны?
60 сообщений из 60, показаны все 3 страниц
  все  
SSIS это инструмент тлен, вы не согласны?
    #40076881
Фотография Focha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Focha
Участник
Начал я тут активно пользоваться SSIS без C#. Это какой-то ужас, преобразование данных, проверка, изменения и т.п.
Такое чувство, что это инструмент из начало 2000 и на него забили.
Мне например нужно заменить "" на null в столбце, беру производный столбец и делаю замену столбца и ставлю выражение series_name != "" ? series_name : NULL(DT_WSTR,30) , почему нельзя просто null написать?!


Какие вы инструменты используете в ETL?
...
Рейтинг: 0 / 0
10.06.2021, 13:35
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40076910
Фотография SQL2008
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL2008
Участник
Focha
ставлю выражение series_name != "" ? series_name : NULL(DT_WSTR,30) , почему нельзя просто null написать?!

Потому, что нужно сообщить какого размера будет NULL в базе.
Согласитесь, что NULL для BIT, INT и BIGINT имеют разный размер.
А вообще конечно жесть, тут я не спорю.
...
Рейтинг: 0 / 0
10.06.2021, 14:23
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40076914
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
Focha,

что поделать, надо выходить иногда из зоны комфорта и создавать новую.
"нельзя просто null написать" - какого же типа он должен быть? "просто null" не бывает. В C# точно так же существую типы.
...
Рейтинг: 0 / 0
10.06.2021, 14:29
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40076915
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
SQL2008
А вообще конечно жесть, тут я не спорю.
+1. И SSMS тоже.
...
Рейтинг: 0 / 0
10.06.2021, 14:30
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40076917
aleks222
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aleks222
Участник
Очередной плачЪ ярославны?

1. Все "Мастера-Wisard-ы", а SSIS - суть "очень бАльшой Мастер-Wisard", сделаны для "очень непрограммиздов".
2. Главное правило использования Мастер-Wisard - не сопротивляться неизбежному.
3. Вот тока щас с экселевским визардом боролся. В неравной борьбе визард победил.
...
Рейтинг: 0 / 0
10.06.2021, 14:35
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40076926
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
aleks222,

+1 вполне комфортный инструмент, если его не пытаться "согнуть" под свое понимание реальности.
...
Рейтинг: 0 / 0
10.06.2021, 14:52
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40076938
Кесарь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кесарь
Участник
Focha
Начал я тут активно пользоваться SSIS без C#. Это какой-то ужас, преобразование данных, проверка, изменения и т.п.
Такое чувство, что это инструмент из начало 2000 и на него забили.
Мне например нужно заменить "" на null в столбце, беру производный столбец и делаю замену столбца и ставлю выражение series_name != "" ? series_name : NULL(DT_WSTR,30) , почему нельзя просто null написать?!


SSIS конечно далеко не ПО мечты. Но в принципе задачи я на нём решал. Чисто средствами самого ссиса и сиквел сервера.


Вопрос про вашу фразу "начал пользоваться SSIS без C#": это надо понимать так, что сишарп вы знаете? Если так, то какие вообще могут быть затруднения с ссисом? У меня вот были, потому как я сишарпом не владею к сожалению.
...
Рейтинг: 0 / 0
10.06.2021, 15:09
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40076945
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
Focha,

Переходите на идеологию ELT и почти все проблемы волшебным образом уйдут
...
Рейтинг: 0 / 0
10.06.2021, 15:36
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40076948
bideveloper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bideveloper
Участник
Критик


Переходите на идеологию ELT и почти все проблемы волшебным образом уйдут

T все равно надо будет на чем-то делать.
...
Рейтинг: 0 / 0
10.06.2021, 15:51
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40076952
msLex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
msLex
Участник
bideveloper
T все равно надо будет на чем-то делать.

В парадигме ELT, T делается уже после загрузки данных в "получателя".
Т.е. если рассматривать цепочку "внешние источник данных" -> SSIS -> SQL Server, то T производится средствами SQL Server-а.
...
Рейтинг: 0 / 0
10.06.2021, 15:58
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40076964
Кесарь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кесарь
Участник
msLex
bideveloper
T все равно надо будет на чем-то делать.

В парадигме ELT, T делается уже после загрузки данных в "получателя".
Т.е. если рассматривать цепочку "внешние источник данных" -> SSIS -> SQL Server, то T производится средствами SQL Server-а.


Не знал ни о какой идеологии, но именно так и делал :)
...
Рейтинг: 0 / 0
10.06.2021, 16:20
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077036
bideveloper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bideveloper
Участник
msLex

В парадигме ELT, T делается уже после загрузки данных в "получателя".
Т.е. если рассматривать цепочку "внешние источник данных" -> SSIS -> SQL Server, то T производится средствами SQL Server-а.

Можно и после загрузки использовать SSIS для T. На одних хранимых процедурах как-то не очень удобно.
...
Рейтинг: 0 / 0
10.06.2021, 23:54
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077045
aleks222
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aleks222
Участник
[quot bideveloper#22334139]
msLex
На одних хранимых процедурах как-то не очень удобно.


Надо выдавливать из себя императивного программизда.
...
Рейтинг: 0 / 0
11.06.2021, 05:34
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077071
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ferdipux
Гость
bideveloper
msLex

В парадигме ELT, T делается уже после загрузки данных в "получателя".
Т.е. если рассматривать цепочку "внешние источник данных" -> SSIS -> SQL Server, то T производится средствами SQL Server-а.

Можно и после загрузки использовать SSIS для T. На одних хранимых процедурах как-то не очень удобно.

Есть еще одно преимущество SSIS в ELT. Если вы SQL логику пропишете в SSIS пакетах -- вам ее проще версионировать, возврат к предыдущей или выбранной версии SSIS производится из SSMS выбором из списка установленных версий проекта SSIS. При этом проект SSIS объединяет несколько пакетов и их конфигурации, то есть в нормально ситуации - зависимости поддерживаются (если они были на уровне SSIS пакетов во время дизайна).
...
Рейтинг: 0 / 0
11.06.2021, 09:49
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077073
Фотография SQL2008
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL2008
Участник
Ferdipux
Есть еще одно преимущество SSIS в ELT. Если вы SQL логику пропишете в SSIS пакетах -- вам ее проще версионировать, возврат к предыдущей или выбранной версии SSIS производится из SSMS выбором из списка установленных версий проекта SSIS. При этом проект SSIS объединяет несколько пакетов и их конфигурации, то есть в нормально ситуации - зависимости поддерживаются (если они были на уровне SSIS пакетов во время дизайна).

Это да!
Очень удобная фича, постоянно ей пользуюсь.
Сейчас не заморачиваюсь созданием копий прошлых пакетов и хранилищем кода (неправильно, но удобно).
...
Рейтинг: 0 / 0
11.06.2021, 09:56
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077099
Фотография iShvedsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iShvedsky
Участник
Ferdipux

Есть еще одно преимущество SSIS в ELT. Если вы SQL логику пропишете в SSIS пакетах -- вам ее проще версионировать, возврат к предыдущей или выбранной версии SSIS производится из SSMS выбором из списка установленных версий проекта SSIS. При этом проект SSIS объединяет несколько пакетов и их конфигурации, то есть в нормально ситуации - зависимости поддерживаются (если они были на уровне SSIS пакетов во время дизайна).


А можно поподробнее про это? Пару картинок или лучше всего ссылку, где про это можно прочитать.
...
Рейтинг: 0 / 0
11.06.2021, 10:45
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077117
Кесарь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кесарь
Участник
iShvedsky
Ferdipux

Есть еще одно преимущество SSIS в ELT. Если вы SQL логику пропишете в SSIS пакетах -- вам ее проще версионировать, возврат к предыдущей или выбранной версии SSIS производится из SSMS выбором из списка установленных версий проекта SSIS. При этом проект SSIS объединяет несколько пакетов и их конфигурации, то есть в нормально ситуации - зависимости поддерживаются (если они были на уровне SSIS пакетов во время дизайна).


А можно поподробнее про это? Пару картинок или лучше всего ссылку, где про это можно прочитать.


Поддерживаю вопрос!
...
Рейтинг: 0 / 0
11.06.2021, 11:27
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077158
Фотография Focha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Focha
Участник
SQL2008
Focha
ставлю выражение series_name != "" ? series_name : NULL(DT_WSTR,30) , почему нельзя просто null написать?!

Потому, что нужно сообщить какого размера будет NULL в базе.
Согласитесь, что NULL для BIT, INT и BIGINT имеют разный размер.
А вообще конечно жесть, тут я не спорю.

Вот такие вещи должна делать система, а не человек

Владислав Колосов
Focha,
что поделать, надо выходить иногда из зоны комфорта и создавать новую.
"нельзя просто null написать" - какого же типа он должен быть? "просто null" не бывает. В C# точно так же существую типы.

Да это понятно, но современный мир становится для пользователей все проще и проще, а для разработчиков нет.
В зоне конфорта вообще сидеть плохо

aleks222
Очередной плачЪ ярославны?
3. Вот тока щас с экселевским визардом боролся. В неравной борьбе визард победил.

Небольшой плач, он иногда нужен
экселевским визардом - это что?

Владислав Колосов
aleks222,

+1 вполне комфортный инструмент, если его не пытаться "согнуть" под свое понимание реальности.

а почти всегда хочеться "согнуть"

Критик
Focha,

Переходите на идеологию ELT и почти все проблемы волшебным образом уйдут

ETL & ELT использую, иногда даже обработка, загрузка, а потом опять обработка
...
Рейтинг: 0 / 0
11.06.2021, 12:46
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077182
tunknown
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tunknown
Участник
Ferdipux
Есть еще одно преимущество SSIS в ELT. Если вы SQL логику пропишете в SSIS пакетах -- вам ее проще версионировать, возврат к предыдущей или выбранной версии SSIS производится из SSMS выбором из списка установленных версий проекта SSIS. При этом проект SSIS объединяет несколько пакетов и их конфигурации, то есть в нормально ситуации - зависимости поддерживаются (если они были на уровне SSIS пакетов во время дизайна).
SSIS малосовместимо с (любой?)системой контроля версий. Этот продукт плох .
...
Рейтинг: 0 / 0
11.06.2021, 13:16
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077184
Фотография SQL2008
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL2008
Участник
tunknown
SSIS малосовместимо с (любой?)системой контроля версий.

Это с чего вы так решили?
Делайте проект в студии, подключайте хоть к GitHub/GitLab, хоть к SVN, хоть к VSS.
...
Рейтинг: 0 / 0
11.06.2021, 13:20
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077188
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
Focha,

автора почти всегда хочеться "согнуть"
Значит, Вы еще не постигли парадигму SSIS, применение С# скриптов требуется в довольно редком количестве случаев.

Относительно версий. SQL сервер сохраняет заданное в конфигурации количество опубликованных версий пакета, перейти на нужную версию можно правой кнопкой в меню пакета в SSMS, емнип.
...
Рейтинг: 0 / 0
11.06.2021, 13:31
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077200
tunknown
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tunknown
Участник
SQL2008
tunknown
SSIS малосовместимо с (любой?)системой контроля версий.

Это с чего вы так решили?
Делайте проект в студии, подключайте хоть к GitHub/GitLab, хоть к SVN, хоть к VSS.
Обращение SSIS с файлами проекта таково, что их складывание в систему контроля версий почти ничем не отличается от складывания бинарников еженочных билдов. Впрочем, это упомянуто в ссылке.
...
Рейтинг: 0 / 0
11.06.2021, 13:59
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077618
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ferdipux
Гость
tunknown
SSIS малосовместимо с (любой?)системой контроля версий. Этот продукт плох .


Вы просто не умеете его готовить :) Есть практика натравливания XSLT преобразования, которое вычищает уникальные ключи и прочее наследие Visual Studio. Результат работает как SSIS пакет и нормально версионируется.
За источниками XSLT - смотрите в проекте BI Developer Extensions .
...
Рейтинг: 0 / 0
15.06.2021, 12:41
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077648
tunknown
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tunknown
Участник
Ferdipux
Вы просто не умеете его готовить :)
Кашу из топора имеет смысл готовить только если нужно поесть за чужой счёт и/или забрать топор себе. Такой подход весьма рационален в некоторых случаях. В других случаях энергию лучше направлять в хорошее русло.

Ferdipux
Есть практика натравливания XSLT преобразования, которое вычищает уникальные ключи и прочее наследие Visual Studio. Результат работает как SSIS пакет и нормально версионируется.
Несомненно- это плюс. Теперь минусов у SSIS не N+1, а всего N.
...
Рейтинг: 0 / 0
15.06.2021, 13:35
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077651
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ferdipux
Гость
iShvedsky

А можно поподробнее про это? Пару картинок или лучше всего ссылку, где про это можно прочитать.

Ссылка с примерами и картинками SSIS Catalog Versioning -- как работать с версиями пакетов SSIS, возвращаться к предыдущей версии и т.п.
...
Рейтинг: 0 / 0
15.06.2021, 13:41
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077736
Vladimir2018
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vladimir2018
Гость
Focha
Начал я тут активно пользоваться SSIS без C#.
series_name != "" ? series_name : NULL(DT_WSTR,30)


Это тернарный оператор, почти точный аналог из C#. Троллите дедушек?
...
Рейтинг: 0 / 0
15.06.2021, 18:11
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077862
Фотография Focha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Focha
Участник
Vladimir2018
Focha
Начал я тут активно пользоваться SSIS без C#.
series_name != "" ? series_name : NULL(DT_WSTR,30)


Это тернарный оператор, почти точный аналог из C#. Троллите дедушек?

Ну за 20 лет, Microsoft мог убрать обязательно указывать тип для null, так как возрощаемый столбец имеет тип.
Про C# знаю, и вопрос сейчас не про C#, напомню, что SSIS сделано не для програмистов.
А уж о всяках switch или case в SSIS вообще речи не идет, хотя мне кажеться как раз такие операторы нужны.
Мне нравиться подход, когда в пакете делается вся обработка данных, а приходиться вставлять в таблицу и потом делать update с CASE
...
Рейтинг: 0 / 0
16.06.2021, 11:19
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077866
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
Focha,

значит вы что-то не так делаете, просветление ещё не пришло.
...
Рейтинг: 0 / 0
16.06.2021, 11:38
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40078364
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
1. SSIS должен только делать то что умеет, а именно - загружать в базу файлики, слать емейлы и вызывать процедуры по расписанию. Вcю работу с данными делает база c помощью SP.
Если вы делаете не так, значит вы еще новичок с SSIS.


2. Ну и да - МС забила болт на SSIS, развивается сейчас Azure Data Factory. Впрочим это не значит что ADF умеет больше чем SSIS. Скорее меньше, но это и хорошо - меньше соблазна делать что-то отличное от перекладывания файликов и вызова процедур
...
Рейтинг: 0 / 0
17.06.2021, 17:40
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40078393
Фотография SQL2008
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL2008
Участник
Ivan Durak
МС забила болт на SSIS

И это случилось уже давно.
По крайней мере с 2005 версии мало что поменялось.
От DTS не сильно далеко ушла.
...
Рейтинг: 0 / 0
17.06.2021, 19:14
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40078395
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
SQL2008,

Мм, а куда дальше шагать от dts?
Там и так есть все, что может потребоваться.
...
Рейтинг: 0 / 0
17.06.2021, 19:21
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40079379
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Focha
Начал я тут активно пользоваться SSIS без C#. Это какой-то ужас, преобразование данных, проверка, изменения и т.п.
Такое чувство, что это инструмент из начало 2000 и на него забили.
Мне например нужно заменить "" на null в столбце, беру производный столбец и делаю замену столбца и ставлю выражение series_name != "" ? series_name : NULL(DT_WSTR,30) , почему нельзя просто null написать?!


Какие вы инструменты используете в ETL?


Вы не сумели вкурить всю мощь этого инструмента. Попробуйте, например, SAP Data Services и тогда поймете, что SSIS это конфетка.

А почему бы в исходном запросе в источнике не написать NULLIF(series_name, '')
...
Рейтинг: 0 / 0
22.06.2021, 15:49
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40079412
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
a_voronin
Focha
Начал я тут активно пользоваться SSIS без C#. Это какой-то ужас, преобразование данных, проверка, изменения и т.п.
Такое чувство, что это инструмент из начало 2000 и на него забили.
Мне например нужно заменить "" на null в столбце, беру производный столбец и делаю замену столбца и ставлю выражение series_name != "" ? series_name : NULL(DT_WSTR,30) , почему нельзя просто null написать?!


Какие вы инструменты используете в ETL?


Вы не сумели вкурить всю мощь этого инструмента. Попробуйте, например, SAP Data Services и тогда поймете, что SSIS это конфетка.

А почему бы в исходном запросе в источнике не написать NULLIF(series_name, '')

так и пишут, в финале познав дзен, вообще не доверяя SSIS-у ничего сложнее вызова процедур
...
Рейтинг: 0 / 0
22.06.2021, 17:55
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40079425
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Ivan Durak
a_voronin
пропущено...


Вы не сумели вкурить всю мощь этого инструмента. Попробуйте, например, SAP Data Services и тогда поймете, что SSIS это конфетка.

А почему бы в исходном запросе в источнике не написать NULLIF(series_name, '')

так и пишут, в финале познав дзен, вообще не доверяя SSIS-у ничего сложнее вызова процедур



Я делаю наворочннные dataflow на ssis

YouTube Video
YouTube Video
...
Рейтинг: 0 / 0
22.06.2021, 18:56
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40079476
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
Не все знают, что почти все параметры и выражения можно переопределять в процессе работы - имена файлов в коннектах и тому подобное, из-за этого начинаются пляски у костра и вызывание духа C#.
Например, можно на сервере организовать таблицу с путями и подставлять их для выгрузки соответственно данным. Нужно просветление, как я уже писал, и всё наладится с SSIS.
...
Рейтинг: 0 / 0
22.06.2021, 21:21
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40079509
Фотография iShvedsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iShvedsky
Участник
Владислав Колосов
Не все знают, что почти все параметры и выражения можно переопределять в процессе работы - имена файлов в коннектах и тому подобное, из-за этого начинаются пляски у костра и вызывание духа C#.


Так Expressions в Properties он же для слабаков :-) Думать надо, писать, стороннюю таблицу надо делать, чтобы настройки пакета там держать. Правильный путь - кидать квадратики и рассуждать, что SSIS ужасен.
...
Рейтинг: 0 / 0
23.06.2021, 09:50
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40079515
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
a_voronin
Ivan Durak
пропущено...

так и пишут, в финале познав дзен, вообще не доверяя SSIS-у ничего сложнее вызова процедур

Я делаю наворочннные dataflow на ssis

я тоже такой херней маялся в 2008-м
...
Рейтинг: 0 / 0
23.06.2021, 10:09
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40079531
Фотография SQL2008
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL2008
Участник
Критик
SQL2008,

Мм, а куда дальше шагать от dts?
Там и так есть все, что может потребоваться.

Хотя бы исправить косяки, которым не один десяток лет.
Пример?
Если на DataFlow загорается ошибка (красный крестик в кружочке), то наведя мышку вы увидите лишь часть сообщения! Что то типа "В компоненте Data Flow Task 1 обнаружено, что..." и далее текст обрезается.
Посмотреть полный текст нет никакой возможности.
Ни копи, ни какие другие ухищрения не помогают получить полный текст.
Яйца бы обрезал тому мудаку, который сделал так!

Приходится переименовывать в "1" чтобы получить текст, типа "В компоненте 1 обнаружено, что поле user_id не сов...". А дальше уже пытаемся догадаться, что там за ошибка.
Идиотизм!

Хотя може есть какой-то способ, но я про него не знаю?
...
Рейтинг: 0 / 0
23.06.2021, 11:21
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40079557
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
SQL2008,

там есть журнал хода выполнения, всё достаточно подробно. Закладка справа или отчет, если пакет опубликован на сервере. Кроме того, можно самостоятельно создать обработку ошибок.
...
Рейтинг: 0 / 0
23.06.2021, 12:24
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080652
Фотография Focha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Focha
Участник
Ну вот еще одна проблема, это обработки JSON.
Инструмент в целом выполняет свои задачи, особенно с многопоточностью.

Я хочу иметь всю обработку в одном месте, а не распихивать по разным хранимкам. Тем более в SSIS хорошо вписывается ETL.
Вот огромная компания покупает сервер и по сути получает старое ПО в виде SSIS. Это немного странно.
...
Рейтинг: 0 / 0
29.06.2021, 09:24
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080661
andy st
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andy st
Гость
Focha
Вот огромная компания покупает сервер и по сути получает старое ПО в виде SSIS. Это немного странно.

Если что, SQL Server вообще выпускается с 1989 года. Как такой старый софт вообще можно покупать то?
Надо юзать модные-стильные-молодежные, которые с списках рейтингов субд (да и по возможностям) находятся в разделе "и т.д.". И еще какие-нибудь "современные" etl-приблуды, которые либо повторяют функционал SSIS в тёмной теме, либо дорастут до его возможностей через никогда лет.
...
Рейтинг: 0 / 0
29.06.2021, 10:41
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080677
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
Focha,

насчет JSON соглашусь, поддержка в сиквеле давно есть, а в SISS задачу не добавили. Могли бы и согласовать планы развития.
...
Рейтинг: 0 / 0
29.06.2021, 12:09
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080685
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Владислав Колосов
Focha,

насчет JSON соглашусь, поддержка в сиквеле давно есть, а в SISS задачу не добавили. Могли бы и согласовать планы развития.


XML JSON Excel лучше разбирать C# кодом, который поддерживается в SSIS со времен царя Гороха, причем даже как компонент DataFlow
...
Рейтинг: 0 / 0
29.06.2021, 12:32
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080693
andy st
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andy st
Гость
И всегда можно разориться и купить компонент работы с JSON в SSIS, благо они есть в наличии
...
Рейтинг: 0 / 0
29.06.2021, 13:00
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080781
Фотография iShvedsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iShvedsky
Участник
Focha
Ну вот еще одна проблема, это обработки JSON.


Так на гитхабе в исходниках всё есть. И давно. Например, SSIS-Json-Source-Component
...
Рейтинг: 0 / 0
29.06.2021, 18:25
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080793
aleks222
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aleks222
Участник
iShvedsky
Focha
Ну вот еще одна проблема, это обработки JSON.


Так на гитхабе в исходниках всё есть. И давно. Например, SSIS-Json-Source-Component


Чем это лучше или быстрее встроенного парсера?
...
Рейтинг: 0 / 0
29.06.2021, 19:26
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080859
Фотография HandKot
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
HandKot
Участник
aleks222
iShvedsky
пропущено...


Так на гитхабе в исходниках всё есть. И давно. Например, SSIS-Json-Source-Component


Чем это лучше или быстрее встроенного парсера?

насколько я понимаю, это выполняется вне памяти скуля и может на другой машине
...
Рейтинг: 0 / 0
30.06.2021, 10:26
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080936
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
HandKot
aleks222
пропущено...


Чем это лучше или быстрее встроенного парсера?

насколько я понимаю, это выполняется вне памяти скуля и может на другой машине


При использовании SSIS Иисточник, Парзер и Назначение могут быть на разных серверах. Могут быть разных типов. Можно например делать MERGE между таблицей в БД и файлом. Или соединять Oracle c Вертикой и Экселем и класть в MS SQL. И всю нагрузку кроме чтения и записи результат делать на третьем сервере.
...
Рейтинг: 0 / 0
30.06.2021, 14:24
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080965
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
a_voronin,

это уже философия - что лучше, а что хуже, факт состоит в том, что MS не сделали источник для JSON, хотя в самом сиквеле обработка имеется. А вот для XML - сделали. Я считаю, что использование скриптов должно быть сведено к нулю в таких системах, иначе можно всё написать на C# и закрыть вопрос. Но тогда зачем этот SSIS вообще нужен, если можно самостоятельно писать программы по загрузке на C#.
...
Рейтинг: 0 / 0
30.06.2021, 15:23
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080977
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Владислав Колосов
a_voronin,

это уже философия - что лучше, а что хуже, факт состоит в том, что MS не сделали источник для JSON, хотя в самом сиквеле обработка имеется. А вот для XML - сделали. Я считаю, что использование скриптов должно быть сведено к нулю в таких системах, иначе можно всё написать на C# и закрыть вопрос. Но тогда зачем этот SSIS вообще нужен, если можно самостоятельно писать программы по загрузке на C#.


1) Во-первых, сделали. Такие компоненты есть.
2) Во-вторых, JSON появился гораздо позже появления SSIS
...
Рейтинг: 0 / 0
30.06.2021, 15:55
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080985
Фотография iShvedsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iShvedsky
Участник
Владислав Колосов
MS не сделали источник для JSON, хотя в самом сиквеле обработка имеется. А вот для XML - сделали.

Они ещё итератор файлов в файловой системе сделали, а итератор файлов на FTP не написали. И таких примеров куча. Отдельный вопрос, а должны были сделать?

Владислав Колосов
Я считаю, что использование скриптов должно быть сведено к нулю в таких системах, иначе можно всё написать на C# и закрыть вопрос.

Можно. А зачем? Хотите свой отдельный оркестратор написать? Как его другие потом сопровождать и использовать будут? Где персонал под такую разработку искать? Стоимость такого решения для организации сможете оценить? А стоимость дальнейшего сопровождения?

Владислав Колосов
Но тогда зачем этот SSIS вообще нужен, если можно самостоятельно писать программы по загрузке на C#.

Хороший бесплатный инструмент с широкими возможностями. Для кастомных вещей - вот Вам в руки вся мощь C#. Вы ведь сможете json source & destanation написать, раз собрались весь функционал SSIS'a на C# переписывать? Не хватает компонентов? Куча есть бесплатных и платных - на любой вкус.
...
Рейтинг: 0 / 0
30.06.2021, 17:11
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080988
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
хороший и бесплатный инструмент - это Airflow.
...
Рейтинг: 0 / 0
30.06.2021, 17:29
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40081003
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
iShvedsky,

до чего упрямые люди :)
авторДля кастомных вещей С чего Вы взяли, что JSON есть кастомная вещь, если он официально поддерживается на TSQL? Просто индусы недоглядели.
...
Рейтинг: 0 / 0
30.06.2021, 18:40
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40081005
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ferdipux
Гость
Ivan Durak
хороший и бесплатный инструмент - это Airflow.

Улыбнули. Там полно своих тараканов, в частности - релизы. В SSIS с этим порядок (начиная с 2012), есть проект и его установленная версия, есть экземпляр исполнения пакета из конкретной версии. Можешь устанавливать новую версию в процессе работы существующей, ничего не сломается, новая версия подцепится если запросишь выполнение пакета после установки, старая продолжит дорабатывать до конца. А в AF отдельного ID DAG или task нет, только имя. Имя между релизами не меняется, разработчикам и прочим не удобно :(. И вот при накате нового релиза начинается игра "останови мир"...
...
Рейтинг: 0 / 0
30.06.2021, 18:47
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40081006
Фотография iShvedsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iShvedsky
Участник
Владислав Колосов
С чего Вы взяли, что JSON есть кастомная вещь, если он официально поддерживается на TSQL


Так Вам же ответили выше, что json в TSQL появился позже SSIS. Ну, или если хотите, позже того момента, когда SSIS ещё развивался.

Владислав Колосов
Просто индусы недоглядели.


Так они уже в тот момент смотрели не на SSIS, а в другую сторону - в облака.
...
Рейтинг: 0 / 0
30.06.2021, 18:48
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40081008
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ferdipux
Гость
Владислав Колосов
факт состоит в том, что MS не сделали источник для JSON, хотя в самом сиквеле обработка имеется. А вот для XML - сделали.

Ответ скорее в другом. SQL RDBMS для MS - ядерный продукт, туда пилят фичи. SSIS - таковым не является, развивается сбоку по остаточному принципу. В таких случаях MS любит говорить, что мы делаем framework и базовые вещи, а остальные фичи - делают партнеры. Они их и делают, но не забесплатно...
...
Рейтинг: 0 / 0
30.06.2021, 18:51
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40081071
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
Ferdipux
Владислав Колосов
факт состоит в том, что MS не сделали источник для JSON, хотя в самом сиквеле обработка имеется. А вот для XML - сделали.

Ответ скорее в другом. SQL RDBMS для MS - ядерный продукт, туда пилят фичи. SSIS - таковым не является, развивается сбоку по остаточному принципу. В таких случаях MS любит говорить, что мы делаем framework и базовые вещи, а остальные фичи - делают партнеры. Они их и делают, но не забесплатно...

ядерный продукт для МС сейчас - azure. А всякие он-прем базы (не говоря уже про ssis) - это по остаточному
...
Рейтинг: 0 / 0
01.07.2021, 10:21
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40081265
Фотография Focha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Focha
Участник
Ivan Durak

ядерный продукт для МС сейчас - azure. А всякие он-прем базы (не говоря уже про ssis) - это по остаточному

Я вот не пойму, хорошо сейчас Azure раскручивают, но разве там прям передовой, до ума доведенный, современный инструмент для ETL? Там тот же давно необновляемый с точки зрения функционал SSIS.
...
Рейтинг: 0 / 0
01.07.2021, 22:42
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40081279
aleks222
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aleks222
Участник
Focha
Ivan Durak

ядерный продукт для МС сейчас - azure. А всякие он-прем базы (не говоря уже про ssis) - это по остаточному

Я вот не пойму, хорошо сейчас Azure раскручивают, но разве там прям передовой, до ума доведенный, современный инструмент для ETL? Там тот же давно необновляемый с точки зрения функционал SSIS.


Верните нам DTS!!!

PS. Короче.
...
Рейтинг: 0 / 0
02.07.2021, 06:08
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40081309
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
Focha
Ivan Durak

ядерный продукт для МС сейчас - azure. А всякие он-прем базы (не говоря уже про ssis) - это по остаточному

Я вот не пойму, хорошо сейчас Azure раскручивают, но разве там прям передовой, до ума доведенный, современный инструмент для ETL? Там тот же давно необновляемый с точки зрения функционал SSIS.

кому там ssis нужен. в азуре Azure Data Factory. Но по факту он и не пытается из себя ETL корчить, чисто ELT
...
Рейтинг: 0 / 0
02.07.2021, 10:24
| Ответить | Цитировать | Написать  
60 сообщений из 60, показаны все 3 страниц
  все  
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / SSIS это инструмент тлен, вы не согласны?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=46&tid=1684549]:
 0ms
get settings:
 9ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 48ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 77ms
get tp. blocked users:
 1ms
others: 270ms
total:  435ms
созд. / загр.: 435ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]