ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / SSIS это инструмент тлен, вы не согласны?
25 сообщений из 60, страница 2 из 3
  2  все
SSIS это инструмент тлен, вы не согласны?
    #40077736
Vladimir2018
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vladimir2018
Гость
Focha
Начал я тут активно пользоваться SSIS без C#.
series_name != "" ? series_name : NULL(DT_WSTR,30)


Это тернарный оператор, почти точный аналог из C#. Троллите дедушек?
...
Рейтинг: 0 / 0
15.06.2021, 18:11
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077862
Фотография Focha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Focha
Участник
Vladimir2018
Focha
Начал я тут активно пользоваться SSIS без C#.
series_name != "" ? series_name : NULL(DT_WSTR,30)


Это тернарный оператор, почти точный аналог из C#. Троллите дедушек?

Ну за 20 лет, Microsoft мог убрать обязательно указывать тип для null, так как возрощаемый столбец имеет тип.
Про C# знаю, и вопрос сейчас не про C#, напомню, что SSIS сделано не для програмистов.
А уж о всяках switch или case в SSIS вообще речи не идет, хотя мне кажеться как раз такие операторы нужны.
Мне нравиться подход, когда в пакете делается вся обработка данных, а приходиться вставлять в таблицу и потом делать update с CASE
...
Рейтинг: 0 / 0
16.06.2021, 11:19
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40077866
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
Focha,

значит вы что-то не так делаете, просветление ещё не пришло.
...
Рейтинг: 0 / 0
16.06.2021, 11:38
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40078364
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
1. SSIS должен только делать то что умеет, а именно - загружать в базу файлики, слать емейлы и вызывать процедуры по расписанию. Вcю работу с данными делает база c помощью SP.
Если вы делаете не так, значит вы еще новичок с SSIS.


2. Ну и да - МС забила болт на SSIS, развивается сейчас Azure Data Factory. Впрочим это не значит что ADF умеет больше чем SSIS. Скорее меньше, но это и хорошо - меньше соблазна делать что-то отличное от перекладывания файликов и вызова процедур
...
Рейтинг: 0 / 0
17.06.2021, 17:40
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40078393
Фотография SQL2008
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL2008
Участник
Ivan Durak
МС забила болт на SSIS

И это случилось уже давно.
По крайней мере с 2005 версии мало что поменялось.
От DTS не сильно далеко ушла.
...
Рейтинг: 0 / 0
17.06.2021, 19:14
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40078395
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
SQL2008,

Мм, а куда дальше шагать от dts?
Там и так есть все, что может потребоваться.
...
Рейтинг: 0 / 0
17.06.2021, 19:21
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40079379
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Focha
Начал я тут активно пользоваться SSIS без C#. Это какой-то ужас, преобразование данных, проверка, изменения и т.п.
Такое чувство, что это инструмент из начало 2000 и на него забили.
Мне например нужно заменить "" на null в столбце, беру производный столбец и делаю замену столбца и ставлю выражение series_name != "" ? series_name : NULL(DT_WSTR,30) , почему нельзя просто null написать?!


Какие вы инструменты используете в ETL?


Вы не сумели вкурить всю мощь этого инструмента. Попробуйте, например, SAP Data Services и тогда поймете, что SSIS это конфетка.

А почему бы в исходном запросе в источнике не написать NULLIF(series_name, '')
...
Рейтинг: 0 / 0
22.06.2021, 15:49
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40079412
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
a_voronin
Focha
Начал я тут активно пользоваться SSIS без C#. Это какой-то ужас, преобразование данных, проверка, изменения и т.п.
Такое чувство, что это инструмент из начало 2000 и на него забили.
Мне например нужно заменить "" на null в столбце, беру производный столбец и делаю замену столбца и ставлю выражение series_name != "" ? series_name : NULL(DT_WSTR,30) , почему нельзя просто null написать?!


Какие вы инструменты используете в ETL?


Вы не сумели вкурить всю мощь этого инструмента. Попробуйте, например, SAP Data Services и тогда поймете, что SSIS это конфетка.

А почему бы в исходном запросе в источнике не написать NULLIF(series_name, '')

так и пишут, в финале познав дзен, вообще не доверяя SSIS-у ничего сложнее вызова процедур
...
Рейтинг: 0 / 0
22.06.2021, 17:55
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40079425
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Ivan Durak
a_voronin
пропущено...


Вы не сумели вкурить всю мощь этого инструмента. Попробуйте, например, SAP Data Services и тогда поймете, что SSIS это конфетка.

А почему бы в исходном запросе в источнике не написать NULLIF(series_name, '')

так и пишут, в финале познав дзен, вообще не доверяя SSIS-у ничего сложнее вызова процедур



Я делаю наворочннные dataflow на ssis

YouTube Video
YouTube Video
...
Рейтинг: 0 / 0
22.06.2021, 18:56
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40079476
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
Не все знают, что почти все параметры и выражения можно переопределять в процессе работы - имена файлов в коннектах и тому подобное, из-за этого начинаются пляски у костра и вызывание духа C#.
Например, можно на сервере организовать таблицу с путями и подставлять их для выгрузки соответственно данным. Нужно просветление, как я уже писал, и всё наладится с SSIS.
...
Рейтинг: 0 / 0
22.06.2021, 21:21
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40079509
Фотография iShvedsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iShvedsky
Участник
Владислав Колосов
Не все знают, что почти все параметры и выражения можно переопределять в процессе работы - имена файлов в коннектах и тому подобное, из-за этого начинаются пляски у костра и вызывание духа C#.


Так Expressions в Properties он же для слабаков :-) Думать надо, писать, стороннюю таблицу надо делать, чтобы настройки пакета там держать. Правильный путь - кидать квадратики и рассуждать, что SSIS ужасен.
...
Рейтинг: 0 / 0
23.06.2021, 09:50
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40079515
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
a_voronin
Ivan Durak
пропущено...

так и пишут, в финале познав дзен, вообще не доверяя SSIS-у ничего сложнее вызова процедур

Я делаю наворочннные dataflow на ssis

я тоже такой херней маялся в 2008-м
...
Рейтинг: 0 / 0
23.06.2021, 10:09
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40079531
Фотография SQL2008
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL2008
Участник
Критик
SQL2008,

Мм, а куда дальше шагать от dts?
Там и так есть все, что может потребоваться.

Хотя бы исправить косяки, которым не один десяток лет.
Пример?
Если на DataFlow загорается ошибка (красный крестик в кружочке), то наведя мышку вы увидите лишь часть сообщения! Что то типа "В компоненте Data Flow Task 1 обнаружено, что..." и далее текст обрезается.
Посмотреть полный текст нет никакой возможности.
Ни копи, ни какие другие ухищрения не помогают получить полный текст.
Яйца бы обрезал тому мудаку, который сделал так!

Приходится переименовывать в "1" чтобы получить текст, типа "В компоненте 1 обнаружено, что поле user_id не сов...". А дальше уже пытаемся догадаться, что там за ошибка.
Идиотизм!

Хотя може есть какой-то способ, но я про него не знаю?
...
Рейтинг: 0 / 0
23.06.2021, 11:21
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40079557
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
SQL2008,

там есть журнал хода выполнения, всё достаточно подробно. Закладка справа или отчет, если пакет опубликован на сервере. Кроме того, можно самостоятельно создать обработку ошибок.
...
Рейтинг: 0 / 0
23.06.2021, 12:24
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080652
Фотография Focha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Focha
Участник
Ну вот еще одна проблема, это обработки JSON.
Инструмент в целом выполняет свои задачи, особенно с многопоточностью.

Я хочу иметь всю обработку в одном месте, а не распихивать по разным хранимкам. Тем более в SSIS хорошо вписывается ETL.
Вот огромная компания покупает сервер и по сути получает старое ПО в виде SSIS. Это немного странно.
...
Рейтинг: 0 / 0
29.06.2021, 09:24
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080661
andy st
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andy st
Гость
Focha
Вот огромная компания покупает сервер и по сути получает старое ПО в виде SSIS. Это немного странно.

Если что, SQL Server вообще выпускается с 1989 года. Как такой старый софт вообще можно покупать то?
Надо юзать модные-стильные-молодежные, которые с списках рейтингов субд (да и по возможностям) находятся в разделе "и т.д.". И еще какие-нибудь "современные" etl-приблуды, которые либо повторяют функционал SSIS в тёмной теме, либо дорастут до его возможностей через никогда лет.
...
Рейтинг: 0 / 0
29.06.2021, 10:41
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080677
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
Focha,

насчет JSON соглашусь, поддержка в сиквеле давно есть, а в SISS задачу не добавили. Могли бы и согласовать планы развития.
...
Рейтинг: 0 / 0
29.06.2021, 12:09
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080685
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Владислав Колосов
Focha,

насчет JSON соглашусь, поддержка в сиквеле давно есть, а в SISS задачу не добавили. Могли бы и согласовать планы развития.


XML JSON Excel лучше разбирать C# кодом, который поддерживается в SSIS со времен царя Гороха, причем даже как компонент DataFlow
...
Рейтинг: 0 / 0
29.06.2021, 12:32
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080693
andy st
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andy st
Гость
И всегда можно разориться и купить компонент работы с JSON в SSIS, благо они есть в наличии
...
Рейтинг: 0 / 0
29.06.2021, 13:00
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080781
Фотография iShvedsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iShvedsky
Участник
Focha
Ну вот еще одна проблема, это обработки JSON.


Так на гитхабе в исходниках всё есть. И давно. Например, SSIS-Json-Source-Component
...
Рейтинг: 0 / 0
29.06.2021, 18:25
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080793
aleks222
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aleks222
Участник
iShvedsky
Focha
Ну вот еще одна проблема, это обработки JSON.


Так на гитхабе в исходниках всё есть. И давно. Например, SSIS-Json-Source-Component


Чем это лучше или быстрее встроенного парсера?
...
Рейтинг: 0 / 0
29.06.2021, 19:26
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080859
Фотография HandKot
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
HandKot
Участник
aleks222
iShvedsky
пропущено...


Так на гитхабе в исходниках всё есть. И давно. Например, SSIS-Json-Source-Component


Чем это лучше или быстрее встроенного парсера?

насколько я понимаю, это выполняется вне памяти скуля и может на другой машине
...
Рейтинг: 0 / 0
30.06.2021, 10:26
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080936
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
HandKot
aleks222
пропущено...


Чем это лучше или быстрее встроенного парсера?

насколько я понимаю, это выполняется вне памяти скуля и может на другой машине


При использовании SSIS Иисточник, Парзер и Назначение могут быть на разных серверах. Могут быть разных типов. Можно например делать MERGE между таблицей в БД и файлом. Или соединять Oracle c Вертикой и Экселем и класть в MS SQL. И всю нагрузку кроме чтения и записи результат делать на третьем сервере.
...
Рейтинг: 0 / 0
30.06.2021, 14:24
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080965
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
a_voronin,

это уже философия - что лучше, а что хуже, факт состоит в том, что MS не сделали источник для JSON, хотя в самом сиквеле обработка имеется. А вот для XML - сделали. Я считаю, что использование скриптов должно быть сведено к нулю в таких системах, иначе можно всё написать на C# и закрыть вопрос. Но тогда зачем этот SSIS вообще нужен, если можно самостоятельно писать программы по загрузке на C#.
...
Рейтинг: 0 / 0
30.06.2021, 15:23
| Ответить | Цитировать | Написать  
SSIS это инструмент тлен, вы не согласны?
    #40080977
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Владислав Колосов
a_voronin,

это уже философия - что лучше, а что хуже, факт состоит в том, что MS не сделали источник для JSON, хотя в самом сиквеле обработка имеется. А вот для XML - сделали. Я считаю, что использование скриптов должно быть сведено к нулю в таких системах, иначе можно всё написать на C# и закрыть вопрос. Но тогда зачем этот SSIS вообще нужен, если можно самостоятельно писать программы по загрузке на C#.


1) Во-первых, сделали. Такие компоненты есть.
2) Во-вторых, JSON появился гораздо позже появления SSIS
...
Рейтинг: 0 / 0
30.06.2021, 15:55
| Ответить | Цитировать | Написать  
25 сообщений из 60, страница 2 из 3
  2  все
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / SSIS это инструмент тлен, вы не согласны?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=46&msg=40078393&tid=1684549]:
 0ms
get settings:
 7ms
get forum list:
 11ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 102ms
get topic data:
 7ms
get forum data:
 2ms
get page messages:
 55ms
get tp. blocked users:
 1ms
others: 396ms
total:  585ms
созд. / загр.: 585ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]