ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Ssis: возможно ли выгружать данные из web-служб или web-api?
19 сообщений из 19, страница 1 из 1
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39721259
Charles Weyland
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Charles Weyland
Участник
Гуглил и наткнулся на стстью, где какая-то нонейм компания предлагает скачать их SSIS Web API Integration Pack, который может и с api общаться, и json'ы читать.
А сам ssis разве это не умеет?...

Есть некоторая самописная БД - вопрос стоит в том, как оттуда данные забирать по таймеру, а также отправлять ей какие-то уведомления об успешном (или нет) окончании процесса.
...
Рейтинг: 0 / 0
23.10.2018, 09:50
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39721273
msLex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
msLex
Участник
Charles WeylandГуглил и наткнулся на стстью, где какая-то нонейм компания предлагает скачать их SSIS Web API Integration Pack, который может и с api общаться, и json'ы читать.
А сам ssis разве это не умеет?...

Есть некоторая самописная БД - вопрос стоит в том, как оттуда данные забирать по таймеру, а также отправлять ей какие-то уведомления об успешном (или нет) окончании процесса.

В самом SSIS есть Script Component, в котором на C# можно написать все, что только хочется
...
Рейтинг: 0 / 0
23.10.2018, 10:12
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39721419
Фотография Ennor Tiegael
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ennor Tiegael
Участник
msLex,

Ну, читать json это не очень помогает, ибо подключать Nuget packages в SSIS удовольствие сомнительное. У меня не взлетело, когда я пробовал. Т.е. либо сваливать JSON в базу 2016+ и парсить там, либо руками деплоить соотв. библиотеки в GAC сервера, не говоря уже о том, что у SSIS проекта появляется неочевидная зависимость от внешних компонентов, про которую очень легко забыть.

А так-то да, HttpWebRequest - наше все.
...
Рейтинг: 0 / 0
23.10.2018, 13:30
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39721675
msLex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
msLex
Участник
Ennor TiegaelmsLex,

Ну, читать json это не очень помогает, ибо подключать Nuget packages в SSIS удовольствие сомнительное. У меня не взлетело, когда я пробовал. Т.е. либо сваливать JSON в базу 2016+ и парсить там, либо руками деплоить соотв. библиотеки в GAC сервера, не говоря уже о том, что у SSIS проекта появляется неочевидная зависимость от внешних компонентов, про которую очень легко забыть.

А так-то да, HttpWebRequest - наше все.

Парсим и собираем как JSON так и огромные XML- ки и ничего в Gac ни ручками ни атоматикой не выкладываем.
...
Рейтинг: 0 / 0
23.10.2018, 20:36
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39721770
bideveloper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bideveloper
Участник
Charles Weyland,

Сам искал такой компонент SSIS для Google Analytics. Стандартного вроде нет, а сторонние все платные (и не просто платные, а ежегодная подписка около $1000 за набор компонентов).
В результате написал на C# прогу, которая грузит нужные мне данные в csv файл. Ну а файл уже обрабатывается стандартным компонентом SSIS.

А вот в составе Power BI есть компонент для загрузки из Google Analytics (хотя тоже пишется, что он 3-d party). Но из Power BI данные нельзя выгрузить в БД, только использовать в нем же.
...
Рейтинг: 0 / 0
24.10.2018, 00:35
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39721788
Фотография Ennor Tiegael
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ennor Tiegael
Участник
msLexEnnor TiegaelmsLex,

Ну, читать json это не очень помогает, ибо подключать Nuget packages в SSIS удовольствие сомнительное. У меня не взлетело, когда я пробовал. Т.е. либо сваливать JSON в базу 2016+ и парсить там, либо руками деплоить соотв. библиотеки в GAC сервера, не говоря уже о том, что у SSIS проекта появляется неочевидная зависимость от внешних компонентов, про которую очень легко забыть.

А так-то да, HttpWebRequest - наше все.

Парсим и собираем как JSON так и огромные XML- ки и ничего в Gac ни ручками ни атоматикой не выкладываем.С XML все понятно, для этого в .NET уже есть нужные дырочки классы. А json чем - регекспами, что ли? Или свой велосипед?
...
Рейтинг: 0 / 0
24.10.2018, 02:45
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39721804
Дмитрий Мух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дмитрий Мух
Участник
Ennor TiegaelС XML все понятно, для этого в .NET уже есть нужные дырочки классы. А json чем - регекспами, что ли? Или свой велосипед?
Так и для JSON есть: DataContractJsonSerializer и JavaScriptSerializer .
...
Рейтинг: 0 / 0
24.10.2018, 07:39
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39721817
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alexeyvg
Участник
Дмитрий МухEnnor TiegaelС XML все понятно, для этого в .NET уже есть нужные дырочки классы. А json чем - регекспами, что ли? Или свой велосипед?
Так и для JSON есть: DataContractJsonSerializer и JavaScriptSerializer .Это же сериализация

А нужно что то вроде XmlReader и XDocument
...
Рейтинг: 0 / 0
24.10.2018, 08:54
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39721837
Диклевич Александр
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Диклевич Александр
Участник
чтобы не заморачиваться с GAC, можно написать консольное приложение на том же C#, подключить туда какие угодно пакеты из Nuget, тот же Google Analytics, потом вызвать из SSIS через Execute Process Task.
Сами уходим от Script Component в сторону таких вот консолек.
...
Рейтинг: 0 / 0
24.10.2018, 09:37
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39721843
msLex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
msLex
Участник
Ennor TiegaelmsLexпропущено...


Парсим и собираем как JSON так и огромные XML- ки и ничего в Gac ни ручками ни атоматикой не выкладываем.С XML все понятно, для этого в .NET уже есть нужные дырочки классы. А json чем - регекспами, что ли? Или свой велосипед?NewtonSoft. Любые сборки (свои или сторонние) подключаем через рефлекшн, там буквально по две строки кода на сборку.
...
Рейтинг: 0 / 0
24.10.2018, 09:50
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39721869
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
skyANA
Участник
alexeyvgДмитрий Мухпропущено...

Так и для JSON есть: DataContractJsonSerializer и JavaScriptSerializer .Это же сериализация

А нужно что то вроде XmlReader и XDocument
Я так понял, что в следующей цитате речь идёт о NuGet пакете Newtonsoft.Json .
Ennor TiegaelНу, читать json это не очень помогает, ибо подключать Nuget packages в SSIS удовольствие сомнительное.
Альтернатива ему вышеуказанные классы.
...
Рейтинг: 0 / 0
24.10.2018, 10:18
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39721877
Фотография skyANA
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
skyANA
Участник
Ну и одна из перегрузок метода DataContractJsonSerializer.ReadObject принимает на вход Stream, что может быть и FileStream.
...
Рейтинг: 0 / 0
24.10.2018, 10:22
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39721892
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alexeyvg
Участник
skyANAАльтернатива ему вышеуказанные классы.Да? Я полагал, что Newtonsoft.Json - это средства для работы с Json, позволяющие читать, парсить и т.п., а вышеуказанные классы могут только сериализовать/десериализовать, то есть инициализировать экзеспляр класса данными из Json с соотв. декларированным маппингом.

Но это я всё фантазирую, я с XML достаточно поработал в своих ETL-лях, а вот с Json не приходилось сталкиваться.
skyANAНу и одна из перегрузок метода DataContractJsonSerializer.ReadObject принимает на вход Stream, что может быть и FileStream.Да, вообще похоже...
...
Рейтинг: 0 / 0
24.10.2018, 10:38
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39721894
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alexeyvg
Участник
msLexEnnor Tiegaelпропущено...
С XML все понятно, для этого в .NET уже есть нужные дырочки классы. А json чем - регекспами, что ли? Или свой велосипед?NewtonSoft. Любые сборки (свои или сторонние) подключаем через рефлекшн, там буквально по две строки кода на сборку.Ага, потом отсылаем письмом пакет админам, они его ставят в джоб на сервере, и он нормально работает. Или... ?
...
Рейтинг: 0 / 0
24.10.2018, 10:42
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39721970
msLex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
msLex
Участник
alexeyvg,

НЕТ конечно, пакеты разварачиваем мы.
...
Рейтинг: 0 / 0
24.10.2018, 12:02
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39722059
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alexeyvg
Участник
msLexalexeyvg,

НЕТ конечно, пакеты разварачиваем мы.Так вот из за этого и не любят добавлять сторонние библиотеки в скрипт-таски, хотя, конечно, в принципе всё возможно.

Хочется, что бы для выполнения пакета было достаточно того, что уже гарантированно есть на сервере.
...
Рейтинг: 0 / 0
24.10.2018, 13:19
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39722183
Фотография Ennor Tiegael
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ennor Tiegael
Участник
Дмитрий МухEnnor TiegaelС XML все понятно, для этого в .NET уже есть нужные дырочки классы. А json чем - регекспами, что ли? Или свой велосипед?Так и для JSON есть: DataContractJsonSerializer и JavaScriptSerializer .Не знал, спасибо. Интересно, почему ими никто не пользуется настолько, что мне никто в отделе не упомянул их, все знают только про NewtonSoft. Но конечно, в моей ситуации выбирать не приходится.
...
Рейтинг: 0 / 0
24.10.2018, 14:59
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39722191
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
Диклевич Александрчтобы не заморачиваться с GAC, можно написать консольное приложение на том же C#, подключить туда какие угодно пакеты из Nuget, тот же Google Analytics, потом вызвать из SSIS через Execute Process Task.
Сами уходим от Script Component в сторону таких вот консолек.
А консольные приложения на Go не пробовали вместо использования C#? Там ведь вообще один бинарник, деплой получается невероятно простым.
...
Рейтинг: 0 / 0
24.10.2018, 15:03
| Ответить | Цитировать | Написать  
Ssis: возможно ли выгружать данные из web-служб или web-api?
    #39722194
Фотография Ennor Tiegael
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ennor Tiegael
Участник
alexeyvgmsLexalexeyvg,

НЕТ конечно, пакеты разварачиваем мы.Так вот из за этого и не любят добавлять сторонние библиотеки в скрипт-таски, хотя, конечно, в принципе всё возможно.

Хочется, что бы для выполнения пакета было достаточно того, что уже гарантированно есть на сервере.Даже веселее, я делаю git commit, а дальше включается CI/CD. Ручками деплоить - очень накладно выходит, при моем теперешнем рейте.
...
Рейтинг: 0 / 0
24.10.2018, 15:06
| Ответить | Цитировать | Написать  
19 сообщений из 19, страница 1 из 1
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Ssis: возможно ли выгружать данные из web-служб или web-api?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]