ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / ETL-средства и Web-сервисы
22 сообщений из 22, страница 1 из 1
ETL-средства и Web-сервисы
    #32975988
No Pasaran
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
No Pasaran
Участник
Господа, кто работает с каким ETL-средствами поделитесь, где реализован коннектор к Web-сервисам?

Сам наткнулся на такой коннектор в DataStage - оказалось очень удобно для реализации взаимодействия с внешней софтиной, например, осуществляющей контроль качества загружаемых данных. Интересно, у каких еще ETL-средств есть такие коннекторы.
...
Рейтинг: 0 / 0
23.03.2005, 13:03
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32976135
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Birkhoff
Участник
Не совсем ETL средство, но все же
http://www.oracle.com/appserver/bpel_home.html

Также можно прикрутить доступ к Web-Service через Java, которая есть в СУБД Oracle, а эти процедуры можно зарегистрировать в Oracle Warehouse Builder и там уже использовать.
...
Рейтинг: 0 / 0
23.03.2005, 13:53
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32976151
Birkhoff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Birkhoff
Участник
А вот пример обратной задачи - публикация процесса OWB в качестве Web Service
http://www.oracle.com/technology/products/warehouse/sdk/web_services/owb_code_as_web_service.html
...
Рейтинг: 0 / 0
23.03.2005, 13:58
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32976612
No Pasaran
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
No Pasaran
Участник
Спасибо,
очень интересно будет ли подобная функциональность в DTS Юкона (или хотя бы насколько сложно будет написать сотвествующий custom task), а также может быть кто-то из обитателей данного форума видел Informatic'y?
...
Рейтинг: 0 / 0
23.03.2005, 15:41
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32977848
Фотография Гликоген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гликоген
Участник
в Yukon будет.
в Cognos ReportNet теперь есть Composite Information Server, который тоже это умеет.

вебсервисы - это общее место уже года три.
...
Рейтинг: 0 / 0
24.03.2005, 10:48
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32978014
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jimmy
Участник
Коллеги,
А в чем нирвана от WEB сервисов для ETL?
Поясните на пальцах пожалуйста.
...
Рейтинг: 0 / 0
24.03.2005, 11:40
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32978268
Maxim Lvov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Lvov
Гость
JimmyКоллеги,
А в чем нирвана от WEB сервисов для ETL?
Поясните на пальцах пожалуйста.

"Нирвана" в возможности реализации ETL-процедур и обновления информации в хранилище/витрине в режиме real-time или near real-time за счет того, что сервис постоянно крутится на машине. Т.е. становится возможна обработка фрагментов информации за очень короткий промежуток времени и при этом не затрачиваются значительные серверые ресурсы. Например, это может быть отслеживание состояния склада по определенным позициям.
...
Рейтинг: 0 / 0
24.03.2005, 12:40
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32978313
олапист
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
олапист
Гость
Maxim Lvov JimmyКоллеги,
А в чем нирвана от WEB сервисов для ETL?
Поясните на пальцах пожалуйста.

"Нирвана" в возможности реализации ETL-процедур и обновления информации в хранилище/витрине в режиме real-time или near real-time за счет того, что сервис постоянно крутится на машине. Т.е. становится возможна обработка фрагментов информации за очень короткий промежуток времени и при этом не затрачиваются значительные серверые ресурсы. Например, это может быть отслеживание состояния склада по определенным позициям.

к сожалению я тоже ничего не понял :)
а сервер СУБД разве не "постоянно крутится на машине" ?
в чем кайф web-сервисов то?
...
Рейтинг: 0 / 0
24.03.2005, 12:51
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32978371
inga
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
inga
Участник
2 Гликоген:

а можно поподробнее про reportnet?

2 олапист:

кайф веб-сервисов как мне кажется - это кросс-платформенность. и возможность обеспечения взаимодействия средств различных разработчиков через XML.
...
Рейтинг: 0 / 0
24.03.2005, 13:01
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32978403
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jimmy
Участник
Maxim Lvov
"Нирвана" в возможности реализации ETL-процедур и обновления информации в хранилище/витрине в режиме real-time или near real-time за счет того, что сервис постоянно крутится на машине. Т.е. становится возможна обработка фрагментов информации за очень короткий промежуток времени и при этом не затрачиваются значительные серверые ресурсы. Например, это может быть отслеживание состояния склада по определенным позициям.

Пояните пожалуйста:
1. Есть примеры реализации таких систем, или это просто "возможность"?
2. Что еще нужно для того, чтобы эта возможность стала реальностью, ну например со стороны системы источника?
3. Почему система перегрузки real-time не затрачивает значительные серверные ресурсы?
...
Рейтинг: 0 / 0
24.03.2005, 13:07
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32978407
No Pasaran
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
No Pasaran
Участник
JimmyКоллеги,
А в чем нирвана от WEB сервисов для ETL?
Поясните на пальцах пожалуйста.

Нирвана в том, что чтобы написать custom task для ETL-средства надо очень сильно потрудиться. Для DTS писал - не очень понравилось, но в общем-то получилось. Для DataStage даже пытаться не стал - документации в стандартной поставке на эту тему до неприличия мало.

А вот Web-service'ы рисуются очень легко, а затем могут легко использоваться в качестве custom task'ов в ETL.
...
Рейтинг: 0 / 0
24.03.2005, 13:08
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32978421
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jimmy
Участник
No Pasaran
Нирвана в том, что чтобы написать custom task для ETL-средства надо очень сильно потрудиться. Для DTS писал - не очень понравилось, но в общем-то получилось. Для DataStage даже пытаться не стал - документации в стандартной поставке на эту тему до неприличия мало.

А вот Web-service'ы рисуются очень легко, а затем могут легко использоваться в качестве custom task'ов в ETL.

Поясните пожалуйста:
1. Если писать задание для ETL средства нелегко, то может оно (средство это) и не нужно. Тогда, причем здесь WEB сервисы?
2. "Очень легко рисуются WEB сервисы", я так понимаю, что не в ETL средстве. Тогда, причем здесь ETL средства?
...
Рейтинг: 0 / 0
24.03.2005, 13:13
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32978500
олапист
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
олапист
Гость
inga
кайф веб-сервисов как мне кажется - это кросс-платформенность. и возможность обеспечения взаимодействия средств различных разработчиков через XML.
XML как основа для интеграции приложений - это очень хорошо. Но польза и added value от всех этих SOAP, WSDL, UDDI, WS-* технологий имхо сильно преувеличена. То как это дело сейчас развивается приведет к еще одной никому не нужной CORBA. Проблема кроссплатформенности сильно преувелична, так как в ближайшем будущем прикладных платформ, как и полагается по законам рынка, останется всего две - Java и .NET

сорри за оффтоп?
...
Рейтинг: 0 / 0
24.03.2005, 13:39
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32978517
MSTR_Fan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MSTR_Fan
Гость
Jimmy
Коллеги,
А в чем нирвана от WEB сервисов для ETL?
Поясните на пальцах пожалуйста.


Наверное особенной нирваны нет, в данном случае WS - просто универсальный клей, позволяющий удобно склеить приложения, изначально не приспособленные для цивилизованного экспорта информации вовне.
...
Рейтинг: 0 / 0
24.03.2005, 13:45
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32978648
Maxim Lvov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Lvov
Гость
олапист Maxim Lvov JimmyКоллеги,
А в чем нирвана от WEB сервисов для ETL?
Поясните на пальцах пожалуйста.

"Нирвана" в возможности реализации ETL-процедур и обновления информации в хранилище/витрине в режиме real-time или near real-time за счет того, что сервис постоянно крутится на машине. Т.е. становится возможна обработка фрагментов информации за очень короткий промежуток времени и при этом не затрачиваются значительные серверые ресурсы. Например, это может быть отслеживание состояния склада по определенным позициям.

к сожалению я тоже ничего не понял :)
а сервер СУБД разве не "постоянно крутится на машине" ?
в чем кайф web-сервисов то?

Сервер СУБД может постоянно крутиться на абсолютно другой машине, расположенной в другом месте.
...
Рейтинг: 0 / 0
24.03.2005, 14:18
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32978651
Maxim Lvov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Lvov
Гость
Jimmy Maxim Lvov
"Нирвана" в возможности реализации ETL-процедур и обновления информации в хранилище/витрине в режиме real-time или near real-time за счет того, что сервис постоянно крутится на машине. Т.е. становится возможна обработка фрагментов информации за очень короткий промежуток времени и при этом не затрачиваются значительные серверые ресурсы. Например, это может быть отслеживание состояния склада по определенным позициям.

Пояните пожалуйста:
1. Есть примеры реализации таких систем, или это просто "возможность"?
2. Что еще нужно для того, чтобы эта возможность стала реальностью, ну например со стороны системы источника?
3. Почему система перегрузки real-time не затрачивает значительные серверные ресурсы?

1. Примеры есть, но пока не в России :) Если интересно, можете посмотреть у Ascential.
2. Источник должен уметь сообщить о факте, например, посредством генерации XML-файла
3. Система не затрачивает значительные серверные ресурсы, поскольку происходит обработка данных по-требованию, т.е. только в случае появления необходимой информации она будет направлена на дальнейшую обработку. Нет необходимости в принудительном просмотре потенциальных источников на предмет появления этой информации, например посредством постоянной генерации sql-запросов.
...
Рейтинг: 0 / 0
24.03.2005, 14:18
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32978672
Maxim Lvov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Lvov
Гость
No Pasaran
Нирвана в том, что чтобы написать custom task для ETL-средства надо очень сильно потрудиться. Для DTS писал - не очень понравилось, но в общем-то получилось. Для DataStage даже пытаться не стал - документации в стандартной поставке на эту тему до неприличия мало.

А вот Web-service'ы рисуются очень легко, а затем могут легко использоваться в качестве custom task'ов в ETL.

Если есть необходимость, то в DataStage можно писать custom task'и на вторенном VB. Хотя для реализации работы в рамках Servise Oriented Architecture предназначен специальный модуль - Ascential SOA (бывший Ascential RTI - Real Time Integration). Именно он позволяет создавать RTI job'ы в виде web-сервисов.
...
Рейтинг: 0 / 0
24.03.2005, 14:25
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32978743
олапист
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
олапист
Гость
Maxim Lvov

1. Примеры есть, но пока не в России :) Если интересно, можете посмотреть у Ascential.
2. Источник должен уметь сообщить о факте, например, посредством генерации XML-файла
3. Система не затрачивает значительные серверные ресурсы, поскольку происходит обработка данных по-требованию, т.е. только в случае появления необходимой информации она будет направлена на дальнейшую обработку. Нет необходимости в принудительном просмотре потенциальных источников на предмет появления этой информации, например посредством постоянной генерации sql-запросов.

это стандартный функционал систем класса message queueing, кстати уже интегрированный в составе современных СУБД таких как Oracle, MS SQL Server.
при чем тут веб-сервисы?
...
Рейтинг: 0 / 0
24.03.2005, 14:41
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32978813
Maxim Lvov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Lvov
Гость
олапист Maxim Lvov

1. Примеры есть, но пока не в России :) Если интересно, можете посмотреть у Ascential.
2. Источник должен уметь сообщить о факте, например, посредством генерации XML-файла
3. Система не затрачивает значительные серверные ресурсы, поскольку происходит обработка данных по-требованию, т.е. только в случае появления необходимой информации она будет направлена на дальнейшую обработку. Нет необходимости в принудительном просмотре потенциальных источников на предмет появления этой информации, например посредством постоянной генерации sql-запросов.

это стандартный функционал систем класса message queueing, кстати уже интегрированный в составе современных СУБД таких как Oracle, MS SQL Server.
при чем тут веб-сервисы?

вопрос было о ETL-процедурах, а реализация, в частности через web-сервисы, как раз позволяет осуществлять обработку очередей сообщений
...
Рейтинг: 0 / 0
24.03.2005, 15:01
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32979309
No Pasaran
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
No Pasaran
Участник
JimmyПоясните пожалуйста:
1. Если писать задание для ETL средства нелегко, то может оно (средство это) и не нужно. Тогда, причем здесь WEB сервисы?
2. "Очень легко рисуются WEB сервисы", я так понимаю, что не в ETL средстве. Тогда, причем здесь ETL средства?

Например такая задачка. Берем свежие данные из учетной системы. Дальше на их основе строим какой-то хитрый прогноз, УЖЕ НАПИСАННЫЙ во внешней софтине и результат загоняем в таблицу хранилища, содержащую прогнозы.
Получить из готовой dll'ки web-service достаточно легко (буквально несколько кликов мышкой в Visual Studio).

Причем тут ETL: хочется иметь возможность построить etl-job, в котором одним из этапов стоял бы вызов данной процедуры прогноза. В идеале хотелось бы видеть некоторое gui, которое позволило бы настроить некоторые параметры, например какие данные использовать для прогноза, куда логи писать и т.д. Но нарисовать такой plug-in (в терминологии DataStage) или custom task (в терминологии MS DTS) совсем непросто.

В общем-то в DataStage задачка решается следующим образом: ставим вызов web-сервиса, который возвращает результаты прогноза, также настраиваем необходимые линки in и out. Все это дело запихиваем в контейнер, настраиваем необходимые параметры в виде переменных. И теперь можем использовать полученный контейнер как любой другой компонент etl-средства(как transformation, aggregation и т.д. в DataStage)

Основное достоинство Web-service'ов, как кто-то уже подметил выше, возможность легкой интеграции нескольких приложений.
...
Рейтинг: 0 / 0
24.03.2005, 17:32
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32980248
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jimmy
Участник
Вот это - понятно. Спасибо.
...
Рейтинг: 0 / 0
25.03.2005, 11:03
| Ответить | Цитировать | Написать  
ETL-средства и Web-сервисы
    #32980912
Фотография Гликоген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гликоген
Участник
совсем не легче интегрироваться через веб и XML. txt - проще ;)
главное преимущество такого подхода - некий универсальный интеграционный .слой, который понимают все (по крайней мере, на бумаге)
...
Рейтинг: 0 / 0
25.03.2005, 14:21
| Ответить | Цитировать | Написать  
22 сообщений из 22, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / ETL-средства и Web-сервисы
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]