Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / ETL-средства и Web-сервисы / 22 сообщений из 22, страница 1 из 1
23.03.2005, 13:03
    #32975988
No Pasaran
No Pasaran
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
Господа, кто работает с каким ETL-средствами поделитесь, где реализован коннектор к Web-сервисам?

Сам наткнулся на такой коннектор в DataStage - оказалось очень удобно для реализации взаимодействия с внешней софтиной, например, осуществляющей контроль качества загружаемых данных. Интересно, у каких еще ETL-средств есть такие коннекторы.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.03.2005, 13:53
    #32976135
Birkhoff
Birkhoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
Не совсем ETL средство, но все же
http://www.oracle.com/appserver/bpel_home.html

Также можно прикрутить доступ к Web-Service через Java, которая есть в СУБД Oracle, а эти процедуры можно зарегистрировать в Oracle Warehouse Builder и там уже использовать.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.03.2005, 13:58
    #32976151
Birkhoff
Birkhoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
А вот пример обратной задачи - публикация процесса OWB в качестве Web Service
http://www.oracle.com/technology/products/warehouse/sdk/web_services/owb_code_as_web_service.html
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.03.2005, 15:41
    #32976612
No Pasaran
No Pasaran
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
Спасибо,
очень интересно будет ли подобная функциональность в DTS Юкона (или хотя бы насколько сложно будет написать сотвествующий custom task), а также может быть кто-то из обитателей данного форума видел Informatic'y?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 10:48
    #32977848
Гликоген
Гликоген
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
в Yukon будет.
в Cognos ReportNet теперь есть Composite Information Server, который тоже это умеет.

вебсервисы - это общее место уже года три.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 11:40
    #32978014
Jimmy
Jimmy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
Коллеги,
А в чем нирвана от WEB сервисов для ETL?
Поясните на пальцах пожалуйста.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 12:40
    #32978268
Maxim Lvov
Maxim Lvov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
JimmyКоллеги,
А в чем нирвана от WEB сервисов для ETL?
Поясните на пальцах пожалуйста.

"Нирвана" в возможности реализации ETL-процедур и обновления информации в хранилище/витрине в режиме real-time или near real-time за счет того, что сервис постоянно крутится на машине. Т.е. становится возможна обработка фрагментов информации за очень короткий промежуток времени и при этом не затрачиваются значительные серверые ресурсы. Например, это может быть отслеживание состояния склада по определенным позициям.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 12:51
    #32978313
олапист
олапист
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
Maxim Lvov JimmyКоллеги,
А в чем нирвана от WEB сервисов для ETL?
Поясните на пальцах пожалуйста.

"Нирвана" в возможности реализации ETL-процедур и обновления информации в хранилище/витрине в режиме real-time или near real-time за счет того, что сервис постоянно крутится на машине. Т.е. становится возможна обработка фрагментов информации за очень короткий промежуток времени и при этом не затрачиваются значительные серверые ресурсы. Например, это может быть отслеживание состояния склада по определенным позициям.

к сожалению я тоже ничего не понял :)
а сервер СУБД разве не "постоянно крутится на машине" ?
в чем кайф web-сервисов то?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 13:01
    #32978371
inga
inga
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
2 Гликоген:

а можно поподробнее про reportnet?

2 олапист:

кайф веб-сервисов как мне кажется - это кросс-платформенность. и возможность обеспечения взаимодействия средств различных разработчиков через XML.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 13:07
    #32978403
Jimmy
Jimmy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
Maxim Lvov
"Нирвана" в возможности реализации ETL-процедур и обновления информации в хранилище/витрине в режиме real-time или near real-time за счет того, что сервис постоянно крутится на машине. Т.е. становится возможна обработка фрагментов информации за очень короткий промежуток времени и при этом не затрачиваются значительные серверые ресурсы. Например, это может быть отслеживание состояния склада по определенным позициям.

Пояните пожалуйста:
1. Есть примеры реализации таких систем, или это просто "возможность"?
2. Что еще нужно для того, чтобы эта возможность стала реальностью, ну например со стороны системы источника?
3. Почему система перегрузки real-time не затрачивает значительные серверные ресурсы?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 13:08
    #32978407
No Pasaran
No Pasaran
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
JimmyКоллеги,
А в чем нирвана от WEB сервисов для ETL?
Поясните на пальцах пожалуйста.

Нирвана в том, что чтобы написать custom task для ETL-средства надо очень сильно потрудиться. Для DTS писал - не очень понравилось, но в общем-то получилось. Для DataStage даже пытаться не стал - документации в стандартной поставке на эту тему до неприличия мало.

А вот Web-service'ы рисуются очень легко, а затем могут легко использоваться в качестве custom task'ов в ETL.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 13:13
    #32978421
Jimmy
Jimmy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
No Pasaran
Нирвана в том, что чтобы написать custom task для ETL-средства надо очень сильно потрудиться. Для DTS писал - не очень понравилось, но в общем-то получилось. Для DataStage даже пытаться не стал - документации в стандартной поставке на эту тему до неприличия мало.

А вот Web-service'ы рисуются очень легко, а затем могут легко использоваться в качестве custom task'ов в ETL.

Поясните пожалуйста:
1. Если писать задание для ETL средства нелегко, то может оно (средство это) и не нужно. Тогда, причем здесь WEB сервисы?
2. "Очень легко рисуются WEB сервисы", я так понимаю, что не в ETL средстве. Тогда, причем здесь ETL средства?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 13:39
    #32978500
олапист
олапист
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
inga
кайф веб-сервисов как мне кажется - это кросс-платформенность. и возможность обеспечения взаимодействия средств различных разработчиков через XML.
XML как основа для интеграции приложений - это очень хорошо. Но польза и added value от всех этих SOAP, WSDL, UDDI, WS-* технологий имхо сильно преувеличена. То как это дело сейчас развивается приведет к еще одной никому не нужной CORBA. Проблема кроссплатформенности сильно преувелична, так как в ближайшем будущем прикладных платформ, как и полагается по законам рынка, останется всего две - Java и .NET

сорри за оффтоп?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 13:45
    #32978517
MSTR_Fan
MSTR_Fan
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
Jimmy
Коллеги,
А в чем нирвана от WEB сервисов для ETL?
Поясните на пальцах пожалуйста.


Наверное особенной нирваны нет, в данном случае WS - просто универсальный клей, позволяющий удобно склеить приложения, изначально не приспособленные для цивилизованного экспорта информации вовне.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 14:18
    #32978648
Maxim Lvov
Maxim Lvov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
олапист Maxim Lvov JimmyКоллеги,
А в чем нирвана от WEB сервисов для ETL?
Поясните на пальцах пожалуйста.

"Нирвана" в возможности реализации ETL-процедур и обновления информации в хранилище/витрине в режиме real-time или near real-time за счет того, что сервис постоянно крутится на машине. Т.е. становится возможна обработка фрагментов информации за очень короткий промежуток времени и при этом не затрачиваются значительные серверые ресурсы. Например, это может быть отслеживание состояния склада по определенным позициям.

к сожалению я тоже ничего не понял :)
а сервер СУБД разве не "постоянно крутится на машине" ?
в чем кайф web-сервисов то?

Сервер СУБД может постоянно крутиться на абсолютно другой машине, расположенной в другом месте.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 14:18
    #32978651
Maxim Lvov
Maxim Lvov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
Jimmy Maxim Lvov
"Нирвана" в возможности реализации ETL-процедур и обновления информации в хранилище/витрине в режиме real-time или near real-time за счет того, что сервис постоянно крутится на машине. Т.е. становится возможна обработка фрагментов информации за очень короткий промежуток времени и при этом не затрачиваются значительные серверые ресурсы. Например, это может быть отслеживание состояния склада по определенным позициям.

Пояните пожалуйста:
1. Есть примеры реализации таких систем, или это просто "возможность"?
2. Что еще нужно для того, чтобы эта возможность стала реальностью, ну например со стороны системы источника?
3. Почему система перегрузки real-time не затрачивает значительные серверные ресурсы?

1. Примеры есть, но пока не в России :) Если интересно, можете посмотреть у Ascential.
2. Источник должен уметь сообщить о факте, например, посредством генерации XML-файла
3. Система не затрачивает значительные серверные ресурсы, поскольку происходит обработка данных по-требованию, т.е. только в случае появления необходимой информации она будет направлена на дальнейшую обработку. Нет необходимости в принудительном просмотре потенциальных источников на предмет появления этой информации, например посредством постоянной генерации sql-запросов.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 14:25
    #32978672
Maxim Lvov
Maxim Lvov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
No Pasaran
Нирвана в том, что чтобы написать custom task для ETL-средства надо очень сильно потрудиться. Для DTS писал - не очень понравилось, но в общем-то получилось. Для DataStage даже пытаться не стал - документации в стандартной поставке на эту тему до неприличия мало.

А вот Web-service'ы рисуются очень легко, а затем могут легко использоваться в качестве custom task'ов в ETL.

Если есть необходимость, то в DataStage можно писать custom task'и на вторенном VB. Хотя для реализации работы в рамках Servise Oriented Architecture предназначен специальный модуль - Ascential SOA (бывший Ascential RTI - Real Time Integration). Именно он позволяет создавать RTI job'ы в виде web-сервисов.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 14:41
    #32978743
олапист
олапист
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
Maxim Lvov

1. Примеры есть, но пока не в России :) Если интересно, можете посмотреть у Ascential.
2. Источник должен уметь сообщить о факте, например, посредством генерации XML-файла
3. Система не затрачивает значительные серверные ресурсы, поскольку происходит обработка данных по-требованию, т.е. только в случае появления необходимой информации она будет направлена на дальнейшую обработку. Нет необходимости в принудительном просмотре потенциальных источников на предмет появления этой информации, например посредством постоянной генерации sql-запросов.

это стандартный функционал систем класса message queueing, кстати уже интегрированный в составе современных СУБД таких как Oracle, MS SQL Server.
при чем тут веб-сервисы?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 15:01
    #32978813
Maxim Lvov
Maxim Lvov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
олапист Maxim Lvov

1. Примеры есть, но пока не в России :) Если интересно, можете посмотреть у Ascential.
2. Источник должен уметь сообщить о факте, например, посредством генерации XML-файла
3. Система не затрачивает значительные серверные ресурсы, поскольку происходит обработка данных по-требованию, т.е. только в случае появления необходимой информации она будет направлена на дальнейшую обработку. Нет необходимости в принудительном просмотре потенциальных источников на предмет появления этой информации, например посредством постоянной генерации sql-запросов.

это стандартный функционал систем класса message queueing, кстати уже интегрированный в составе современных СУБД таких как Oracle, MS SQL Server.
при чем тут веб-сервисы?

вопрос было о ETL-процедурах, а реализация, в частности через web-сервисы, как раз позволяет осуществлять обработку очередей сообщений
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 17:32
    #32979309
No Pasaran
No Pasaran
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
JimmyПоясните пожалуйста:
1. Если писать задание для ETL средства нелегко, то может оно (средство это) и не нужно. Тогда, причем здесь WEB сервисы?
2. "Очень легко рисуются WEB сервисы", я так понимаю, что не в ETL средстве. Тогда, причем здесь ETL средства?

Например такая задачка. Берем свежие данные из учетной системы. Дальше на их основе строим какой-то хитрый прогноз, УЖЕ НАПИСАННЫЙ во внешней софтине и результат загоняем в таблицу хранилища, содержащую прогнозы.
Получить из готовой dll'ки web-service достаточно легко (буквально несколько кликов мышкой в Visual Studio).

Причем тут ETL: хочется иметь возможность построить etl-job, в котором одним из этапов стоял бы вызов данной процедуры прогноза. В идеале хотелось бы видеть некоторое gui, которое позволило бы настроить некоторые параметры, например какие данные использовать для прогноза, куда логи писать и т.д. Но нарисовать такой plug-in (в терминологии DataStage) или custom task (в терминологии MS DTS) совсем непросто.

В общем-то в DataStage задачка решается следующим образом: ставим вызов web-сервиса, который возвращает результаты прогноза, также настраиваем необходимые линки in и out. Все это дело запихиваем в контейнер, настраиваем необходимые параметры в виде переменных. И теперь можем использовать полученный контейнер как любой другой компонент etl-средства(как transformation, aggregation и т.д. в DataStage)

Основное достоинство Web-service'ов, как кто-то уже подметил выше, возможность легкой интеграции нескольких приложений.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.03.2005, 11:03
    #32980248
Jimmy
Jimmy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
Вот это - понятно. Спасибо.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.03.2005, 14:21
    #32980912
Гликоген
Гликоген
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL-средства и Web-сервисы
совсем не легче интегрироваться через веб и XML. txt - проще ;)
главное преимущество такого подхода - некий универсальный интеграционный .слой, который понимают все (по крайней мере, на бумаге)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / ETL-средства и Web-сервисы / 22 сообщений из 22, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]