Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / DATASTAGE - мнения? / 25 сообщений из 34, страница 1 из 2
11.04.2003, 11:46
    #32138374
Jimmy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
Уважаемые коллеги!

Кто юзал такого монстрика - DATASTAGE?
Поделитесь пожалуйста впечатлениями. Именно реалиями практического использования, а не рекламными слоганами.

Спасибо
...
Рейтинг: 0 / 0
28.04.2003, 12:46
    #32150023
Filippova
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
Если еще не поздно......

Мы его используем уже с год.
Приложение достаточно устойчивое и удобное, с большими возможностями
разбора данных при переносе из разных баз.

А какой аспект интересует?
...
Рейтинг: 0 / 0
28.04.2003, 15:23
    #32150226
Jimmy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
Аспект простой, на самом деле:
Стоит ли платить 50-60 тыс $ за него и почему?

Подоплека такова - разрабатывается ETL система для хранилищ данных.
Платформы - разные, общая только модель данных.

В ETL процессах необходимо обеспечить:
-- проверку качества данных
-- произвести очистку данных
-- перегрузку данных из оперативных БД в хранилище
-- и, самое главное, эффективно управлять этими процессами.

В качестве возможного решения рассматривается DataStage. Сам я , достаточно поверхностно, ознакомился с сабжем, но вот хотелось бы услышать мнения людей, которые знают его более глубоко.

К тому же, я бывший программер и у меня своеобразный взгляд на проблему - легче самим сделать, чем такие бабки платить :0))
А следует учесть, что потенциальные пользователи не являются программистами. Мне трудно абстрагироваться.

Примерно следующее (о реальной работе продукта, т.е. как у вас) интересует:
-- для каких целей используется (у Вас)
-- с какими источниками данных работает (у Вас) однородными или с разными платформами (ОС, СУБД)
-- решаете ли вы проблемы качества данных (проверка, очистка)

Ну и вообще - субъективные мнения. Легко ли с ним работать? Развивать? Админстрить? Дорабатывать?

Если сумеете ответить хотя-бы на часть вопросов - большое Вам спасибо.
...
Рейтинг: 0 / 0
01.05.2003, 17:30
    #32152420
Filippova
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
Если сумеете ответить хотя-бы на часть вопросов - большое Вам спасибо.

Попробую :-)

Итак:
У нас две базы OLTP и DSS. Обе на платформе Oracle 8i.
Но, я знаю людей у которых разные платформы ( Informix, DB2) и они не жаловались.

OLTP-ная база огромная, не очень хорошо спроектированная и
аналитические отчеты на OLTP-ной базе выполняются у нас часами, а то и днями.

Загрузка из OLTP в хранилище у нас инкрементальная, каждодневная.
Хранилище построено на агрегатных таблицах, соответственно при
загрузке в ХД данные и серьезно разбираются, и чистятся.
Плюс к этому в OLTP системе у нас процветает произвол, тк. наша ERP-система
позволяет делать с собой очень многое, часто глючит и криво прописывает
данные в таблицы, приходится очень часто руками править данные.
Поэтому, когда шла разработка загрузки данных в ХД, на стороне основной базы
пришлось повесить триггеры. Поэтому при загрузке мы еще и триггерные таблицы
обрабатываем. Вообщем структура у нас замороченная. Если бы это было написано
руками, разбираться в коде куда неприятнее , чем работать с графическим интерфейсом.

Базы у нас на разных узлах, поэтому возможность одновременного
чтения из нескольких источников и запись в несколько приемников удобна.

Вообщем, все конечно замечательно, в DS очень удобно разбирать данные,
если процедуры загрузки писать руками на это уйдет намного больше времени.
Но, работать с клиентской частью DataStage все равно придется
человеку с программистскими знаниями. Потому что, выудить данные
с предварительными ограничениями быстрее и проще, если написать на стороне
базы откуда данные берутся хранимые функции.

В принципе, возможно не стоит тратить такие деньги, если данные нужно
просто один раз перегрузить, можно заплатить
разработчикам и программистам, чтобы они написали процедуры загрузки
ручками. Но возможностей все-таки у DS очень много. Причем, у нас
куплен самый простенький пакет с лицензией на одно рабочее место.


Серверная часть DataStage практически не доставляла беспокойства.
Она не требует особого администрирования. Поставили ее, она и пашет.
...
Рейтинг: 0 / 0
01.05.2003, 18:55
    #32152433
Filippova
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
Если есть какие-то более конкретные технические вопросы, могу ответить по почте.
...
Рейтинг: 0 / 0
05.05.2003, 09:05
    #32152988
Jimmy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
2 Filippova

Спасибо!


PS Насчет почты - воспользуюсь, наверное.
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
05.05.2004, 14:59
    #32507527
lengom
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
Подскажите, где взять trial версию?
...
Рейтинг: 0 / 0
05.05.2004, 16:22
    #32507691
brahew
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
Можно позвонить или пообщатся вот тут www.tern.ru в России вроде никто не работает с ним больше
...
Рейтинг: 0 / 0
05.05.2004, 17:06
    #32507805
brahew
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
...
Рейтинг: 0 / 0
05.05.2004, 18:13
    #32507948
guest
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
иди и ищи DATASTAGE
на www.ya.ru
...
Рейтинг: 0 / 0
06.05.2004, 10:37
    #32508579
brahew
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
2 guest
datastage
...
Рейтинг: 0 / 0
06.05.2004, 22:31
    #32509899
frm  Guest to Brhenw
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
Ну так возьми и позвони дружище - - они точно не откажут ,

сам же видишь целый список - а насцет терн ты ошибаешься.
это как дохтор дохтору, работали уже с ним .

Так что иди ищи звони ! Все очень просто - с радостью покажут дадут и догонят и оближут.
...
Рейтинг: 0 / 0
07.05.2004, 12:02
    #32510458
sergeyd1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
Привет.
Меня зовут Сергей Демченко, я сотрудник компании ТЕРН и в последнее время занимаюсь построением хранилищ данных с помощью DataStage.
Вопрос к Guest: кто Вы такой, и если не секрет, чем мы Вас так обидели?
...
Рейтинг: 0 / 0
07.05.2004, 12:12
    #32510479
sergeyd1
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
Если у кого то есть действительно серьезный интерес к продуктам компании Ascential Software, и к DataStage в частности обращайтесь к нам, в компанию Терн.
Адрес: www.tern.ru
Почтовые адреса: sales@tern.ru, bi@tern.ru

Мы расскажем про данные программные продукты, их возможности, способы и методы использования.
...
Рейтинг: 0 / 0
15.05.2004, 14:01
    #32519150
Dimkas
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
здравствуйте!

а нельзя ли в форуме написать цену продукта
DataStage?

с уважением,
Дмитрий Жучков
...
Рейтинг: 0 / 0
15.05.2004, 17:51
    #32519256
ETL
ETL
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
~50000$ USD
...
Рейтинг: 0 / 0
19.05.2004, 17:14
    #32524527
Peyotl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
Продуктами Ascential в России занимается также S&T International
http://www.snt.com.ru
...
Рейтинг: 0 / 0
20.05.2004, 08:52
    #32525184
Oracle XPert
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
-- для каких целей используется (у Вас)

Data Integration

-- с какими источниками данных работает (у Вас) однородными или с разными платформами (ОС, СУБД)


IBM DB2, MSSQL, Oracle, Sybase

-- решаете ли вы проблемы качества данных (проверка, очистка)

No

Esli est' odnotipnye DB, to na moi vzglyad, DataStage and/or Informatica eto vybroshennye den'gi i priobretennyi gemorroi.
...
Рейтинг: 0 / 0
20.05.2004, 15:32
    #32526441
Peyotl
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
Вы написали, что Datastage не решает все проблемы качества данных.

Можно поподробнее про это? Какую функциональность, связанную с этими проблемами Вы хотели бы видеть.

Ascential для решения проблем качества данных предлагает продукт QualityStage. Видели ли Вы его?
...
Рейтинг: 0 / 0
20.05.2004, 16:10
    #32526575
Oracle XPert
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
Pregde vsego, charSet::net vozmognoisti sdelat' compare data from DB2-table i Oracle-table, naprimer libo Oracle-table charset A & Oracle-table charSetB. Function "CONVERT" zdes' ne katit..

QualityStage - eshe ne poznakomilsya.
...
Рейтинг: 0 / 0
21.05.2004, 10:09
    #32527472
Jimmy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
2 Oracle XPert
Что значит "однотипные БД"?
-- Схожий диалект SQL?
-- Схожая структура?
-- что-то еще?


------------
Best regards, Jimmy
...
Рейтинг: 0 / 0
21.05.2004, 10:23
    #32527512
Jimmy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
Вопрос к пользователям и, особенно, к представителю ТЕРН:

Есть образец SQL скрипта (Sybse ASE 12.5), который грузит данные об остатках на лицевых счетах в витрину данных из хранилища.
При загрузке производится приведение сумм в альтернативные валюты.
-- Можно ли нечто подобное в DATASTAGE реализовать с помощью графического интерфейса?
-- Сколько времени понадобиться чтобы это вообще реализовать (если возможно)?
-- Какова должна быть квалификация разработчика, который сможет это сделать (опыт работы с DS, необходимость обучения на авторизованных курсах и т.п.)?

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.
111.
112.
 -- Загрузка данных об остатках на лицевых счетах
 

INSERT
  dmtb_acct_bal_fact
  (
  day_id,
  acct_id,
  acct_bal_curr_amt,
  acct_bal_rur_amt,
  acct_bal_usd_amt,
  acct_bal_eur_amt,
  step_evt_id
  )
SELECT
  sttb.day_id+ 1 ,
  sttb.acct_id,
  sttb.acct_bal_curr_amt,
   /* Сумма остатка, приведённая к рублям по курсу ЦБ РФ */ 
  sttb.acct_bal_rur_amt,
   /* Вставить сумму остатка, приведённую к долларам США */ 
  acct_bal_usd_amt   = CASE sttb.curr_id
                                      WHEN  214872  THEN
                                            sttb.acct_bal_curr_amt
                                      ELSE COALESCE(sttb.acct_bal_curr_amt * usdrate.to_curr_amt/usdrate.from_curr_amt,  0 )
                                    END,
   /* Вставить сумму остатка, приведённую к евро */ 
  acct_bal_eur_amt    = CASE sttb.curr_id
                                      WHEN  214884  THEN
                                            sttb.acct_bal_curr_amt
                                      ELSE COALESCE(sttb.acct_bal_curr_amt * eurrate.to_curr_amt/eurrate.from_curr_amt,  0 )
                                    END,
  step_evt_id             =  0 
FROM
  sttb_amt sttb
 /* Соединение для выбора курса валюты счёта к долларам США */ 
 /* Курс валюты счёта к доллару считается через курс валюты счёта */ 
 /* к рублю (кросс-курс) */ 
LEFT OUTER JOIN
  dwtb_curr_rate usdrate
  ON
  sttb.acct_bal_date = usdrate.curr_rate_begin_datetime
  AND
  usdrate.curr_rate_type_id = --219968
 
   (
    SELECT
      tgt_id
    FROM
      mdtm_id_id_map_class1
    WHERE
      tgt_ent_data_set_id =  211 
       /* Таблица-источник, хранящая идентификатор типа кросс-курса */ 
       /* stti_curr_rate_type */ 
      AND
      stg_ent_data_set_id =  15101 
       /* curr_type_id кросс-курса через рубли */ 
      AND
      src_col1_val= 1 
    )
  AND
  usdrate.from_curr_id = sttb.curr_id
  AND
  usdrate.to_curr_id = --214872
 
    (
    SELECT
      curr_id
    FROM
      dwtb_curr
    WHERE
      curr_iso_alpha_code='USD'
    )


 /* Соединение для выбора курса валюты счёта к евро */ 
 /* Курс валюты счёта к доллару считается через курс валюты счёта */ 
 /* к рублю (кросс-курс) */ 
LEFT OUTER JOIN
  dwtb_curr_rate eurrate
  ON
  sttb.acct_bal_date = eurrate.curr_rate_begin_datetime
  AND
  eurrate.curr_rate_type_id = --219968
 
    (
    SELECT
      tgt_id
    FROM
      mdtm_id_id_map_class1
    WHERE
      tgt_ent_data_set_id =  211 
       /* Таблица-источник, хранящая идентификатор типа кросс-курса */ 
       /* stti_curr_rate_type */ 
      AND
      stg_ent_data_set_id =  15101 
       /* curr_type_id кросс-курса через рубли */ 
      AND
      src_col1_val =  1 
    )
  AND
  eurrate.from_curr_id = sttb.curr_id
  AND
  eurrate.to_curr_id = --214884
 
    (
    SELECT
      curr_id
    FROM
      dwtb_curr
    WHERE
      curr_iso_alpha_code = 'EUR'
    )

ЗЫ Не самый сложный запрос, используемый у нас при перегрузке данных, хотя и не самый простой, конечно.


------------
Best regards, Jimmy
...
Рейтинг: 0 / 0
21.05.2004, 11:05
    #32527633
brahew
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
2 Jimmy
К сожалению у меня нет того опыта, как у представителя Терна sergeyd1, но тем не менее попробую ответить
1Думаю вы не станете спорить, что insert работает несколько медленней чем bulk, datastage грузит данные через native connect и в sybase сервера.
2чем дергать каждый раз таблицу валют(хотя возможно я не до конца разобрался в селекте и справочник валют у вас очень большой), проще раз выгрузить требуемые записи в хеш файл висящий в озу(что делается через графический интерфейс без написания операторов как и приведенное ниже) и дергать требуемые валюты-курсы к прокачеваемым данным. Итого получаем: выбор в хеш курса валют + поток(select) на основную таблицу и прикручивание к этому хешей с необходимым суммирование, ваш пример является довольно простым и нечто подобное есть в туториале datastage.
Сколько времени понадобится сказать вам не могу, но на конференции sybase, был неплохой пример, когда 10 дней ушло на получение допуска к тестовым данным. Зуб не дам, но на это уйдет времени не многим больше, чем на написание селекта, а скорее меньше, так как весь процесс делается мышкой.

Квалификация разработчка для реализации примера - это опыт работы с разработкой на sql серверах + прочтение туториала по datastage, он весьма понятен даже на английском с достаточным количеством примеров, сколько у вас это займет судить не берусь. Для реализации более сложных работ, скорее всего понадобится просто опыт.

Если есть вопросы по QualityStage, думаю на большую часть смогу ответить. Более четко и правильно, чем про Datastage
...
Рейтинг: 0 / 0
21.05.2004, 11:23
    #32527681
EO
EO
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
2 brahew:
Ловлю момент :) задать вопросы по QualityStage
1. Какие виды качества анализируются? (техническое: уникальность, констрейнты; аналитическое: статистика, спектры, зависимости; custom)?
2. Насколько интегрируемо с DataStage в смысле Real-time datawarehouse, каковы потери производительности при наличии хотя бы сотни показателей качества на каждую таблицу источника?
3. Доступны ли результаты анализа качества в метаданных, доступ туда, подключение инструментов третьих фирм (тот же microstrategy), и поддержка историчности?

Заранее спасибо.
...
Рейтинг: 0 / 0
21.05.2004, 11:32
    #32527710
Jimmy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
DATASTAGE - мнения?
Соединения таблиц - ОК.

Деразряжение данных В источнике данные об остатках хранятся не на каждый день - необходимо деразарядить данные, т.е. заполнить "дыры" в хронологической последовательности путем переноса остатков из предыдущих дней:
Источник:
Счет Дата Значение
А 01.01.2004 100.00
А 02.01.2004 200.00
А 04.01.2004 100.00
А 07.01.2004 500.00
Б 01.01.2004 1000.00
Б 03.01.2004 700.00
Б 04.01.2004 100.00

Результат:
Счет Дата Значение
А 01.01.2004 100.00
А 02.01.2004 200.00
А 03.01.2004 200.00А 04.01.2004 100.00
А 05.01.2004 100.00
А 06.01.2004 100.00
А 06.01.2004 500.00
Б 01.01.2004 1000.00
Б 02.01.2004 1000.00Б 03.01.2004 700.00
Б 04.01.2004 100.00

-- Как сложно?

Генерация суррогатных ключей ХД
Для "стирания" разницы между данными, поступающими из разных источников, используются суррогатные ключи, которые должны генериться при загрузке данных.
Этот процесс, несмотря на кажущуюся простоту, довольно сложен, т.к. должны формироваться карты соответствия первичных ключей источника с ключами ХД (при этом - первичные ключи могут быть составными и, естественно, самых разных сочетаний типов данных), учитывая, что данные из нескольких источников могут помещаться в одну таблицу и должна соблюдаться уникальность суррогатного ключа. Модель данных ХД не допускает наличия IDENTITY (эта данность не обсуждается).
Т.е. необходимо, по видимому, программирование в DS.
-- Это так?
-- Как сложно?

------------
Best regards, Jimmy
...
Рейтинг: 0 / 0
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / DATASTAGE - мнения? / 25 сообщений из 34, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]