powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / DATASTAGE - мнения?
25 сообщений из 34, страница 1 из 2
DATASTAGE - мнения?
    #32138374
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Уважаемые коллеги!

Кто юзал такого монстрика - DATASTAGE?
Поделитесь пожалуйста впечатлениями. Именно реалиями практического использования, а не рекламными слоганами.

Спасибо
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32150023
Фотография Filippova
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если еще не поздно......

Мы его используем уже с год.
Приложение достаточно устойчивое и удобное, с большими возможностями
разбора данных при переносе из разных баз.

А какой аспект интересует?
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32150226
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Аспект простой, на самом деле:
Стоит ли платить 50-60 тыс $ за него и почему?

Подоплека такова - разрабатывается ETL система для хранилищ данных.
Платформы - разные, общая только модель данных.

В ETL процессах необходимо обеспечить:
-- проверку качества данных
-- произвести очистку данных
-- перегрузку данных из оперативных БД в хранилище
-- и, самое главное, эффективно управлять этими процессами.

В качестве возможного решения рассматривается DataStage. Сам я , достаточно поверхностно, ознакомился с сабжем, но вот хотелось бы услышать мнения людей, которые знают его более глубоко.

К тому же, я бывший программер и у меня своеобразный взгляд на проблему - легче самим сделать, чем такие бабки платить :0))
А следует учесть, что потенциальные пользователи не являются программистами. Мне трудно абстрагироваться.

Примерно следующее (о реальной работе продукта, т.е. как у вас) интересует:
-- для каких целей используется (у Вас)
-- с какими источниками данных работает (у Вас) однородными или с разными платформами (ОС, СУБД)
-- решаете ли вы проблемы качества данных (проверка, очистка)

Ну и вообще - субъективные мнения. Легко ли с ним работать? Развивать? Админстрить? Дорабатывать?

Если сумеете ответить хотя-бы на часть вопросов - большое Вам спасибо.
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32152420
Фотография Filippova
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если сумеете ответить хотя-бы на часть вопросов - большое Вам спасибо.

Попробую :-)

Итак:
У нас две базы OLTP и DSS. Обе на платформе Oracle 8i.
Но, я знаю людей у которых разные платформы ( Informix, DB2) и они не жаловались.

OLTP-ная база огромная, не очень хорошо спроектированная и
аналитические отчеты на OLTP-ной базе выполняются у нас часами, а то и днями.

Загрузка из OLTP в хранилище у нас инкрементальная, каждодневная.
Хранилище построено на агрегатных таблицах, соответственно при
загрузке в ХД данные и серьезно разбираются, и чистятся.
Плюс к этому в OLTP системе у нас процветает произвол, тк. наша ERP-система
позволяет делать с собой очень многое, часто глючит и криво прописывает
данные в таблицы, приходится очень часто руками править данные.
Поэтому, когда шла разработка загрузки данных в ХД, на стороне основной базы
пришлось повесить триггеры. Поэтому при загрузке мы еще и триггерные таблицы
обрабатываем. Вообщем структура у нас замороченная. Если бы это было написано
руками, разбираться в коде куда неприятнее , чем работать с графическим интерфейсом.

Базы у нас на разных узлах, поэтому возможность одновременного
чтения из нескольких источников и запись в несколько приемников удобна.

Вообщем, все конечно замечательно, в DS очень удобно разбирать данные,
если процедуры загрузки писать руками на это уйдет намного больше времени.
Но, работать с клиентской частью DataStage все равно придется
человеку с программистскими знаниями. Потому что, выудить данные
с предварительными ограничениями быстрее и проще, если написать на стороне
базы откуда данные берутся хранимые функции.

В принципе, возможно не стоит тратить такие деньги, если данные нужно
просто один раз перегрузить, можно заплатить
разработчикам и программистам, чтобы они написали процедуры загрузки
ручками. Но возможностей все-таки у DS очень много. Причем, у нас
куплен самый простенький пакет с лицензией на одно рабочее место.


Серверная часть DataStage практически не доставляла беспокойства.
Она не требует особого администрирования. Поставили ее, она и пашет.
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32152433
Фотография Filippova
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если есть какие-то более конкретные технические вопросы, могу ответить по почте.
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32152988
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Filippova

Спасибо!


PS Насчет почты - воспользуюсь, наверное.
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
DATASTAGE - мнения?
    #32507527
lengom
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Подскажите, где взять trial версию?
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32507691
Фотография brahew
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Можно позвонить или пообщатся вот тут www.tern.ru в России вроде никто не работает с ним больше
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32507805
Фотография brahew
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32507948
guest
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
иди и ищи DATASTAGE
на www.ya.ru
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32508579
Фотография brahew
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 guest
datastage
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32509899
frm  Guest to Brhenw
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ну так возьми и позвони дружище - - они точно не откажут ,

сам же видишь целый список - а насцет терн ты ошибаешься.
это как дохтор дохтору, работали уже с ним .

Так что иди ищи звони ! Все очень просто - с радостью покажут дадут и догонят и оближут.
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32510458
sergeyd1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Привет.
Меня зовут Сергей Демченко, я сотрудник компании ТЕРН и в последнее время занимаюсь построением хранилищ данных с помощью DataStage.
Вопрос к Guest: кто Вы такой, и если не секрет, чем мы Вас так обидели?
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32510479
sergeyd1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Если у кого то есть действительно серьезный интерес к продуктам компании Ascential Software, и к DataStage в частности обращайтесь к нам, в компанию Терн.
Адрес: www.tern.ru
Почтовые адреса: sales@tern.ru, bi@tern.ru

Мы расскажем про данные программные продукты, их возможности, способы и методы использования.
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32519150
Dimkas
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
здравствуйте!

а нельзя ли в форуме написать цену продукта
DataStage?

с уважением,
Дмитрий Жучков
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32519256
ETL
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL
Гость
~50000$ USD
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32524527
Peyotl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Продуктами Ascential в России занимается также S&T International
http://www.snt.com.ru
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32525184
Oracle XPert
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
-- для каких целей используется (у Вас)

Data Integration

-- с какими источниками данных работает (у Вас) однородными или с разными платформами (ОС, СУБД)


IBM DB2, MSSQL, Oracle, Sybase

-- решаете ли вы проблемы качества данных (проверка, очистка)

No

Esli est' odnotipnye DB, to na moi vzglyad, DataStage and/or Informatica eto vybroshennye den'gi i priobretennyi gemorroi.
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32526441
Peyotl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вы написали, что Datastage не решает все проблемы качества данных.

Можно поподробнее про это? Какую функциональность, связанную с этими проблемами Вы хотели бы видеть.

Ascential для решения проблем качества данных предлагает продукт QualityStage. Видели ли Вы его?
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32526575
Oracle XPert
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Pregde vsego, charSet::net vozmognoisti sdelat' compare data from DB2-table i Oracle-table, naprimer libo Oracle-table charset A & Oracle-table charSetB. Function "CONVERT" zdes' ne katit..

QualityStage - eshe ne poznakomilsya.
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32527472
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Oracle XPert
Что значит "однотипные БД"?
-- Схожий диалект SQL?
-- Схожая структура?
-- что-то еще?


------------
Best regards, Jimmy
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32527512
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вопрос к пользователям и, особенно, к представителю ТЕРН:

Есть образец SQL скрипта (Sybse ASE 12.5), который грузит данные об остатках на лицевых счетах в витрину данных из хранилища.
При загрузке производится приведение сумм в альтернативные валюты.
-- Можно ли нечто подобное в DATASTAGE реализовать с помощью графического интерфейса?
-- Сколько времени понадобиться чтобы это вообще реализовать (если возможно)?
-- Какова должна быть квалификация разработчика, который сможет это сделать (опыт работы с DS, необходимость обучения на авторизованных курсах и т.п.)?

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.
111.
112.
 -- Загрузка данных об остатках на лицевых счетах
 

INSERT
  dmtb_acct_bal_fact
  (
  day_id,
  acct_id,
  acct_bal_curr_amt,
  acct_bal_rur_amt,
  acct_bal_usd_amt,
  acct_bal_eur_amt,
  step_evt_id
  )
SELECT
  sttb.day_id+ 1 ,
  sttb.acct_id,
  sttb.acct_bal_curr_amt,
   /* Сумма остатка, приведённая к рублям по курсу ЦБ РФ */ 
  sttb.acct_bal_rur_amt,
   /* Вставить сумму остатка, приведённую к долларам США */ 
  acct_bal_usd_amt   = CASE sttb.curr_id
                                      WHEN  214872  THEN
                                            sttb.acct_bal_curr_amt
                                      ELSE COALESCE(sttb.acct_bal_curr_amt * usdrate.to_curr_amt/usdrate.from_curr_amt,  0 )
                                    END,
   /* Вставить сумму остатка, приведённую к евро */ 
  acct_bal_eur_amt    = CASE sttb.curr_id
                                      WHEN  214884  THEN
                                            sttb.acct_bal_curr_amt
                                      ELSE COALESCE(sttb.acct_bal_curr_amt * eurrate.to_curr_amt/eurrate.from_curr_amt,  0 )
                                    END,
  step_evt_id             =  0 
FROM
  sttb_amt sttb
 /* Соединение для выбора курса валюты счёта к долларам США */ 
 /* Курс валюты счёта к доллару считается через курс валюты счёта */ 
 /* к рублю (кросс-курс) */ 
LEFT OUTER JOIN
  dwtb_curr_rate usdrate
  ON
  sttb.acct_bal_date = usdrate.curr_rate_begin_datetime
  AND
  usdrate.curr_rate_type_id = --219968
 
   (
    SELECT
      tgt_id
    FROM
      mdtm_id_id_map_class1
    WHERE
      tgt_ent_data_set_id =  211 
       /* Таблица-источник, хранящая идентификатор типа кросс-курса */ 
       /* stti_curr_rate_type */ 
      AND
      stg_ent_data_set_id =  15101 
       /* curr_type_id кросс-курса через рубли */ 
      AND
      src_col1_val= 1 
    )
  AND
  usdrate.from_curr_id = sttb.curr_id
  AND
  usdrate.to_curr_id = --214872
 
    (
    SELECT
      curr_id
    FROM
      dwtb_curr
    WHERE
      curr_iso_alpha_code='USD'
    )


 /* Соединение для выбора курса валюты счёта к евро */ 
 /* Курс валюты счёта к доллару считается через курс валюты счёта */ 
 /* к рублю (кросс-курс) */ 
LEFT OUTER JOIN
  dwtb_curr_rate eurrate
  ON
  sttb.acct_bal_date = eurrate.curr_rate_begin_datetime
  AND
  eurrate.curr_rate_type_id = --219968
 
    (
    SELECT
      tgt_id
    FROM
      mdtm_id_id_map_class1
    WHERE
      tgt_ent_data_set_id =  211 
       /* Таблица-источник, хранящая идентификатор типа кросс-курса */ 
       /* stti_curr_rate_type */ 
      AND
      stg_ent_data_set_id =  15101 
       /* curr_type_id кросс-курса через рубли */ 
      AND
      src_col1_val =  1 
    )
  AND
  eurrate.from_curr_id = sttb.curr_id
  AND
  eurrate.to_curr_id = --214884
 
    (
    SELECT
      curr_id
    FROM
      dwtb_curr
    WHERE
      curr_iso_alpha_code = 'EUR'
    )

ЗЫ Не самый сложный запрос, используемый у нас при перегрузке данных, хотя и не самый простой, конечно.


------------
Best regards, Jimmy
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32527633
Фотография brahew
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Jimmy
К сожалению у меня нет того опыта, как у представителя Терна sergeyd1, но тем не менее попробую ответить
1Думаю вы не станете спорить, что insert работает несколько медленней чем bulk, datastage грузит данные через native connect и в sybase сервера.
2чем дергать каждый раз таблицу валют(хотя возможно я не до конца разобрался в селекте и справочник валют у вас очень большой), проще раз выгрузить требуемые записи в хеш файл висящий в озу(что делается через графический интерфейс без написания операторов как и приведенное ниже) и дергать требуемые валюты-курсы к прокачеваемым данным. Итого получаем: выбор в хеш курса валют + поток(select) на основную таблицу и прикручивание к этому хешей с необходимым суммирование, ваш пример является довольно простым и нечто подобное есть в туториале datastage.
Сколько времени понадобится сказать вам не могу, но на конференции sybase, был неплохой пример, когда 10 дней ушло на получение допуска к тестовым данным. Зуб не дам, но на это уйдет времени не многим больше, чем на написание селекта, а скорее меньше, так как весь процесс делается мышкой.

Квалификация разработчка для реализации примера - это опыт работы с разработкой на sql серверах + прочтение туториала по datastage, он весьма понятен даже на английском с достаточным количеством примеров, сколько у вас это займет судить не берусь. Для реализации более сложных работ, скорее всего понадобится просто опыт.

Если есть вопросы по QualityStage, думаю на большую часть смогу ответить. Более четко и правильно, чем про Datastage
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32527681
EO
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
EO
Гость
2 brahew:
Ловлю момент :) задать вопросы по QualityStage
1. Какие виды качества анализируются? (техническое: уникальность, констрейнты; аналитическое: статистика, спектры, зависимости; custom)?
2. Насколько интегрируемо с DataStage в смысле Real-time datawarehouse, каковы потери производительности при наличии хотя бы сотни показателей качества на каждую таблицу источника?
3. Доступны ли результаты анализа качества в метаданных, доступ туда, подключение инструментов третьих фирм (тот же microstrategy), и поддержка историчности?

Заранее спасибо.
...
Рейтинг: 0 / 0
DATASTAGE - мнения?
    #32527710
Фотография Jimmy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Соединения таблиц - ОК.

Деразряжение данных В источнике данные об остатках хранятся не на каждый день - необходимо деразарядить данные, т.е. заполнить "дыры" в хронологической последовательности путем переноса остатков из предыдущих дней:
Источник:
Счет Дата Значение
А 01.01.2004 100.00
А 02.01.2004 200.00
А 04.01.2004 100.00
А 07.01.2004 500.00
Б 01.01.2004 1000.00
Б 03.01.2004 700.00
Б 04.01.2004 100.00

Результат:
Счет Дата Значение
А 01.01.2004 100.00
А 02.01.2004 200.00
А 03.01.2004 200.00А 04.01.2004 100.00
А 05.01.2004 100.00
А 06.01.2004 100.00
А 06.01.2004 500.00
Б 01.01.2004 1000.00
Б 02.01.2004 1000.00Б 03.01.2004 700.00
Б 04.01.2004 100.00

-- Как сложно?

Генерация суррогатных ключей ХД
Для "стирания" разницы между данными, поступающими из разных источников, используются суррогатные ключи, которые должны генериться при загрузке данных.
Этот процесс, несмотря на кажущуюся простоту, довольно сложен, т.к. должны формироваться карты соответствия первичных ключей источника с ключами ХД (при этом - первичные ключи могут быть составными и, естественно, самых разных сочетаний типов данных), учитывая, что данные из нескольких источников могут помещаться в одну таблицу и должна соблюдаться уникальность суррогатного ключа. Модель данных ХД не допускает наличия IDENTITY (эта данность не обсуждается).
Т.е. необходимо, по видимому, программирование в DS.
-- Это так?
-- Как сложно?

------------
Best regards, Jimmy
...
Рейтинг: 0 / 0
25 сообщений из 34, страница 1 из 2
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / DATASTAGE - мнения?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]