|
|
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
Уважаемые коллеги! Кто юзал такого монстрика - DATASTAGE? Поделитесь пожалуйста впечатлениями. Именно реалиями практического использования, а не рекламными слоганами. Спасибо ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.04.2003, 11:46 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
Если еще не поздно...... Мы его используем уже с год. Приложение достаточно устойчивое и удобное, с большими возможностями разбора данных при переносе из разных баз. А какой аспект интересует? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2003, 12:46 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
Аспект простой, на самом деле: Стоит ли платить 50-60 тыс $ за него и почему? Подоплека такова - разрабатывается ETL система для хранилищ данных. Платформы - разные, общая только модель данных. В ETL процессах необходимо обеспечить: -- проверку качества данных -- произвести очистку данных -- перегрузку данных из оперативных БД в хранилище -- и, самое главное, эффективно управлять этими процессами. В качестве возможного решения рассматривается DataStage. Сам я , достаточно поверхностно, ознакомился с сабжем, но вот хотелось бы услышать мнения людей, которые знают его более глубоко. К тому же, я бывший программер и у меня своеобразный взгляд на проблему - легче самим сделать, чем такие бабки платить :0)) А следует учесть, что потенциальные пользователи не являются программистами. Мне трудно абстрагироваться. Примерно следующее (о реальной работе продукта, т.е. как у вас) интересует: -- для каких целей используется (у Вас) -- с какими источниками данных работает (у Вас) однородными или с разными платформами (ОС, СУБД) -- решаете ли вы проблемы качества данных (проверка, очистка) Ну и вообще - субъективные мнения. Легко ли с ним работать? Развивать? Админстрить? Дорабатывать? Если сумеете ответить хотя-бы на часть вопросов - большое Вам спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2003, 15:23 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
Если сумеете ответить хотя-бы на часть вопросов - большое Вам спасибо. Попробую :-) Итак: У нас две базы OLTP и DSS. Обе на платформе Oracle 8i. Но, я знаю людей у которых разные платформы ( Informix, DB2) и они не жаловались. OLTP-ная база огромная, не очень хорошо спроектированная и аналитические отчеты на OLTP-ной базе выполняются у нас часами, а то и днями. Загрузка из OLTP в хранилище у нас инкрементальная, каждодневная. Хранилище построено на агрегатных таблицах, соответственно при загрузке в ХД данные и серьезно разбираются, и чистятся. Плюс к этому в OLTP системе у нас процветает произвол, тк. наша ERP-система позволяет делать с собой очень многое, часто глючит и криво прописывает данные в таблицы, приходится очень часто руками править данные. Поэтому, когда шла разработка загрузки данных в ХД, на стороне основной базы пришлось повесить триггеры. Поэтому при загрузке мы еще и триггерные таблицы обрабатываем. Вообщем структура у нас замороченная. Если бы это было написано руками, разбираться в коде куда неприятнее , чем работать с графическим интерфейсом. Базы у нас на разных узлах, поэтому возможность одновременного чтения из нескольких источников и запись в несколько приемников удобна. Вообщем, все конечно замечательно, в DS очень удобно разбирать данные, если процедуры загрузки писать руками на это уйдет намного больше времени. Но, работать с клиентской частью DataStage все равно придется человеку с программистскими знаниями. Потому что, выудить данные с предварительными ограничениями быстрее и проще, если написать на стороне базы откуда данные берутся хранимые функции. В принципе, возможно не стоит тратить такие деньги, если данные нужно просто один раз перегрузить, можно заплатить разработчикам и программистам, чтобы они написали процедуры загрузки ручками. Но возможностей все-таки у DS очень много. Причем, у нас куплен самый простенький пакет с лицензией на одно рабочее место. Серверная часть DataStage практически не доставляла беспокойства. Она не требует особого администрирования. Поставили ее, она и пашет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.05.2003, 17:30 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
Если есть какие-то более конкретные технические вопросы, могу ответить по почте. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.05.2003, 18:55 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
Подскажите, где взять trial версию? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.05.2004, 14:59 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
Можно позвонить или пообщатся вот тут www.tern.ru в России вроде никто не работает с ним больше ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.05.2004, 16:22 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
иди и ищи DATASTAGE на www.ya.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.05.2004, 18:13 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
2 guest datastage ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.05.2004, 10:37 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
Ну так возьми и позвони дружище - - они точно не откажут , сам же видишь целый список - а насцет терн ты ошибаешься. это как дохтор дохтору, работали уже с ним . Так что иди ищи звони ! Все очень просто - с радостью покажут дадут и догонят и оближут. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.05.2004, 22:31 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
Привет. Меня зовут Сергей Демченко, я сотрудник компании ТЕРН и в последнее время занимаюсь построением хранилищ данных с помощью DataStage. Вопрос к Guest: кто Вы такой, и если не секрет, чем мы Вас так обидели? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2004, 12:02 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
Если у кого то есть действительно серьезный интерес к продуктам компании Ascential Software, и к DataStage в частности обращайтесь к нам, в компанию Терн. Адрес: www.tern.ru Почтовые адреса: sales@tern.ru, bi@tern.ru Мы расскажем про данные программные продукты, их возможности, способы и методы использования. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.05.2004, 12:12 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
здравствуйте! а нельзя ли в форуме написать цену продукта DataStage? с уважением, Дмитрий Жучков ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.05.2004, 14:01 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
Продуктами Ascential в России занимается также S&T International http://www.snt.com.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.05.2004, 17:14 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
-- для каких целей используется (у Вас) Data Integration -- с какими источниками данных работает (у Вас) однородными или с разными платформами (ОС, СУБД) IBM DB2, MSSQL, Oracle, Sybase -- решаете ли вы проблемы качества данных (проверка, очистка) No Esli est' odnotipnye DB, to na moi vzglyad, DataStage and/or Informatica eto vybroshennye den'gi i priobretennyi gemorroi. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.05.2004, 08:52 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
Вы написали, что Datastage не решает все проблемы качества данных. Можно поподробнее про это? Какую функциональность, связанную с этими проблемами Вы хотели бы видеть. Ascential для решения проблем качества данных предлагает продукт QualityStage. Видели ли Вы его? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.05.2004, 15:32 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
Pregde vsego, charSet::net vozmognoisti sdelat' compare data from DB2-table i Oracle-table, naprimer libo Oracle-table charset A & Oracle-table charSetB. Function "CONVERT" zdes' ne katit.. QualityStage - eshe ne poznakomilsya. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.05.2004, 16:10 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
2 Oracle XPert Что значит "однотипные БД"? -- Схожий диалект SQL? -- Схожая структура? -- что-то еще? ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2004, 10:09 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
Вопрос к пользователям и, особенно, к представителю ТЕРН: Есть образец SQL скрипта (Sybse ASE 12.5), который грузит данные об остатках на лицевых счетах в витрину данных из хранилища. При загрузке производится приведение сумм в альтернативные валюты. -- Можно ли нечто подобное в DATASTAGE реализовать с помощью графического интерфейса? -- Сколько времени понадобиться чтобы это вообще реализовать (если возможно)? -- Какова должна быть квалификация разработчика, который сможет это сделать (опыт работы с DS, необходимость обучения на авторизованных курсах и т.п.)? Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96. 97. 98. 99. 100. 101. 102. 103. 104. 105. 106. 107. 108. 109. 110. 111. 112. ЗЫ Не самый сложный запрос, используемый у нас при перегрузке данных, хотя и не самый простой, конечно. ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2004, 10:23 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
2 Jimmy К сожалению у меня нет того опыта, как у представителя Терна sergeyd1, но тем не менее попробую ответить 1Думаю вы не станете спорить, что insert работает несколько медленней чем bulk, datastage грузит данные через native connect и в sybase сервера. 2чем дергать каждый раз таблицу валют(хотя возможно я не до конца разобрался в селекте и справочник валют у вас очень большой), проще раз выгрузить требуемые записи в хеш файл висящий в озу(что делается через графический интерфейс без написания операторов как и приведенное ниже) и дергать требуемые валюты-курсы к прокачеваемым данным. Итого получаем: выбор в хеш курса валют + поток(select) на основную таблицу и прикручивание к этому хешей с необходимым суммирование, ваш пример является довольно простым и нечто подобное есть в туториале datastage. Сколько времени понадобится сказать вам не могу, но на конференции sybase, был неплохой пример, когда 10 дней ушло на получение допуска к тестовым данным. Зуб не дам, но на это уйдет времени не многим больше, чем на написание селекта, а скорее меньше, так как весь процесс делается мышкой. Квалификация разработчка для реализации примера - это опыт работы с разработкой на sql серверах + прочтение туториала по datastage, он весьма понятен даже на английском с достаточным количеством примеров, сколько у вас это займет судить не берусь. Для реализации более сложных работ, скорее всего понадобится просто опыт. Если есть вопросы по QualityStage, думаю на большую часть смогу ответить. Более четко и правильно, чем про Datastage ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2004, 11:05 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
2 brahew: Ловлю момент :) задать вопросы по QualityStage 1. Какие виды качества анализируются? (техническое: уникальность, констрейнты; аналитическое: статистика, спектры, зависимости; custom)? 2. Насколько интегрируемо с DataStage в смысле Real-time datawarehouse, каковы потери производительности при наличии хотя бы сотни показателей качества на каждую таблицу источника? 3. Доступны ли результаты анализа качества в метаданных, доступ туда, подключение инструментов третьих фирм (тот же microstrategy), и поддержка историчности? Заранее спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2004, 11:23 |
|
||
|
DATASTAGE - мнения?
|
|||
|---|---|---|---|
|
#18+
Соединения таблиц - ОК. Деразряжение данных В источнике данные об остатках хранятся не на каждый день - необходимо деразарядить данные, т.е. заполнить "дыры" в хронологической последовательности путем переноса остатков из предыдущих дней: Источник: Счет Дата Значение А 01.01.2004 100.00 А 02.01.2004 200.00 А 04.01.2004 100.00 А 07.01.2004 500.00 Б 01.01.2004 1000.00 Б 03.01.2004 700.00 Б 04.01.2004 100.00 Результат: Счет Дата Значение А 01.01.2004 100.00 А 02.01.2004 200.00 А 03.01.2004 200.00А 04.01.2004 100.00 А 05.01.2004 100.00 А 06.01.2004 100.00 А 06.01.2004 500.00 Б 01.01.2004 1000.00 Б 02.01.2004 1000.00Б 03.01.2004 700.00 Б 04.01.2004 100.00 -- Как сложно? Генерация суррогатных ключей ХД Для "стирания" разницы между данными, поступающими из разных источников, используются суррогатные ключи, которые должны генериться при загрузке данных. Этот процесс, несмотря на кажущуюся простоту, довольно сложен, т.к. должны формироваться карты соответствия первичных ключей источника с ключами ХД (при этом - первичные ключи могут быть составными и, естественно, самых разных сочетаний типов данных), учитывая, что данные из нескольких источников могут помещаться в одну таблицу и должна соблюдаться уникальность суррогатного ключа. Модель данных ХД не допускает наличия IDENTITY (эта данность не обсуждается). Т.е. необходимо, по видимому, программирование в DS. -- Это так? -- Как сложно? ------------ Best regards, Jimmy ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.05.2004, 11:32 |
|
||
|
|

start [/forum/topic.php?fid=32&msg=32527512&tid=1544561]: |
0ms |
get settings: |
6ms |
get forum list: |
20ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
214ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
82ms |
get tp. blocked users: |
1ms |
| others: | 219ms |
| total: | 564ms |

| 0 / 0 |
