powered by simpleCommunicator - 2.0.44     © 2025 Programmizd 02
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Изучаю Informatica - вопросы для понимания
20 сообщений из 70, страница 3 из 3
Изучаю Informatica - вопросы для понимания
    #40002572
netdiver
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Бумбараш
Master_Detail

- Enterprise любит готовые решения, чтобы была поддержка и гарантии

ну и еще раз. Это положение дел на 2005 год. Тогда можно было говорить такое про информатику. Сейчас в любом самом большом энтерпрайзе никто её уже не внедряет, как тогда. А пользуются другими средствами.


Ну,ну .. Deutsche Bank, Deutsche Boerse, ING, BNP, UniCredit, BMW, VW ,Audi, Kuka, Mercedes ... это только те, которые мне лично по работе последние 2-3 года встречались ))
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40002604
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
netdiver
Бумбараш
пропущено...

ну и еще раз. Это положение дел на 2005 год. Тогда можно было говорить такое про информатику. Сейчас в любом самом большом энтерпрайзе никто её уже не внедряет, как тогда. А пользуются другими средствами.


Ну,ну .. Deutsche Bank, Deutsche Boerse, ING, BNP, UniCredit, BMW, VW ,Audi, Kuka, Mercedes ... это только те, которые мне лично по работе последние 2-3 года встречались ))

Cobol тоже во многих из этих организаций есть и что?

Ну и я по рынку России говорил. Что там в гейропах я не разбираюсь.
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40002606
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
netdiver
Бумбараш,

Явно за 10 лет тебе просто не приходилось собирать и интегрировать в двх данные с 200+ офисов со всего мира из 10+ разных систем и в csv, xml, excel, oracle, db2, postgre и тп одновременно.

в гуглах, яндексах и других компаниях как-то обходятся без информатик для интеграции из 200+ офисов

к слову в России в госкомпаниях иностранное ПО вообще запрещают. В той или иной степени. И тоже как-то справляются.

Возможно они делают это не лучшим образом. Надо им обратиться за консультациями к лучшим программистам в мире - энтерпрайз-макакам.
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40003597
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Бумбараш
netdiver
Бумбараш,

Явно за 10 лет тебе просто не приходилось собирать и интегрировать в двх данные с 200+ офисов со всего мира из 10+ разных систем и в csv, xml, excel, oracle, db2, postgre и тп одновременно.

в гуглах, яндексах и других компаниях как-то обходятся без информатик для интеграции из 200+ офисов

к слову в России в госкомпаниях иностранное ПО вообще запрещают. В той или иной степени. И тоже как-то справляются.

Возможно они делают это не лучшим образом. Надо им обратиться за консультациями к лучшим программистам в мире - энтерпрайз-макакам.


да кому то повезло (хватило интеллекта) работать в гоглах-яндексах.
Сколько это 0.001 % от ОБЩЕГО ЧИСЛА ??

да ключевое это рынок на кого работаешь
я из РБ на оффшор - и вот тоже потиху лажу в информатике
ибо досталось легаси и от тебя не зависит.
Не могу сказать что мне нравится но выбора то нет.

хотя для НОВЫХ проектов я б с удовольтсвием был апач аирфлоу или другой фреймворк (питон)
если это ваш случай это классно можно только позавидовать
выбор технологий это большой плюс.
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40003620
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну у нас как раз в РФ выбирают аирфлов и найфаи в новых проектах. И это в банках, а не в яндексах даже.
Информатика есть, но в легаси. В новых проектах почти нет.
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40004260
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Бумбараш
Ну у нас как раз в РФ выбирают аирфлов и найфаи в новых проектах. И это в банках, а не в яндексах даже.
Информатика есть, но в легаси. В новых проектах почти нет.


100% легаси.
Да в новых проектах Новые технологии
я бы и сам с удовоольствием смотрел в ту сторону
но у нас в РБ норм. зарплата это работа на оффшор а там легаси большинство
хотя случаются и новые вещи но у меня они были давно увы.
Потому и читаю тему и сам ковыряюсь по тиху в информатике.
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40004452
Master_Detail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Доброго дня!
Столкнулся с непонятной мне вещью.. Пытаюсь внести правки в маппинг - нужно добавить поля в SQ. Перетаскиваю поля из Source в SQ, поле добавляется в SQ, но при этом линк не отрисовывается. Думал, может графический глюк...перезашел в дизайнер, переподключился к репозиторию - ничего. Попробовал новый порт добавить руками в SQ, а потом указать ему поле в источнике - не пашет. Что за прикол?

upd. Проверил возможность добавления линков дальше. Пытаюсь руками созданный порт SQ добавить в Joiner - та же история, порт добавляется, линк не рисуется

upd2. Все просто.. Не был включен Link Column в Layout :(
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40004624
Master_Detail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Господа, ищу помощи.

Имею маппинг, в котором собирается некий поток данных. Он пропускается через Router и по условию разделяется на два потока - один отправляет данные на инсерт, другой на апдейт. Апдейт выглядит как: ...Router->Update Strategy->Target.

По настройкам:
- в Update Strategy установлено 1(DD_UPDATE тоже пробовал)
- на таргете включена галочка "Update as Update"
- коннект к таргету под пользователем-владельцем таблицы, то есть права на апдейт в БД имеются

В логах вижу следующее:

Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
2020-10-01 19:41:56 : INFO : (19684 | TRANSF_1_5_1) : (IS | IntSrv_virt) : node01 : CMN_1053 : UPDTRANS: Send OUTPUT row to S_CONTACT_UPDATE_EXIST: Control=[None]

UPDTRANS: Send OUTPUT row to S_CONTACT_UPDATE_EXIST: Rowdata: ( RowType=0(insert) Src Rowid=1 Targ Rowid=1
  TECH_CONTACT_ROW_ID1 (ROW_ID:UniChar.15:): "9999"
  MAIN_EMAIL1 (EMAIL_ADDR:UniChar.350:): "kakoytomail@gmail.com"

)

...
2020-10-01 19:42:29 : ERROR : (19684 | WRITER_1_*_1) : (IS | IntSrv_virt) : node01 : WRT_8117 :

ERROR: Target table [S_CONTACT] does not allow INSERT
Row # [0] in bad file



По непонятной мне причине информатика хочет инсертить эту запись, а не апдейтить.. Куда смотреть?
Спасибо
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40004767
Master_Detail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Master_Detail
Господа, ищу помощи.
По непонятной мне причине информатика хочет инсертить эту запись, а не апдейтить.. Куда смотреть?
Спасибо

Импортнул процесс в другой репозиторий информатики. Запустил, все отработало корректно. В логах RowType=1(update):

Код: plsql
1.
2.
3.
4.
5.
2020-10-02 12:14:39 : INFO : (27428 | TRANSF_1_5_1) : (IS | IntSrv) : node01 : CMN_1053 : UPDTRANS: Send OUTPUT row to S_CONTACT_UPDATE_EXIST: Control=[None]
UPDTRANS: Send OUTPUT row to S_CONTACT_UPDATE_EXIST: Rowdata: ( RowType=1(update) Src Rowid=1 Targ Rowid=1
  TECH_CONTACT_ROW_ID1 (ROW_ID:UniChar.15:): "9999"
  MAIN_EMAIL1 (EMAIL_ADDR:UniChar.350:): "kakoytomail@gmail.com"
)


То есть с самим процессом вроде как все ок. На уровне БД по идее тоже.. В правах дело быть не может, так как 1. права на update есть и 2.информатика ведь иницирует insert, а не update. В этом и проблема.
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40004846
Anonymous_20
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Master_Detail
Господа, ищу помощи.

Имею маппинг, в котором собирается некий поток данных. Он пропускается через Router и по условию разделяется на два потока - один отправляет данные на инсерт, другой на апдейт. Апдейт выглядит как: ...Router->Update Strategy->Target.

По настройкам:
- в Update Strategy установлено 1(DD_UPDATE тоже пробовал)
- на таргете включена галочка "Update as Update"
- коннект к таргету под пользователем-владельцем таблицы, то есть права на апдейт в БД имеются

По непонятной мне причине информатика хочет инсертить эту запись, а не апдейтить.. Куда смотреть?
Спасибо


Что стоит в настройках данной сессии на вкладке Properties, пункт Treat source rows as?
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40004971
Master_Detail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Anonymous_20

Что стоит в настройках данной сессии на вкладке Properties, пункт Treat source rows as?

И не обращал внимание ранее на это свойство.. Всегда по-умолчанию использовал "Data driven". Спасибо, в этом и причина..
В чем смысл этого свойства на практике? Чтобы не использовать Update Strategy в маппинге?
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40005334
netdiver
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Бумбараш
netdiver
Бумбараш,

Явно за 10 лет тебе просто не приходилось собирать и интегрировать в двх данные с 200+ офисов со всего мира из 10+ разных систем и в csv, xml, excel, oracle, db2, postgre и тп одновременно.

в гуглах, яндексах и других компаниях как-то обходятся без информатик для интеграции из 200+ офисов

к слову в России в госкомпаниях иностранное ПО вообще запрещают. В той или иной степени. И тоже как-то справляются.

Возможно они делают это не лучшим образом. Надо им обратиться за консультациями к лучшим программистам в мире - энтерпрайз-макакам.


Обиженных псевдо-патриотичных замполит-бабуинов-недоучек в целом опасно консультировать. Лучше держатся от них подальше- уж очень они тупые и кусачие ;)
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40005377
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Друзья, давайте воздержимся от взаимных оскорблений и не будем в политоту скатываться.

Выбор решения зависит от множества причин:
1. Компания "подсела" на стек продуктов какого-либо из вендоров, например, из-за подписанного корпоративного соглашения с очень привлекательными условиями и у них уже очень много решений данного вендора. Скорее всего, при выборе решения она в первую очередь будет смотреть на стек продуктов именного данного вендора.
2. У сотрудников компании есть опыт работы именно с определенным стеком продуктов. Да, это может быть не идеальное решение, но уже есть обученные сотрудники и они понимают как сделать проект на тех технологиях, которыми они владеют. Как говориться, "самая ближняя дорога к дому - та, которую хорошо знаешь". Выбор других продуктов, даже лучше подходящих для решения данной задачи, может быть ограничен необходимостью в поиске специалистов, что не так просто, обучению текущих сотрудниках новым технологиям, при этом все равно непонятны риски - пока сами на грабли не наступят, не поймут, как правильно делать и чем грозит выбор того или иного архитектурного значения.
3. Компании необходимо проверенное и рабочее решение, и у них есть деньги на него. Просто бизнес видел подобное решение, понимает что оно работает и требует "точно также" - потому что видит в этом отсутствие рисков.
4. Компания придерживается стратегии открытого П.О. или стратегии "напишем все сами". Не всякие компании могут это себе позволить, но такие примеры встречал неоднократно. Зачастую, связанно с боязнью быть завязанным на "чужие" технологии или премиальную поддержку "бесплатных" продуктов.
4.1. В компания не поощряется покупка программных продуктов.
4.2. В компании есть энтузиасты, которые любят что-то новое, особенно открытое. Вполне себе рабочий вариант, потому что ряд технологий развивается очень высокими темпами, и даже "хорошее проверенное решение" может уступать "условно-бесплатным" технологиям, если уметь их готовить.
5. Компанию каким-то чудом убедили, что несмотря на п.п. 1-4, есть продукт который полностью закрывает их потребности и даёт определенные преимущества, несмотря на необходимость платить за него и обучать специалистов. Обычно - самый тяжелый путь, связанный со множеством пилотных проектов, нагрузочного тестирования и так далее.

Список можно продолжать до бесконечности.

Да, и результат проекта зачастую не зависит от выбранного П.О. в соответствии с приведенными параметрами выбора.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40005531
Anonymous_20
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Master_Detail

И не обращал внимание ранее на это свойство.. Всегда по-умолчанию использовал "Data driven". Спасибо, в этом и причина..
В чем смысл этого свойства на практике? Чтобы не использовать Update Strategy в маппинге?

Я обычно использую Update Strategy когда несколько приемников и с разными операциями или в рамках 1 могут меняться динамически операции. Если допустим у меня N приемников но у всех операция INSERT, то по мне проще Treat source rows as указать INSERT.
Когда ставите Data driven информатика воспринимает, что типом операции будет управлять Update Strategy.
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40005579
Sintetik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гулин Федор

хотя для НОВЫХ проектов я б с удовольтсвием был апач аирфлоу или другой фреймворк (питон)
если это ваш случай это классно можно только позавидовать
выбор технологий это большой плюс.

ETL инструменты для того и были разработаны, чтобы можно было забыть про кодинг на языках, по крайней мере такая цель была

не торопитесь завидовать, имею дело с амазоновскими сервисами DMS, Glue и цензурных слов у меня нет, на фоне информатики/датастейджа/даже бесплатного таленда они выглядят как студенческие наколеночные поделки, с аирфлоу и нифи пока бог миловал дело иметь, но на 90% уверен что там примерно той же консистенции субстанция.
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40005662
Master_Detail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Anonymous_20
Master_Detail

И не обращал внимание ранее на это свойство.. Всегда по-умолчанию использовал "Data driven". Спасибо, в этом и причина..
В чем смысл этого свойства на практике? Чтобы не использовать Update Strategy в маппинге?

Я обычно использую Update Strategy когда несколько приемников и с разными операциями или в рамках 1 могут меняться динамически операции. Если допустим у меня N приемников но у всех операция INSERT, то по мне проще Treat source rows as указать INSERT.
Когда ставите Data driven информатика воспринимает, что типом операции будет управлять Update Strategy.

Благодарю за ответ!
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40008707
Master_Detail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Доброго дня, господа.
Вопрос вроде простой, но пока не нашел для себя однозначного ответа. У меня есть некая таблица, в которой лежит флаг "Надо делать загрузку" (условно). Есть второй источник, где 100500 строк. Если флаг = Y, забираем данные из второго источника, если N, то даже не читаем. Это можно сделать в одном маппинге и сессии? Если просто лукапить этот флаг, то источник все-равно сначала прочитается, а потом только проверится флаг. А нельзя ли сразу как-то?
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40009905
Anonymous_20
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Master_Detail,
Самый простой вариант 2 сессии. 1 сессия проверят наличие удовлетворяющего условия (флага). Если условие удовлетворяет, то запускается 2 сессия. Условие ставим между сессиями, на стрелочке.

В 1 мапинге можно, но вопрос зачем? Вы не оставляете поле для маневров в будущем (Ох сколько видел таких решений под названием, «а после меня хоть потоп»). Можно, на источники проверять флаг, а данные грузить через SQL трансформацию.
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40010061
Master_Detail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Anonymous_20
Master_Detail,
Самый простой вариант 2 сессии. 1 сессия проверят наличие удовлетворяющего условия (флага). Если условие удовлетворяет, то запускается 2 сессия. Условие ставим между сессиями, на стрелочке.

В 1 мапинге можно, но вопрос зачем? Вы не оставляете поле для маневров в будущем (Ох сколько видел таких решений под названием, «а после меня хоть потоп»). Можно, на источники проверять флаг, а данные грузить через SQL трансформацию.


Спасибо за ответ. В принципе так и думал, что 2 сессии - лучший вариант. «а после меня хоть потоп» - не наш вариант, надо, чтобы работало хорошо и поддерживать было просто :)
...
Рейтинг: 0 / 0
Изучаю Informatica - вопросы для понимания
    #40010980
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sintetik
Гулин Федор

хотя для НОВЫХ проектов я б с удовольтсвием был апач аирфлоу или другой фреймворк (питон)
если это ваш случай это классно можно только позавидовать
выбор технологий это большой плюс.

ETL инструменты для того и были разработаны, чтобы можно было забыть про кодинг на языках, по крайней мере такая цель была

не торопитесь завидовать, имею дело с амазоновскими сервисами DMS, Glue и цензурных слов у меня нет, на фоне информатики/датастейджа/даже бесплатного таленда они выглядят как студенческие наколеночные поделки, с аирфлоу и нифи пока бог миловал дело иметь, но на 90% уверен что там примерно той же консистенции субстанция.


Как ELT инструмент информатика зело избыточна и сложна. Аирфлоу же очень удобен в этой парадигме, тем что вся обертка с шедулерами, воркфловами, переменными, логами и конекшенами есть, а лишнего ничего нет. Ну и питон очень хорош для кастомизации.

А ETL уже свое изжил, это легаси. Если у вас в амазоне snowflake или redshift, то трансформации на инфоматике туда пихать это зло.
...
Рейтинг: 0 / 0
20 сообщений из 70, страница 3 из 3
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Изучаю Informatica - вопросы для понимания
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]