powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Informatica. Организовать цикл по лог файлам
14 сообщений из 14, страница 1 из 1
Informatica. Организовать цикл по лог файлам
    #37206144
SpellBuilder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Подскажите пожалуйста как организовать цикл по содержимому папки с лог файлами АТС.
Имя файла содержит дату лога, расширение лог.
?
...
Рейтинг: 0 / 0
Informatica. Организовать цикл по лог файлам
    #37206871
Фотография Chubaka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А при чем тут Информатика?

p.s.
Что такое "лог файлы АТС"??
...
Рейтинг: 0 / 0
Informatica. Организовать цикл по лог файлам
    #37206943
SpellBuilder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Chubaka,

Текстовые файлы содержащие звонки, которые телефонная станция ложит на файл сервер, в полночь, каждый день-имя.log

Нужно их прогрузить и каждый день подгружать новый в хранилище
...
Рейтинг: 0 / 0
Informatica. Организовать цикл по лог файлам
    #37206993
red_rabbit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Первое что пришло :
1. Создайте табличку, в которую будите записывать имена всех файлов, которые нужно загрузить.
2. Напишите скрипт который заполнял бы эту табличку.
3. Создайте маппинг, который будет лазить в эту таблицу и проверять наличие файлов, подлежащий загрузке, на выходе этого маппинга файл парамерт содержащий путь к файлу.
4. Создайте маппинг который загружает такой файл, укажите ему файл парамерт, сформированный первым маппингом.
5. Создайте маппинг который в случае успеха проставляет отметку в табличке о том, что файл загружен.
6. Создайте флоу из 3 сессий.
Пусть крутится до тех пор, пока все файлы из таблички не будут загружены.
...
Рейтинг: 0 / 0
Informatica. Организовать цикл по лог файлам
    #37207149
1. Делаем мап, который грузит нужные файлы. Имя файла передавать параметром.
2. Пишется скрипт средствами ОС, который:
- бежит в цикле по всем нужным лог файлам
- для каждого формирует файл параметров
- запускает воркфлоу, в который входит мап загрузки, с этим файлом параметров.
3. Можно сделать "управляющее" воркылоу, которое, к примеру каждый день запускает из команд таска этот скрипт.
...
Рейтинг: 0 / 0
Informatica. Организовать цикл по лог файлам
    #37207189
Фотография Chubaka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
1) в pre-command сессии суете скрипт
Код: plaintext
dir /b *.txt > FileList.lst
2) в свойстве Indirect File List источника указываете FileList.lst
...
Рейтинг: 0 / 0
Informatica. Организовать цикл по лог файлам
    #37208875
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Chubaka1) в pre-command сессии суете скрипт
Код: plaintext
dir /b *.txt > FileList.lst
2) в свойстве Indirect File List источника указываете FileList.lst
Можно еще проще:
1) В типе файла указываете Command, а в свойстве Indirect File List источника указываете саму команду dir /b *.txt.
...
Рейтинг: 0 / 0
Informatica. Организовать цикл по лог файлам
    #37209074
HallucinogenLSD
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ApexМожно еще проще:
1) В типе файла указываете Command, а в свойстве Indirect File List источника указываете саму команду dir /b *.txt.

Обалденная фича :-)
...
Рейтинг: 0 / 0
Informatica. Организовать цикл по лог файлам
    #37209147
Фотография Chubaka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Apex,
Я однажды сильно накололся с типом данных Command, когда пытался реализовать через него обращение к утилитам командной строки самой Информатики (pmrep и infacmd). После старта этих утилит через Command утилизация ими CPU взлетала до 100%, а Информатика наглухо залипала. Вывести ее из комы удавалось только загасив процесс pmrep/infacmd.
Было все это достаточно давно, на версии 8.6.1 hf6, если мне не изменяет память. Возможно что-то с тех пор изменилось, а возможно это я тогда как-то накосячил. Тогда из-за нехватки времени я до конца с проблемой не разобрался и пошел другим путем. Но с тех пор недолюбливаю эту фичу :)
...
Рейтинг: 0 / 0
Informatica. Организовать цикл по лог файлам
    #37209373
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ChubakaApex,
Я однажды сильно накололся с типом данных Command, когда пытался реализовать через него обращение к утилитам командной строки самой Информатики (pmrep и infacmd). После старта этих утилит через Command утилизация ими CPU взлетала до 100%, а Информатика наглухо залипала. Вывести ее из комы удавалось только загасив процесс pmrep/infacmd.
Было все это достаточно давно, на версии 8.6.1 hf6, если мне не изменяет память. Возможно что-то с тех пор изменилось, а возможно это я тогда как-то накосячил. Тогда из-за нехватки времени я до конца с проблемой не разобрался и пошел другим путем. Но с тех пор недолюбливаю эту фичу :)
Ну, может и так. Но тут то надо всего лишь список файлов получить:)
...
Рейтинг: 0 / 0
Informatica. Организовать цикл по лог файлам
    #37291249
SpellBuilder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Informatica 8.6
Не получается. Ошибка "Том в устройстве C не имеет метки."

кусочек лога в различных кодировках
READER_1_1_1> FR_3000 Error opening file [C:\Informatica\PowerCenter8.6.0\server\infa_shared\SrcFiles\'R┐ ў гбваRcбвў_ C -_ Ё┐__в ┐_вЄЁ.]. Operating system error message [Не удается найти указанный файл.].
READER_1_1_1> CMN_1761 Timestamp Event: [Thu Jun 02 13:36:15 2011]
READER_1_1_1> FR_3019 Error opening file.

READER_1_1_1> FR_3000 Error opening file [C:\Informatica\PowerCenter8.6.0\server\infa_shared\SrcFiles\Том в устройстве C не имеет метки.]. Operating system error message [═х єфрхЄё  эрщЄш єърчрээ√щ Їрщы.].
READER_1_1_1> CMN_1761 Timestamp Event: [Thu Jun 02 13:36:15 2011]
READER_1_1_1> FR_3019 Error opening file.

Подскажите пожалуйста, что не так делаю?
...
Рейтинг: 0 / 0
Informatica. Организовать цикл по лог файлам
    #37291691
HallucinogenLSD
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Informatica KB Forward slash is converted to a back slash when using the Command Generate File List option with a flat file source

Problem Description

A session will fail when it has a source flat file that is configured with the Command generating file list option and the command text has a forward slash ("/") in it.

Example:
This occurs with the following command:

dir /b C:\Informatica\PowerCenter8.6\server\infa_shared\SrcFiles\*.txtRun a session with this command and it fails with the following error

INFO : (4196 | READER_1_1_1) : FR_3086 : Reading input filenames from standard output of the shell command [dir \b C:\Informatica\PowerCenter8.6\server\infa_shared\SrcFiles\*.txt].
INFO : (4196 | READER_1_1_1) : CMN_1937 : [SQ_jaco] Starting shell command [dir \b C:\Informatica\PowerCenter8.6\server\infa_shared\SrcFiles\*.txt].
INFO : (4196 | READER_1_1_1) : CMN_1942 : [SQ_jaco] Redirected standard error of the shell command to temporary file [C:\Informatica\PowerCenter8.6\server\infa_shared/Temp/iPmCmd55_7_0_826].
INFO : (4196 | READER_1_1_1) : CMN_1951 : [SQ_jaco] Started shell command [dir \b C:\Informatica\PowerCenter8.6\server\infa_shared\SrcFiles\*.txt]. Process id is 2428.
INFO : (4196 | READER_1_1_1) : CMN_1948 : [SQ_jaco] Process id 2428. The shell command completed successfully.
INFO : (4196 | READER_1_1_1) : CMN_1954 : [SQ_jaco] Process id 2428. Standard output and error:
File Not Found

The command is converted to the following at session run time:

dir \b C:\Informatica\PowerCenter8.6\server\infa_shared\SrcFiles\*.txtThe file infa_shared/Temp/iPmCmd55_7_0_826 does not actually exist after the session run.


Cause

This is a known issue (CR 191249) with PowerCenter on Windows.


Workaround

Create a batch script to wrap the command and set the command as the name of the batch file.

Example:
In this example the following can be used in the batch file:

@echo offcd C:\Informatica\PowerCenter8.6\server\infa_shared\SrcFilesdir /b ff*.txt
...
Рейтинг: 0 / 0
Informatica. Организовать цикл по лог файлам
    #37293023
SpellBuilder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HallucinogenLSD,
Получилось.

Спасибо всем откликнувшимся и направившим на путь истинный.
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
Informatica. Организовать цикл по лог файлам
    #39625995
шкафчик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А можно как-то указать динамическое имя файла, который нужно прочитать?
Например в папке источника будет лежать несколько файлов за разные даты, а нужно взять допустим за сегодняшнюю дату?

Нельзя как-то смастерить динамическое имя с помощью сисдэйт и конкатенации?

file20180402.csv
file20180403.csv
file20180405.csv
...
Рейтинг: 0 / 0
14 сообщений из 14, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Informatica. Организовать цикл по лог файлам
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]