Гость
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Сбор информации в унифицируемом виде / 23 сообщений из 23, страница 1 из 1
08.08.2011, 16:32
    #37385580
Vad72
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
Работаю в одном из отделов холдинга. В холдинг входят разные предприятия, разбросанные территориально по всей стране. На каждом предприятии используется различное программное обеспечение, различные СУБД, ОС и т.д.

Хочется автоматизировать сбор информации от этих предприятий наверх в центральный офис холдинга.

Интересует, как это лучше организовать.

Пока вижу такое решение задачи:

1. Обмен информации производить путем автоматизации выгрузки на предприятиях из их существующих программных комплексов текстовых файлов (csv) в унифицированном виде (предоставить всем необходимую структуру текстовых файлом, описание столбцов).
2. Текстовые файлы передавать по почте в виде архива с паролем на E-mail центрального офиса.
3. В центральном офисе каким-то образом извлекать из почтового ящика данную информацию и загружать её в СУБД.
4. Сделать WEB-страничку с необходимыми отчетами.

Хочется обратить внимание на то, что на предприятиях:
1. Разное ПО
2. Выход через прокси в инет (вряд ли дадут что-то там настраивать)
3. Разные ОС

Можете дать совет, как лучше решить такую задачу, может, есть готовые решения?
...
Рейтинг: 0 / 0
08.08.2011, 19:32
    #37385930
vill_ager
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
Vad72,

похожая тема
...
Рейтинг: 0 / 0
09.08.2011, 14:21
    #37387185
Vad72
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
vill_ager,

читал до создания темы
...
Рейтинг: 0 / 0
09.08.2011, 14:37
    #37387226
Vad72
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
интересует, может лучше передавать не в текстовом файле, а в чем-то другом.
Если по почте, то чем лучше из почтового ящика извлекать.
Чем и как лучше шифровать файл.
...
Рейтинг: 0 / 0
09.08.2011, 15:35
    #37387411
vill_ager
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
Vad72интересует, может лучше передавать не в текстовом файле, а в чем-то другом.
Если по почте, то чем лучше из почтового ящика извлекать.
Чем и как лучше шифровать файл.
Excel - не нужно ПО для "поставщика" информации, можно тупо руками заполнять и отсылать (по крайней мере для начала, потом можно и генерить XLS программно)
смотря на чем писать - думаю библиотек для работы с почтой хватает
то же и про шифровку
...
Рейтинг: 0 / 0
09.08.2011, 16:07
    #37387481
Petro123
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
Vad72,
в порядке сложности:
- от гугла
В чем делают бланки анкет?
- xml на фтп
- репликация между БД
...
Рейтинг: 0 / 0
16.08.2011, 23:37
    #37398614
iv_an_ru
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
Vad72,

Готовое решение называется "миддлварная СУБД". Если не хочется, то да, через RDF или на худой конец через XML, или совсем уж с зелёной тоски через CSV.
...
Рейтинг: 0 / 0
19.08.2011, 19:41
    #37404102
softwarer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
Vad72Можете дать совет, как лучше решить такую задачу, может, есть готовые решения?
Ээ.... это как бы сверхстандартная задача последних десяти лет. Минимум половина проектов любого системного интегратора полностью или в значительной степени посвящена решению именно этой задачи, и Ваше "вижу", не обижайтесь, вызывает некоторое умиление... примерно как зрелище ребёнка, сосредоточенно изготавливающего для мишки деревянный велосипед.

Готовых решений для такого случая нет и быть не может, а вот инструментов и наработок - воз и маленькая тележка. Как лучше... большой вопрос. Лучше для начала составить хорошее ТЗ и определиться с бюджетом. Дальше как в анекдоте - клиент покажет бюджет, все весело посмеются и начнём говорить серьёзно :)
...
Рейтинг: 0 / 0
02.09.2011, 16:29
    #37423226
Vad72
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
бюджета нет и не будет - эта задача должна быть решена силами существующих сотрудников в холдинге, а именно мною.
Думаю, буду приступать следуя своему первоначальному плану.
...
Рейтинг: 0 / 0
02.09.2011, 16:59
    #37423291
Dinamo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
Vad72бюджета нет и не будет - эта задача должна быть решена силами существующих сотрудников в холдинге, а именно мною.
Думаю, буду приступать следуя своему первоначальному плану.

Vad72Хочется автоматизировать сбор информации от этих предприятий наверх в центральный офис холдинга.
1. Обмен информации производить путем автоматизации выгрузки на предприятиях из их существующих программных комплексов текстовых файлов (csv) в унифицированном виде (предоставить всем необходимую структуру текстовых файлом, описание столбцов).
Если не выстроить требования к системе показателей сверху-вниз, то вероятность получения нужно результата очень низка.
Если это только "вам" хочется откуда уверенность что они будут вам информацию в таком виде предоставлять, а даже если и будут то кто будет нести ответственность за своевременность и корректность этих данных.
Без административных мероприятий, регламентов и "кнута" не обойтись.

А так сценарий вполне рабочий.
...
Рейтинг: 0 / 0
02.09.2011, 17:04
    #37423299
Vad72
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
я понимаю, что первый шаг - это детальное описание структуры файлов, которые должны передаваться. Причем эти файлы должны формироваться и передаваться автоматом из существующих систем (я это вижу как обычное задание в Планировщике задач, будь-то ОС или СУБД).
...
Рейтинг: 0 / 0
02.09.2011, 17:05
    #37423301
Vad72
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
DinamoБез "кнута" не обойтись.

Тут Вы правы.
...
Рейтинг: 0 / 0
06.09.2011, 16:48
    #37427530
samatom
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
Vad72,

Позволю себе для начала задать несколько уточняющих вопросов:
1) Крупный холдинг не имеет решения по консолидации данных или хранилище? Или у Вас каждый отдел строит своё "хранилище" и Вы из одного из таких отделов? Попробуйте узнать, возможно, такая система уже существует и в рамках её можно собирать необходимые данные.
2) как упомянул Dinamo - "Если не выстроить требования к системе показателей сверху-вниз, то вероятность получения нужно результата очень низка". Надо начинать с бизнес-требований - т.е. описать те отчеты, которые нужны центру. Затем понять, какие данные нужны для этих отчетов. Затем, спроектировать логическую модель, после физическую. Затем запрашивать эти данные из филиалов. Проще всего, чтобы филиалы сами выгружали их на FTP. Таким образом, Вам будет все равно какая учетная система, СУБД и ОС в филиале. Необходимо описать политику контроля качества данных, порядок обновлений/инкрементов, НСИ, подсистему метаданных, ETL и кучу всего, что свойственно хранилищу =)

тут вопрос не в технических фишках. Построение хранилища - это многогранный и долгий процесс, лишь на 20-30% зависящий от технических тонкостей. Всё нужно регламентировать и отшлифововать, чтобы работало как часы.
...
Рейтинг: 0 / 0
06.09.2011, 16:57
    #37427560
Vad72
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
samatom1) Крупный холдинг не имеет решения по консолидации данных или хранилище?
Пока нет.
У нас не отделы, а департаменты (от 2 до 20 человек). Каждый департамент отвечает за определенное направление (энергетика, металл, строительство, аграрный сектор, и т.д.)
...
Рейтинг: 0 / 0
06.09.2011, 23:43
    #37428112
samatom
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
Vad72,

Для информации - более 70% проектов по построению хранилищ загибаются из-за отсутствия приемлемых/корректных/точных бизнес-требований.
Вам необходимо по максимуму выжать из внутренних заказчиков бизнес-требования. Как уже писал - "Надо начинать с бизнес-требований - т.е. описать те отчеты, которые нужны центру. Затем понять, какие данные нужны для этих отчетов. Затем, спроектировать логическую модель, после физическую. Затем запрашивать эти данные из филиалов."

Нужно выяснить, в каком формате им нужны отчеты - Excel, Word, PDF, web-интерфейс и т.д. Уточнить требования ко времени формирования отчетов. Выяснить характер данных - детальные или сводные. По максимуму извлечь бизнес-требования.
От этого зависит:
1) Системные требования к хранилищу -> выбор платформы.
2) Обеспечение максимально простого, понятного и прозрачного, доступа к данным для пользователей
3) Стомость всех работ, их продолжительность. Дальнейшие затраты на сопровождение.

Немаловажны работы по оценке требований к производительности, дисковому пространству, ежедневным инкрементам. +политика резервного копирования +соглашение об уровне обслуживания.

Хотя, если нет бюджета, и нет возможности привлечь внешних консультантов - единственное, могу рекомендовать выкладывать на форум частные вопросы (и это в холдинге(!)). Люди здесь отзывчивые. Грязью польют, но всё равно помогут =)

Ваши заказчики должны более-менее четко себе представлять, какая информация им нужна, сколько прибыли им даст своевременное получение качественных консолидированных и очищенных данных. Сколько прибыли/клиентов/абонентов/пациентов они упускают из-за того, что оперативно не видят картины происходящего и не могут подстраиваться под конъюнктуру рынка. Исходя из этих цифр они могут понимать, на какого уровня проект/систему они могут расчитывать и в какие сроки (т.е. стоит овчинка выделки или нет). Как правило, для начала делают пилотный проект - нравится, продолжают, нет - так нет. Организация должна ещё дорасти до такого уровня - где DWH, MIS, DSS и прочее - основной стратегический инструмент управленца.

В целом 100% согласен с softwarer (без обид): "примерно как зрелище ребёнка, сосредоточенно изготавливающего для мишки деревянный велосипед".
...
Рейтинг: 0 / 0
06.09.2011, 23:56
    #37428123
samatom
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
Vad72,

в общем, FTP Вам в помощь. Данные, в утвержденном формате, пусть выкладывают сами регионы. Если они не захотят писать конверторы-выгружалки, то пусть выкладывают дампы баз в zip, а Вы их будете сами крутить-вертеть. Выполняете первоначальное наполнение, а далее ночными джобами льёте данные в БД. Инструментов - куча. Лучшие из них - те, которые Вы знаете лучше других.

PS: легко другим давать советы, но не себе - это я про себя)
...
Рейтинг: 0 / 0
07.09.2011, 10:07
    #37428376
Vad72
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
samatomVad72,

Организация должна ещё дорасти до такого уровня - где DWH, MIS, DSS и прочее - основной стратегический инструмент управленца.



Золотые слова. Каждый год руководство поднимает вопрос о том, как можно повысить эффективность и т.д. Каждый год или еще чаще я пишу служебные записки, где предлагаю организовать, хотя бы пилот, что-то похожее на DWH. Но сдвигов нет. Каждое утро я получаю очередную порцию адреналина и удар по моей нервной системе, когда сотрудники департамента в телефонном режиме обзванивают коммерческих директоров!!!, отнимают их время, тратят своё, расходуют деньги на телефонные разговоры, чтобы спросить какую-то информацию. Причем каждый день одно и то же. Или просят прислать какую-то информацию, те присылают кто в ворде, кто екселе, ни стандартов, ни шаблонов, а затем просят тебя свести всё к одной табличке. Когда говорю, что нет каких-то цифр, просят поставить что-то с потолка, ну и т.д.
Просто обидно, что когда «смениться власть», придут новые люди и будут тебя носом как шкодливого котенка тыкать и учить, как всё должно быть.
Всем большое спасибо за советы. Если начну этот «проект», то пока на бумаге не будет полного описания, приступать к реализации не буду.
...
Рейтинг: 0 / 0
07.09.2011, 10:51
    #37428473
koJIo6ok
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
Vad72,
> Если начну этот «проект», то пока на бумаге не будет полного описания, приступать к реализации не буду.

ну это мб и зря, тк полностью обрисовать задачу и сказать вам что нужно сделать руководство вам никогда не скажет, сами вы задачу в полном объеме тоже не сформулируете, да и время займет много, а результата не видно - не поймут чем вы заняты жа и резона вам мало.
мб лучше прикинуть в общем что да как, разделить на части, определить минимально необходимый функционал, реализация которого позволит начать работать с вашей КИС ) кстати, название как в мульте - надо сразу дать суровое ) затем начнет работать, рук. глянет оценит им конечно понравиться (как вы и писали им полюбому неохота висеть на телефоне и с кого-то требовать цифру, лучше кнопку нажал глянул - если контора гос то позвонил наказал подчиненных что бы вату не катали :D ) - тут однозначно требуете повышение зп и подключения административного ресурса для дальнейшей выработки ТЗ и мер по соблюдению сроков ввода инф в вашу базу - ну и все, Вы - капитальный красаучык и ценный сотрудник )
...
Рейтинг: 0 / 0
07.09.2011, 11:19
    #37428561
Petro123
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
Vad72,
сделайте демку или презентацию руководству.
Без _прямой_ поддержки руководства - бесполезно. Известный факт.
...
Рейтинг: 0 / 0
07.09.2011, 13:34
    #37428920
Dinamo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
Petro123Vad72, сделайте демку или презентацию руководству.
Основной акцент нужно делать на ценности для бизнеса:
- снижения рисков связанных с предоставлению некорректной информации;
- снижении затрат связанных со сбором и обработкой информации.
Список мер как административных так и технических.
Техническую часть подробно не описывайте, достаточно на уровне краткой концепции.
...
Рейтинг: 0 / 0
07.09.2011, 14:52
    #37429121
Vad72
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
DinamoPetro123Vad72, сделайте демку или презентацию руководству.
Основной акцент нужно делать на ценности для бизнеса:
- снижения рисков связанных с предоставлению некорректной информации;
- снижении затрат связанных со сбором и обработкой информации.
Список мер как административных так и технических.
Техническую часть подробно не описывайте, достаточно на уровне краткой концепции.
Я с интернета скачал информацию по DWH, все кратко и красиво описал в служебной записке, но ...
Мое мнение, что люди боятся, то некоторым сотрудникам не чего будет делать после того, когда вся необходимая информация для топ-менеджеров будет на внутреннем веб-сайте холдинга без их участия.
...
Рейтинг: 0 / 0
07.09.2011, 15:45
    #37429283
Dinamo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
Vad72Мое мнение, что люди боятся, то некоторым сотрудникам не чего будет делать после того, когда вся необходимая информация для топ-менеджеров будет на внутреннем веб-сайте холдинга без их участия.
Гм... вообще то это и есть часть бизнес обоснования снижения затрат и снижения рисков - сокращение ненужного персонала и снижение "трансакционных" издержек за счет уменьшения звеньев в цепочке передачи информации между заказчиком и исполнителем.
...
Рейтинг: 0 / 0
15.09.2011, 13:32
    #37441703
anjey
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сбор информации в унифицируемом виде
Vad72,

посмотрите http://community.pentaho.com/
там вам и ETL и BI в одном флаконе
...
Рейтинг: 0 / 0
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Сбор информации в унифицируемом виде / 23 сообщений из 23, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]