|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
Работаю в одном из отделов холдинга. В холдинг входят разные предприятия, разбросанные территориально по всей стране. На каждом предприятии используется различное программное обеспечение, различные СУБД, ОС и т.д. Хочется автоматизировать сбор информации от этих предприятий наверх в центральный офис холдинга. Интересует, как это лучше организовать. Пока вижу такое решение задачи: 1. Обмен информации производить путем автоматизации выгрузки на предприятиях из их существующих программных комплексов текстовых файлов (csv) в унифицированном виде (предоставить всем необходимую структуру текстовых файлом, описание столбцов). 2. Текстовые файлы передавать по почте в виде архива с паролем на E-mail центрального офиса. 3. В центральном офисе каким-то образом извлекать из почтового ящика данную информацию и загружать её в СУБД. 4. Сделать WEB-страничку с необходимыми отчетами. Хочется обратить внимание на то, что на предприятиях: 1. Разное ПО 2. Выход через прокси в инет (вряд ли дадут что-то там настраивать) 3. Разные ОС Можете дать совет, как лучше решить такую задачу, может, есть готовые решения? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2011, 16:32 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
Vad72, похожая тема ... |
|||
:
Нравится:
Не нравится:
|
|||
08.08.2011, 19:32 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
vill_ager, читал до создания темы ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2011, 14:21 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
интересует, может лучше передавать не в текстовом файле, а в чем-то другом. Если по почте, то чем лучше из почтового ящика извлекать. Чем и как лучше шифровать файл. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2011, 14:37 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
Vad72интересует, может лучше передавать не в текстовом файле, а в чем-то другом. Если по почте, то чем лучше из почтового ящика извлекать. Чем и как лучше шифровать файл. Excel - не нужно ПО для "поставщика" информации, можно тупо руками заполнять и отсылать (по крайней мере для начала, потом можно и генерить XLS программно) смотря на чем писать - думаю библиотек для работы с почтой хватает то же и про шифровку ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2011, 15:35 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
Vad72, в порядке сложности: - от гугла В чем делают бланки анкет? - xml на фтп - репликация между БД ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2011, 16:07 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
Vad72, Готовое решение называется "миддлварная СУБД". Если не хочется, то да, через RDF или на худой конец через XML, или совсем уж с зелёной тоски через CSV. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.08.2011, 23:37 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
Vad72Можете дать совет, как лучше решить такую задачу, может, есть готовые решения? Ээ.... это как бы сверхстандартная задача последних десяти лет. Минимум половина проектов любого системного интегратора полностью или в значительной степени посвящена решению именно этой задачи, и Ваше "вижу", не обижайтесь, вызывает некоторое умиление... примерно как зрелище ребёнка, сосредоточенно изготавливающего для мишки деревянный велосипед. Готовых решений для такого случая нет и быть не может, а вот инструментов и наработок - воз и маленькая тележка. Как лучше... большой вопрос. Лучше для начала составить хорошее ТЗ и определиться с бюджетом. Дальше как в анекдоте - клиент покажет бюджет, все весело посмеются и начнём говорить серьёзно :) ... |
|||
:
Нравится:
Не нравится:
|
|||
19.08.2011, 19:41 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
бюджета нет и не будет - эта задача должна быть решена силами существующих сотрудников в холдинге, а именно мною. Думаю, буду приступать следуя своему первоначальному плану. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2011, 16:29 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
Vad72бюджета нет и не будет - эта задача должна быть решена силами существующих сотрудников в холдинге, а именно мною. Думаю, буду приступать следуя своему первоначальному плану. Vad72Хочется автоматизировать сбор информации от этих предприятий наверх в центральный офис холдинга. 1. Обмен информации производить путем автоматизации выгрузки на предприятиях из их существующих программных комплексов текстовых файлов (csv) в унифицированном виде (предоставить всем необходимую структуру текстовых файлом, описание столбцов). Если не выстроить требования к системе показателей сверху-вниз, то вероятность получения нужно результата очень низка. Если это только "вам" хочется откуда уверенность что они будут вам информацию в таком виде предоставлять, а даже если и будут то кто будет нести ответственность за своевременность и корректность этих данных. Без административных мероприятий, регламентов и "кнута" не обойтись. А так сценарий вполне рабочий. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2011, 16:59 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
я понимаю, что первый шаг - это детальное описание структуры файлов, которые должны передаваться. Причем эти файлы должны формироваться и передаваться автоматом из существующих систем (я это вижу как обычное задание в Планировщике задач, будь-то ОС или СУБД). ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2011, 17:04 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
DinamoБез "кнута" не обойтись. Тут Вы правы. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2011, 17:05 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
Vad72, Позволю себе для начала задать несколько уточняющих вопросов: 1) Крупный холдинг не имеет решения по консолидации данных или хранилище? Или у Вас каждый отдел строит своё "хранилище" и Вы из одного из таких отделов? Попробуйте узнать, возможно, такая система уже существует и в рамках её можно собирать необходимые данные. 2) как упомянул Dinamo - "Если не выстроить требования к системе показателей сверху-вниз, то вероятность получения нужно результата очень низка". Надо начинать с бизнес-требований - т.е. описать те отчеты, которые нужны центру. Затем понять, какие данные нужны для этих отчетов. Затем, спроектировать логическую модель, после физическую. Затем запрашивать эти данные из филиалов. Проще всего, чтобы филиалы сами выгружали их на FTP. Таким образом, Вам будет все равно какая учетная система, СУБД и ОС в филиале. Необходимо описать политику контроля качества данных, порядок обновлений/инкрементов, НСИ, подсистему метаданных, ETL и кучу всего, что свойственно хранилищу =) тут вопрос не в технических фишках. Построение хранилища - это многогранный и долгий процесс, лишь на 20-30% зависящий от технических тонкостей. Всё нужно регламентировать и отшлифововать, чтобы работало как часы. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.09.2011, 16:48 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
samatom1) Крупный холдинг не имеет решения по консолидации данных или хранилище? Пока нет. У нас не отделы, а департаменты (от 2 до 20 человек). Каждый департамент отвечает за определенное направление (энергетика, металл, строительство, аграрный сектор, и т.д.) ... |
|||
:
Нравится:
Не нравится:
|
|||
06.09.2011, 16:57 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
Vad72, Для информации - более 70% проектов по построению хранилищ загибаются из-за отсутствия приемлемых/корректных/точных бизнес-требований. Вам необходимо по максимуму выжать из внутренних заказчиков бизнес-требования. Как уже писал - "Надо начинать с бизнес-требований - т.е. описать те отчеты, которые нужны центру. Затем понять, какие данные нужны для этих отчетов. Затем, спроектировать логическую модель, после физическую. Затем запрашивать эти данные из филиалов." Нужно выяснить, в каком формате им нужны отчеты - Excel, Word, PDF, web-интерфейс и т.д. Уточнить требования ко времени формирования отчетов. Выяснить характер данных - детальные или сводные. По максимуму извлечь бизнес-требования. От этого зависит: 1) Системные требования к хранилищу -> выбор платформы. 2) Обеспечение максимально простого, понятного и прозрачного, доступа к данным для пользователей 3) Стомость всех работ, их продолжительность. Дальнейшие затраты на сопровождение. Немаловажны работы по оценке требований к производительности, дисковому пространству, ежедневным инкрементам. +политика резервного копирования +соглашение об уровне обслуживания. Хотя, если нет бюджета, и нет возможности привлечь внешних консультантов - единственное, могу рекомендовать выкладывать на форум частные вопросы (и это в холдинге(!)). Люди здесь отзывчивые. Грязью польют, но всё равно помогут =) Ваши заказчики должны более-менее четко себе представлять, какая информация им нужна, сколько прибыли им даст своевременное получение качественных консолидированных и очищенных данных. Сколько прибыли/клиентов/абонентов/пациентов они упускают из-за того, что оперативно не видят картины происходящего и не могут подстраиваться под конъюнктуру рынка. Исходя из этих цифр они могут понимать, на какого уровня проект/систему они могут расчитывать и в какие сроки (т.е. стоит овчинка выделки или нет). Как правило, для начала делают пилотный проект - нравится, продолжают, нет - так нет. Организация должна ещё дорасти до такого уровня - где DWH, MIS, DSS и прочее - основной стратегический инструмент управленца. В целом 100% согласен с softwarer (без обид): "примерно как зрелище ребёнка, сосредоточенно изготавливающего для мишки деревянный велосипед". ... |
|||
:
Нравится:
Не нравится:
|
|||
06.09.2011, 23:43 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
Vad72, в общем, FTP Вам в помощь. Данные, в утвержденном формате, пусть выкладывают сами регионы. Если они не захотят писать конверторы-выгружалки, то пусть выкладывают дампы баз в zip, а Вы их будете сами крутить-вертеть. Выполняете первоначальное наполнение, а далее ночными джобами льёте данные в БД. Инструментов - куча. Лучшие из них - те, которые Вы знаете лучше других. PS: легко другим давать советы, но не себе - это я про себя) ... |
|||
:
Нравится:
Не нравится:
|
|||
06.09.2011, 23:56 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
samatomVad72, Организация должна ещё дорасти до такого уровня - где DWH, MIS, DSS и прочее - основной стратегический инструмент управленца. Золотые слова. Каждый год руководство поднимает вопрос о том, как можно повысить эффективность и т.д. Каждый год или еще чаще я пишу служебные записки, где предлагаю организовать, хотя бы пилот, что-то похожее на DWH. Но сдвигов нет. Каждое утро я получаю очередную порцию адреналина и удар по моей нервной системе, когда сотрудники департамента в телефонном режиме обзванивают коммерческих директоров!!!, отнимают их время, тратят своё, расходуют деньги на телефонные разговоры, чтобы спросить какую-то информацию. Причем каждый день одно и то же. Или просят прислать какую-то информацию, те присылают кто в ворде, кто екселе, ни стандартов, ни шаблонов, а затем просят тебя свести всё к одной табличке. Когда говорю, что нет каких-то цифр, просят поставить что-то с потолка, ну и т.д. Просто обидно, что когда «смениться власть», придут новые люди и будут тебя носом как шкодливого котенка тыкать и учить, как всё должно быть. Всем большое спасибо за советы. Если начну этот «проект», то пока на бумаге не будет полного описания, приступать к реализации не буду. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.09.2011, 10:07 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
Vad72, > Если начну этот «проект», то пока на бумаге не будет полного описания, приступать к реализации не буду. ну это мб и зря, тк полностью обрисовать задачу и сказать вам что нужно сделать руководство вам никогда не скажет, сами вы задачу в полном объеме тоже не сформулируете, да и время займет много, а результата не видно - не поймут чем вы заняты жа и резона вам мало. мб лучше прикинуть в общем что да как, разделить на части, определить минимально необходимый функционал, реализация которого позволит начать работать с вашей КИС ) кстати, название как в мульте - надо сразу дать суровое ) затем начнет работать, рук. глянет оценит им конечно понравиться (как вы и писали им полюбому неохота висеть на телефоне и с кого-то требовать цифру, лучше кнопку нажал глянул - если контора гос то позвонил наказал подчиненных что бы вату не катали :D ) - тут однозначно требуете повышение зп и подключения административного ресурса для дальнейшей выработки ТЗ и мер по соблюдению сроков ввода инф в вашу базу - ну и все, Вы - капитальный красаучык и ценный сотрудник ) ... |
|||
:
Нравится:
Не нравится:
|
|||
07.09.2011, 10:51 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
Vad72, сделайте демку или презентацию руководству. Без _прямой_ поддержки руководства - бесполезно. Известный факт. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.09.2011, 11:19 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
Petro123Vad72, сделайте демку или презентацию руководству. Основной акцент нужно делать на ценности для бизнеса: - снижения рисков связанных с предоставлению некорректной информации; - снижении затрат связанных со сбором и обработкой информации. Список мер как административных так и технических. Техническую часть подробно не описывайте, достаточно на уровне краткой концепции. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.09.2011, 13:34 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
DinamoPetro123Vad72, сделайте демку или презентацию руководству. Основной акцент нужно делать на ценности для бизнеса: - снижения рисков связанных с предоставлению некорректной информации; - снижении затрат связанных со сбором и обработкой информации. Список мер как административных так и технических. Техническую часть подробно не описывайте, достаточно на уровне краткой концепции. Я с интернета скачал информацию по DWH, все кратко и красиво описал в служебной записке, но ... Мое мнение, что люди боятся, то некоторым сотрудникам не чего будет делать после того, когда вся необходимая информация для топ-менеджеров будет на внутреннем веб-сайте холдинга без их участия. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.09.2011, 14:52 |
|
Сбор информации в унифицируемом виде
|
|||
---|---|---|---|
#18+
Vad72Мое мнение, что люди боятся, то некоторым сотрудникам не чего будет делать после того, когда вся необходимая информация для топ-менеджеров будет на внутреннем веб-сайте холдинга без их участия. Гм... вообще то это и есть часть бизнес обоснования снижения затрат и снижения рисков - сокращение ненужного персонала и снижение "трансакционных" издержек за счет уменьшения звеньев в цепочке передачи информации между заказчиком и исполнителем. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.09.2011, 15:45 |
|
|
start [/forum/topic.php?fid=33&msg=37385930&tid=1547981]: |
0ms |
get settings: |
8ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
31ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
53ms |
get tp. blocked users: |
1ms |
others: | 324ms |
total: | 447ms |
0 / 0 |