|
Достоверность информации в АСУ
|
|||
---|---|---|---|
#18+
Здравствуйте, хотелось бы узнать мнение участников форума по обеспечению высокого уровня достоверности информации при автоматизации некой предметной области. Ошибки могут содержаться как в текстах программ, так и во входной информации, часто в больших системах при изменении логики одного процесса страдают несколько других и т.п. До определенного уровня с этим можно справляться встраиванием мелких проверок, но со временем встает вопрос о некой подсистеме обеспечения достоверности для учетных систем. Хотелось бы узнать чей-то практический опыт, и если кто-то знает работы(статьи) по данной тематике - с удовольствием бы ознакомился. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.02.2009, 13:52 |
|
Достоверность информации в АСУ
|
|||
---|---|---|---|
#18+
достоверность - это соответсвие между реальным миром и ИС. (Ну или между двумя ИС, если данные нужно ерплицировать). Иногда используется термин актуальность. Т.е. любые данные в ИС джолжны соответствовать данным реального мира. Как обеспечить? Есть разные подходы и хи можно совместно 1. если задача позвоялет, можно на уровне метаописания ограничений, отношений между понятиями и т.п. т.е. в реальности должно быть выполненно какое-то ограничение, занчит и в ИС не должно нарушаться, это помогает не допускать некоторого нарушения достоверности. Но скорее косвенно, а не напрямую 2. главное, это то, как используются данные. Если они используются для ввода, хранения и отчеты сдать, то они будут не достоверны с большой вероятностью . Если данные работабют, т.е. на их основе выполняются какие-то процедуры в реальном времени, например, человека перевели уже в другой отдел, а в базе не провели (т.е. в базе данные уже не акутальные), и ему не выдают ключи от нового помещения. Тогда шансов на акутальную информацию больше. Или, например, данные по успеваемости - когда считают стипендию - автоматически - то данные хорошо актуализируются, но только для успевающих. В ммоент печати приложеняи к диплому - тоже акутальность хорошо выправляется. НО остальные данные (т.е. неуспевающие и не дошедшие еще до диплома) имеют много шансов иметь неактуальную успеваемость. 3. акутальность повышается и если много связей между понятиями (сущностями). Одни связи позволяют выявить часть неакутальных данных, другие - другую часть... 4. Ну и некоторые успех может принести публикация данных в ощем или огарниченном доступе .. тогда больеш глаз может увидеть несоответствие. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.02.2009, 14:17 |
|
Достоверность информации в АСУ
|
|||
---|---|---|---|
#18+
пол вопросам качества в целом и по достверности в частности есть хорошие статьи Wand , Wang Kahn, B., Strong, D., Wang, R. Information Quality Benchmarks: Product and Service Performance//Communications of the ACM, April 2002. Vol. 45, #20. pp. 184-192 Wand Y., Wang, R. Anchoring Data Quality Dimensions in Ontological Foundations//Communications of the ACM. – 1996.- November.- pp. 86-95. Wang R., Ziad M., Lee Y.W. Data Quality. Kluwer 2001. p.167. Wand Y., Weber R. An ontological model of an Information System//IEEE Trans. Soft. Eng. 16, 11. – 1990. - pp. 1282-1292. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.02.2009, 14:24 |
|
Достоверность информации в АСУ
|
|||
---|---|---|---|
#18+
Огромное спасибо за ссылки на работы, будем изучать. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.02.2009, 15:32 |
|
Достоверность информации в АСУ
|
|||
---|---|---|---|
#18+
vvp11но со временем встает вопрос о некой подсистеме обеспечения достоверности для учетных систем. Ой, как глубоко ты полез... :)) vvp11До определенного уровня с этим можно справляться встраиванием мелких проверокПо достижении "определенного уровня" возникнет следующая идея: проверять достоверность тех самых "проверок" :)) Готов к этому? А? :)) P.S. а весь прикол в том, что ни один мальчик-аудитор из тех (сколько их там осталось?) "Больших Аудиторских Компаний" ни в жисть не докопается даже до "первого уровня"!!! так что это скорее задача для "потешить своё самолюбие"... :)) ... |
|||
:
Нравится:
Не нравится:
|
|||
10.02.2009, 01:57 |
|
Достоверность информации в АСУ
|
|||
---|---|---|---|
#18+
авторПо достижении "определенного уровня" возникнет следующая идея: проверять достоверность тех самых "проверок" :)) Согласен, контроль может пропускать неверные результаты и отсекать верные с некой вероятностью Весь вопрос в величине этой вероятности авторP.S. а весь прикол в том, что ни один мальчик-аудитор из тех (сколько их там осталось?) "Больших Аудиторских Компаний" ни в жисть не докопается даже до "первого уровня"!!! У них такой задачи нет, есть план, они ему следуют, судя по моему опыту общения с ними Вас же при сдаче на права не просят выполнить скоростной объезд препятствия, хотя в жизни оно полезно автортак что это скорее задача для "потешить своё самолюбие"... Задача исследовательская, поэтому и интересен практический опыт участников форума и ссылки на публикации по теме. Насчет практической пользы - для внедренца ее нет, он работу выполнил и ушел на следующий проект. Для поддерживающих и дорабатывающих проект это может быть интересно. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.02.2009, 11:07 |
|
Достоверность информации в АСУ
|
|||
---|---|---|---|
#18+
много текста и ненужных формул ... |
|||
:
Нравится:
Не нравится:
|
|||
09.03.2009, 14:21 |
|
Достоверность информации в АСУ
|
|||
---|---|---|---|
#18+
А вообще в "достоверность данных" входят: - ошибки ввода и редактирования - ошибки, вносимые в данные самим софтом, так как все возможные случаи обычно сразу разработчиками и тестировщиками не усматриваются и алгоритмы получаются не совсем верные для всех возможных случаев - намеренно испорченные (например, сделанные недостоверными "корысти ради") кем-то какие-то данные, что повлекло за собой цепочку неверных данных - ошибки, возникшие из-за модификаций софта, при которых не были учтены все связи - ... Это большие множества и возникают как только, то сразу. Есть ошибки, специфичные для очень больших баз данных при репликациях, при синхронизациях, ..., но это уже как бы другой уровень. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.03.2009, 16:46 |
|
Достоверность информации в АСУ
|
|||
---|---|---|---|
#18+
iscrafmмного текста и ненужных формул"Ненужные" формулы - полезны для тех, кто хочет сам писать функции нечеткого поиска. Текста не так уж и много, даже картинки есть :) Но охватывается только один аспект: Поиск дубликатов через нечеткий поиск. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.03.2009, 10:33 |
|
Достоверность информации в АСУ
|
|||
---|---|---|---|
#18+
Рад, что тема вызвала интерес среди пользователей форума. Этой темой интересуюсь около 2-х лет, но в активе только собственный опыт и знания, почерпнутые из рекомендаций для разработчиков еще советских времен. В то время использовался аппаратный контроль, сейчас же все советы для подобных схем переносятся на программные средства. Хотя как тогда, так и сейчас основой являются организационные методы контроля. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.03.2009, 10:29 |
|
Достоверность информации в АСУ
|
|||
---|---|---|---|
#18+
То, что вам нужно, называется "Data Quality". Для русского языка наиболее используемыми являются продукты HFLabs и SOAP-сервисы DataQ. Также продукты по этой теме есть у IBM, Oracle, SAS, Informatica. На счет уровня поддержки ими русского языка и нашей специфики нужно изучать, но официально она декларируется. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.05.2009, 19:01 |
|
Достоверность информации в АСУ
|
|||
---|---|---|---|
#18+
Dmitry Zh, Informatica Data Quality отлично работает с русским языком у них есть несколько реализованных в России проектов. И по скорости работы и разработки процессов значительно превосходит HFLabs (знакомые рассказывали), но стоит дороже. Если не ошибаюсь, то HFLabs используют только собственные справочники и в основном расчитаны на очистку клиентских данных, а Informatica более универсальное средство... ... |
|||
:
Нравится:
Не нравится:
|
|||
01.03.2010, 14:47 |
|
Достоверность информации в АСУ
|
|||
---|---|---|---|
#18+
vvp11, Возможно, имеет смысл почитать про методы ETL в разных BI, OLAP, хранилищах и т.п. Аспект "чистки" данных там иногда описан достаточно подробно и с хорошими примерами (я уже конкретные ссылки не вспомню, рылся несколько лет назад). ... |
|||
:
Нравится:
Не нравится:
|
|||
01.03.2010, 16:37 |
|
Достоверность информации в АСУ
|
|||
---|---|---|---|
#18+
Какой позор, в топик налезли ETL-щики и DataQuality-исты, даже не вчитавшись в стартовый пост :) По теме - научная верификация кода (которая дороже самого кода, см. опыт аппаратных и космических программистов) + оргметоды, т.е. регулярное сравнение состояния в системе + состояния отражаемой ей действительности, померянного независимо от системы. Регулярная коррекция по результату. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.03.2010, 18:59 |
|
Достоверность информации в АСУ
|
|||
---|---|---|---|
#18+
> Этой темой интересуюсь около 2-х лет, но в активе только собственный опыт Нет желания поделиться? > В то время использовался аппаратный контроль, сейчас же все советы для подобных схем переносятся на программные средства. Часть ответа на ваш вопрос в вашем вопросе уже есть. Если известны источники, вероятности и характер ошибок, все просто. Но достоверность imho более широкое понятие. Ошибаюсь? ... |
|||
:
Нравится:
Не нравится:
|
|||
01.03.2010, 21:50 |
|
Достоверность информации в АСУ
|
|||
---|---|---|---|
#18+
Статья на cnews по теме топика ... |
|||
:
Нравится:
Не нравится:
|
|||
02.03.2010, 18:01 |
|
Достоверность информации в АСУ
|
|||
---|---|---|---|
#18+
Mit Статья на cnews по теме топика статьяОпределение, насколько типичными или статистически релевантными являются данные, помогает нам оценивать общее качество анализа и указывает на недостатки аналитической модели или скрытые взаимосвязи в данных с типичностостью и статистической релевантностью только погоду предсказывать. Если система "нетипичное" повышение влажности сочтет за мусор? Или там что-то другое имеется ввиду (нюансы перевода)? ... |
|||
:
Нравится:
Не нравится:
|
|||
02.03.2010, 18:17 |
|
|
start [/forum/topic.php?fid=33&fpage=34&tid=1548365]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
42ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
47ms |
get tp. blocked users: |
1ms |
others: | 309ms |
total: | 440ms |
0 / 0 |