powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Достоверность информации в АСУ
18 сообщений из 18, страница 1 из 1
Достоверность информации в АСУ
    #35805663
vvp11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Здравствуйте,
хотелось бы узнать мнение участников форума
по обеспечению высокого уровня достоверности информации при автоматизации
некой предметной области.
Ошибки могут содержаться как в текстах программ, так и во входной информации, часто в больших
системах при изменении логики одного процесса страдают несколько других и т.п.
До определенного уровня с этим можно справляться встраиванием мелких проверок,
но со временем встает вопрос о некой подсистеме обеспечения достоверности для учетных систем.
Хотелось бы узнать чей-то практический опыт, и если кто-то знает работы(статьи) по данной тематике - с удовольствием бы ознакомился.
...
Рейтинг: 0 / 0
Достоверность информации в АСУ
    #35805752
Mainframe_старый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
достоверность - это соответсвие между реальным миром и ИС. (Ну или между двумя ИС, если данные нужно ерплицировать). Иногда используется термин актуальность. Т.е. любые данные в ИС джолжны соответствовать данным реального мира. Как обеспечить? Есть разные подходы и хи можно совместно
1. если задача позвоялет, можно на уровне метаописания ограничений, отношений между понятиями и т.п. т.е. в реальности должно быть выполненно какое-то ограничение, занчит и в ИС не должно нарушаться, это помогает не допускать некоторого нарушения достоверности. Но скорее косвенно, а не напрямую
2. главное, это то, как используются данные. Если они используются для ввода, хранения и отчеты сдать, то они будут не достоверны с большой вероятностью . Если данные работабют, т.е. на их основе выполняются какие-то процедуры в реальном времени, например, человека перевели уже в другой отдел, а в базе не провели (т.е. в базе данные уже не акутальные), и ему не выдают ключи от нового помещения. Тогда шансов на акутальную информацию больше. Или, например, данные по успеваемости - когда считают стипендию - автоматически - то данные хорошо актуализируются, но только для успевающих. В ммоент печати приложеняи к диплому - тоже акутальность хорошо выправляется. НО остальные данные (т.е. неуспевающие и не дошедшие еще до диплома) имеют много шансов иметь неактуальную успеваемость.
3. акутальность повышается и если много связей между понятиями (сущностями). Одни связи позволяют выявить часть неакутальных данных, другие - другую часть...
4. Ну и некоторые успех может принести публикация данных в ощем или огарниченном доступе .. тогда больеш глаз может увидеть несоответствие.
...
Рейтинг: 0 / 0
Достоверность информации в АСУ
    #35805766
Mainframe_старый
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
пол вопросам качества в целом и по достверности в частности есть хорошие статьи Wand , Wang
Kahn, B., Strong, D., Wang, R. Information Quality Benchmarks: Product and Service Performance//Communications of the ACM, April 2002. Vol. 45, #20. pp. 184-192
Wand Y., Wang, R. Anchoring Data Quality Dimensions in Ontological Foundations//Communications of the ACM. – 1996.- November.- pp. 86-95.
Wang R., Ziad M., Lee Y.W. Data Quality. Kluwer 2001. p.167.
Wand Y., Weber R. An ontological model of an Information System//IEEE Trans. Soft. Eng. 16, 11. – 1990. - pp. 1282-1292.
...
Рейтинг: 0 / 0
Достоверность информации в АСУ
    #35806007
vvp11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Огромное спасибо за ссылки на работы,
будем изучать.
...
Рейтинг: 0 / 0
Достоверность информации в АСУ
    #35807087
buchhalter
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vvp11но со временем встает вопрос о некой подсистеме обеспечения достоверности для учетных систем. Ой, как глубоко ты полез... :))
vvp11До определенного уровня с этим можно справляться встраиванием мелких проверокПо достижении "определенного уровня" возникнет следующая идея: проверять достоверность тех самых "проверок" :))

Готов к этому? А?
:))

P.S. а весь прикол в том, что ни один мальчик-аудитор из тех (сколько их там осталось?) "Больших Аудиторских Компаний" ни в жисть не докопается даже до "первого уровня"!!!

так что это скорее задача для "потешить своё самолюбие"...
:))
...
Рейтинг: 0 / 0
Достоверность информации в АСУ
    #35807531
vvp11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторПо достижении "определенного уровня" возникнет следующая идея: проверять достоверность тех самых "проверок" :))
Согласен, контроль может пропускать неверные результаты и отсекать верные с некой вероятностью
Весь вопрос в величине этой вероятности

авторP.S. а весь прикол в том, что ни один мальчик-аудитор из тех (сколько их там осталось?) "Больших Аудиторских Компаний" ни в жисть не докопается даже до "первого уровня"!!!
У них такой задачи нет, есть план, они ему следуют, судя по моему опыту общения с ними
Вас же при сдаче на права не просят выполнить скоростной объезд препятствия, хотя в жизни оно полезно
автортак что это скорее задача для "потешить своё самолюбие"...
Задача исследовательская, поэтому и интересен практический опыт участников форума и ссылки на публикации по теме. Насчет практической пользы - для внедренца ее нет, он работу выполнил и ушел на следующий проект. Для поддерживающих и дорабатывающих проект это может быть интересно.
...
Рейтинг: 0 / 0
Достоверность информации в АСУ
    #35858063
...
Рейтинг: 0 / 0
Достоверность информации в АСУ
    #35858224
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
много текста и ненужных формул
...
Рейтинг: 0 / 0
Достоверность информации в АСУ
    #35858421
Фотография AlexandrPlus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А вообще в "достоверность данных" входят:
- ошибки ввода и редактирования
- ошибки, вносимые в данные самим софтом, так как все возможные случаи обычно сразу разработчиками и тестировщиками не усматриваются и алгоритмы получаются не совсем верные для всех возможных случаев
- намеренно испорченные (например, сделанные недостоверными "корысти ради") кем-то какие-то данные, что повлекло за собой цепочку неверных данных
- ошибки, возникшие из-за модификаций софта, при которых не были учтены все связи
- ...

Это большие множества и возникают как только, то сразу.

Есть ошибки, специфичные для очень больших баз данных при репликациях, при синхронизациях, ..., но это уже как бы другой уровень.
...
Рейтинг: 0 / 0
Достоверность информации в АСУ
    #35859058
Bely
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
iscrafmмного текста и ненужных формул"Ненужные" формулы - полезны для тех, кто хочет сам писать функции нечеткого поиска.
Текста не так уж и много, даже картинки есть :)

Но охватывается только один аспект: Поиск дубликатов через нечеткий поиск.
...
Рейтинг: 0 / 0
Достоверность информации в АСУ
    #35870711
vvp11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Рад, что тема вызвала интерес среди пользователей форума.
Этой темой интересуюсь около 2-х лет, но в активе только собственный опыт
и знания, почерпнутые из рекомендаций для разработчиков еще советских времен.
В то время использовался аппаратный контроль, сейчас же все советы для подобных схем
переносятся на программные средства.
Хотя как тогда, так и сейчас основой являются организационные методы контроля.
...
Рейтинг: 0 / 0
Достоверность информации в АСУ
    #36014280
Dmitry Zh
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
То, что вам нужно, называется "Data Quality". Для русского языка наиболее используемыми являются продукты HFLabs и SOAP-сервисы DataQ. Также продукты по этой теме есть у IBM, Oracle, SAS, Informatica. На счет уровня поддержки ими русского языка и нашей специфики нужно изучать, но официально она декларируется.
...
Рейтинг: 0 / 0
Достоверность информации в АСУ
    #36494904
pnfg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dmitry Zh,

Informatica Data Quality отлично работает с русским языком у них есть несколько реализованных в России проектов. И по скорости работы и разработки процессов значительно превосходит HFLabs (знакомые рассказывали), но стоит дороже. Если не ошибаюсь, то HFLabs используют только собственные справочники и в основном расчитаны на очистку клиентских данных, а Informatica более универсальное средство...
...
Рейтинг: 0 / 0
Достоверность информации в АСУ
    #36495272
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vvp11,

Возможно, имеет смысл почитать про методы ETL в разных BI, OLAP, хранилищах и т.п.
Аспект "чистки" данных там иногда описан достаточно подробно и с хорошими примерами (я уже конкретные ссылки не вспомню, рылся несколько лет назад).
...
Рейтинг: 0 / 0
Достоверность информации в АСУ
    #36495614
Фотография А6дуллаh3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Какой позор, в топик налезли ETL-щики и DataQuality-исты, даже не вчитавшись в стартовый пост :)

По теме - научная верификация кода (которая дороже самого кода, см. опыт аппаратных и космических программистов) + оргметоды, т.е. регулярное сравнение состояния в системе + состояния отражаемой ей действительности, померянного независимо от системы. Регулярная коррекция по результату.
...
Рейтинг: 0 / 0
Достоверность информации в АСУ
    #36495794
guest_20040621
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
> Этой темой интересуюсь около 2-х лет, но в активе только собственный опыт

Нет желания поделиться?

> В то время использовался аппаратный контроль, сейчас же все советы для подобных схем переносятся на программные средства.

Часть ответа на ваш вопрос в вашем вопросе уже есть. Если известны источники, вероятности и характер ошибок, все просто. Но достоверность imho более широкое понятие. Ошибаюсь?
...
Рейтинг: 0 / 0
Достоверность информации в АСУ
    #36498007
Mit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Статья на cnews по теме топика
...
Рейтинг: 0 / 0
Достоверность информации в АСУ
    #36498033
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mit Статья на cnews по теме топика

статьяОпределение, насколько типичными или статистически релевантными являются данные, помогает нам оценивать общее качество анализа и указывает на недостатки аналитической модели или скрытые взаимосвязи в данных
с типичностостью и статистической релевантностью только погоду предсказывать. Если система "нетипичное" повышение влажности сочтет за мусор? Или там что-то другое имеется ввиду (нюансы перевода)?
...
Рейтинг: 0 / 0
18 сообщений из 18, страница 1 из 1
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Достоверность информации в АСУ
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]