powered by simpleCommunicator - 2.0.43     © 2025 Programmizd 02
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / как бороться с дубликатами в справочниках
19 сообщений из 69, страница 3 из 3
как бороться с дубликатами в справочниках
    #34595744
dev98
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Александр Гoлдун TUnknownВопрос касается не разработки, а поддержки, но всё же спрошу здесь.

Более продуманная разработка может упростить поддержку.
TUnknown
Программа может ругнуться при дубликате, но его не всегда просто отловить когда слово написано с ошибкой. Нужно операторов дисциплинировать административными мерами, т.к. технических недостаточно.
Дарю бесплатно техническую идею:

к сведенbю....просто строки не очем не говорят пользователю (Usablity
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34595886
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Раз уж вытащили и дали прочитать старый топик, хотел бы обратить внимание на один принципиальный момент:

gardenmanА вообще больших справочниках количество подобных ляпов пропорционально качеству с которым сделан нечеткий (быстрый по нескольким первым буквам) поиск контрагентов.Если юзеру легче завести новую строку в справочнике чем поискать существующего клиента - то он так и будет делать.
В этой формулировке подразумевается одна большая неприятность - пользователю дается выбор "искать или не искать". Если сделать так - можно быть уверенным, что кто-то где-то будет "не искать", а тем, кто таки будет искать, интерфейс окажется неудобен.

Для ввода в такой ситуации "поиск и ввод нового, если не нашли" - должно быть одной операцией. То есть - пользователь начинает заполнять реквизиты, а интерфейс предлагает ему что-то вроде autocomplete, то есть сокращающийся список "совпадающего/похожего" с возможностью выбрать. Если похожего нет, пользователь просто продолжает ввод.

У меня к сожалению сейчас нет возможности привести скриншоты, делал на прежней работе, выглядело примерно так:

- в стартовый момент времени в форме вверху основные атрибуты физ. лица, внизу грид
- пользователь заполняет атрибуты, в гриде выборка фильтруется сообразно введенному
- если грид пустеет или пользователь ничего не выбирает, грид исчезает, открывая интерфейс ввода кучи дополнительной информации
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34612504
Alexsalog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тоже думал об этом. И вот че наработал:

1) Дубликаты организаций четко убиваются проверкой уникальности ИНН. Сам ИНН можно проверять на длину и прочие признаки вменяемости.

2) ФИО... тут несколько вариантов. Если однозначная идентификация имеет знаяение в данном виде расчетов (отношений с организацией), то значит и за пределами компьтерной программы проблема идентификации физического лица решена тем или иным способом. Заводится ли лицевой счет, номер договора ли (как в Банках), используются ли иные характеристики - финансовая дисциплина уже об этом позаботилась и постановщику задачи разрабатывающему соответсвующий "справочник" нужно только увидеть или узнать или подойти и спросить. Потом названные ему ключевые параметры ввести справочник и обеспечить по ним контроль уникальности и поиск.

3) Номенклатура. Вот это трудно.
У нас в конторе целая "капец какая процедура" по централизованному ведению справочника номенклатуры. И ужас что творится. Номенклатура - это проблема. Начиная с того, что один и тот же предмет можно именовать по разному.
Даже предложить что то трудно.

А с другой строны "Домик" для кошки и "Домик" для директора , а также "Стул" и "Стул" несмотря на похожесть названий могут иметь астронамически далекую стоимость и прочие характеристики и, таким образом, слова, название могут не иметь никакого значения вообще!

Мог бы помочь семантический классификатор. Знаете игрушка такая есть. Маленькая такая штучка размером с тамагочи. Задает вопросы. И через 10 вопросов отгадывает слово:
- это железное?
- это тяжолое?
- это ездит?
- это ТАНК?
ДА!

таким образом понятие в справочнике - это суть координата в n-мерном пространстве характеристик. Характеристики привязаны к бизнес процессам итаким образом защищают от хулиганства.

А вообще, для всех случае еще хорошо правило: прикосновение к справочнику имеет только тот человек, кторый заводит в него понятия и который имеет на это право и должен это делать в силу места которой он занимет в маршруте бизнес-процесса. Как правило, фактически, на проактике - т.е. в настоящей жизни,а не в программе - мест возникновения понятий в учетной системе - раз два и обчелся.
В случае с номенклатором - это место человека, который даже не ведет приемку товара, а который делает заказ и планирует закупку .
И дальше делается интересный ход. Все другие бухгалтера уже не имею достпак справочнику вообще ! Они не видят такой сущности как справочник и не могут из него выбирать данные или названия когда формируют строчки в документах.
Бухгалтер осуществляющий приемку товара, который поступил в соответствие с заказом - видит строчки заказа и проставляет соответствие ИМ а не записям справочника. Бухгалтер, который СПИСЫВАЕТ товар видит только ОТСТАТКИ и выбирает информацию из них. И т.д.

В случае ФИО - это место первого контакта с новым человеком. В дальнейшем все работают с сущностной единицей определяющей уже оформленные отношения с человеком (персоной, как в инглише) - договором, лицевым счетом, карточкой и прочее - даже уже не имея доступа к ПОНЯТИЮ "справочник".
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34612894
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexsalog1) Дубликаты организаций четко убиваются проверкой уникальности ИНН. Сам ИНН можно проверять на длину и прочие признаки вменяемости.

не четко. Дубли ИНН возможны и реально существуют. Допустим КПП разные.
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34624942
AlexTheRaven
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть целая область Data Cleaning, и есть, например, компания Human Factor Labs , которая решает борется с дубликатами за деньги (не маленькие), и даже инструменты специальные для этого пишет.
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34625131
Фотография iscrafm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AlexTheRavenборется с дубликатами за деньги (не маленькие), и даже инструменты специальные для этого пишет.
инструмент называется "оператор". а немаленькие деньги зависят от объема данных и соответственно количества операторов, которые будут эту кучу разгребать.
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34685735
krivz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
На личном опыте убедился что побороть дубликаты в справочниках с помощью програмных средств эффективны только на половину (на меньшую половину :) ). Только административно-технические средства могут привести к наиблее ожидаемому результату. Особенно это касается распределённых баз данных... где в разных перифериных базах могут в пределах одного сеанса обмена ввести несколько одинаковых по смыслу записей...
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34685775
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
krivzТолько административно-технические средства могут привести к наиблее ожидаемому результату.
Что именно Вы включаете в "административно-технические"?

krivz Особенно это касается распределённых баз данных... где в разных перифериных базах могут в пределах одного сеанса обмена ввести несколько одинаковых по смыслу записей...
Для этого пишется соответствующий регламент, если угодно, бизнес-процесс, и реализуется в системе. Скажем, когда я работал в такой ситуации, довольно популярным решением было следующее: в регионах писалась практически заявка на ввод некоторой записи и реплицировалась в Москву, где отдельный процесс просматривал и выполнял эти заявки, результаты соответственно реплицировались обратно.

Именно это подразумевается под административно-техническими?
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34691935
aston
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexsalog все правильно сказал.

Только вот насчет уникальности ИНН не верно в общем случае. Даже связка ИНН\КПП не является уникальной при формирвоания множества организаций в пределах РФ. Самый простой пример - РЖД с ее многочисленными "дочками" и прочими паразитами. ИНН\КПП у всех одинаковое - ОАО "РЖД".
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34706627
Alexsalog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
astonAlexsalog все правильно сказал.

Только вот насчет уникальности ИНН не верно в общем случае. Даже связка ИНН\КПП не является уникальной при формирвоания множества организаций в пределах РФ. Самый простой пример - РЖД с ее многочисленными "дочками" и прочими паразитами. ИНН\КПП у всех одинаковое - ОАО "РЖД".
Там вроде 9-и значные ИНН у всяких ихних Дистанций и проч. Т.е. напрямую расчеты сними вести невозможно, - только через ОАО. Cами подумайте (!), если бы у конторы - пусть филиальной - не было бы уникального идентификатора, то как бы сама РЖД вела бы с ними расчеты и взаимоотношения?! Уж где где а в этой полувоенной организации дисциплина уникальной идентификации развита лучше всех.
Мы тоже ведем расчеты с РЖД и делается так. В процедуре бюджетирования, заказах, платежах указывается "Дистанция" имеющая СВОЙ КПП и ИНН (9-и значный). И только в платежках есть поле: "Платежка на", в котором указывается ОАО "РЖД".
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34718624
guestt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AlexTheRavenЕсть целая область Data Cleaning, и есть, например, компания Human Factor Labs , которая решает борется с дубликатами за деньги (не маленькие), и даже инструменты специальные для этого пишет.
Согласен с оратором. Во всем мире уже отказались от доморощенных решений этой задачи в пользу готовых продуктов с огроооооомными референсными справочниками и алгоритмами, отточенными на десятках миллионов записей. Отечественные решения (тот же хфлабс) на эту тему вполне достойного уровня. По крайней мере, банки и страховые, а также многие крупные международные компании ими не гнушаются.
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34764630
gybson
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да заставьте просто объяснительные писать : "Я, Юзер Юзерович, провил невнимательность при вводе данных по причинам таким-то таким-то". Три объяснительных с неудовлетворительными причинами - выговор, три выговора - статья за несоблюдение трудовой дисциплины и трудовая на руки.
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34764667
Bely
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gybson"Я, Юзер Юзерович, про я вил невнимательность при вводе данных по причинам таким-то таким-то".Объяснительная номер раз
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34791004
sereginseregin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Bely gybson"Я, Юзер Юзерович, про я вил невнимательность при вводе данных по причинам таким-то таким-то".Объяснительная номер раз

В запарке, на работе, даже самый аккуратный пользователь совершит ошибку

На нашем предприятии проблема справочника контрагентов была актуальна лет 5 назад. Даже статью по этому поводу написал .

Теперь за пополнение справочника отвечает только несколько бухгалтеров и экономистов (не операторов). Они между собой договариваются. Остальные пользователи, по необходимости, звонят и просят добавить нового контрагента или изменить реквизиты старого.
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34791255
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Названное Вами решение немасштабируемо. По сути, Вы свели проблему "инструмент недостаточно помогает пользователю" к выбору "особо ответственных пользователей", которым можно доверить работу с этим инструментом. Тем не менее, если предположить, что пять особо ответственных сотрудников могут договориться между собой - можно быть уверенным, что когда фирма вырастет в десять раз, и потребуется пятьдесят таких сотрудников, бардак будет знатный.
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34791531
sereginseregin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
softwarerНазванное Вами решение немасштабируемо. По сути, Вы свели проблему "инструмент недостаточно помогает пользователю" к выбору "особо ответственных пользователей", которым можно доверить работу с этим инструментом. Тем не менее, если предположить, что пять особо ответственных сотрудников могут договориться между собой - можно быть уверенным, что когда фирма вырастет в десять раз, и потребуется пятьдесят таких сотрудников, бардак будет знатный.

У нас 40 пользователей в бухгалтерии и 20 в финансовой службе
плюс остальные службы и подразделения

только 5 специалистов, для которых расчеты с контрагентами - основная обязанность
остальные пользуются справочником контрагентов "для чтения"
каждый месяц расчеты отслеживаются по 3000 сделок по 1600 контрагентам
за месяц проходит около 2500 операций платежей приходов и отгрузок
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34791575
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Замечательно. Но что будет, когда у вас будет десять разнесенных офисов, каждый с подобными показателями?

То, что справочник правят те, для кого это основная обязанность - безусловно, правильно. Но технология "они между собой договорятся" таки сомнительна; лучше все-таки добавить программных средств.
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34791834
sereginseregin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
softwarerчто будет, когда у вас будет десять разнесенных офисов, каждый с подобными показателями?

Если головной офис хочет видеть расчеты для статистики, достаточно ИНН/КПП



Если для сверки расчетов, значит, в головном офисе будет отдел, который этим занимается.

Справочник контрагентов необходим для регистрации входящих и исходящих счетов. Остальные документы формируются с привязкой к счету, либо после счета (т.е . когда контрагент в базе уже есть).

Если в удаленном филиале не находят в справочнике нужного контрагента, они сохранят реквизиты контрагента в счете справочно . В головном офисе счет привяжут к справочнику позже двумя нажатиями клавиш, если все хорошо (дурная работа, но что делать, если 10 филиалов и Вам необходимо видеть расчеты централизованно).
Расчеты по счетам можно проводить и без привязки к справочнику контрагентов.

К сожалению, работающий пример подобной схемы привести не могу, хотя подобное решение описал 5 лет назад.
...
Рейтинг: 0 / 0
как бороться с дубликатами в справочниках
    #34793098
Фотография Программист-Любитель
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если чуть шире вглянуть на проблему: как поддерживать в работающей БД идеальный порядок ?

Во время первичного ввода или за счет жесткой схемы данных перекрыть весь кислород нельзя - часто на момент совершения сделки некоторые атрибуты еще не известны, могли быть проимпортированы старые "грязноватые" данные и т.п.

Стало быть что бы процесс работы с системой во фронте вообще не встал надо разрешить какие-то дырки и дубликаты. Как с ними быть дальше, как проконтролировать что со временем, после получения копий оригинальных договоров и т.п. все данные занесены и оставленные за собой хвосты подчищены ?

Я сделал систему периодического запуска проверочных отчетов. Условия проверки для отчет набираются мышкой в виде дерева выражений OR|AND и потом назначаются тому или иному конкретному пользователю или всей роли. С требуемой периодичностью. Результат выгоняется в Exсel или показывается непосредственно в табличных формах, которые отвечают за проверяемый источник данных. Разумеется, любой отчет может быть запущен и вне расписания в нужный момент. Все запуски и результаты выполнения проверок сохраняются в специальном журнале.

Вкупе с аудированием ввода пользователей всегда можно ткнуть как в конкретную дырку/дубликат так и в общем попенять: что-то вы давно свою таблицу ... не чистили, там мусорчик постепенно накапливается.
...
Рейтинг: 0 / 0
19 сообщений из 69, страница 3 из 3
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / как бороться с дубликатами в справочниках
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]