ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Перечень экстремистов
53 сообщений из 53, показаны все 3 страниц
  все  
Перечень экстремистов
    #39275616
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
Доводилось ли кому-нибудь работать с перечнем экстремистов?
http://fedsfm.ru/documents/terrorists-catalog-portal-act
Я имею этот список в виде файла Экселевского. И я вполне легко сделал поиск по нормальным ФИО. Но там также есть клинические случаи типа такого:
авторФЕРЗАЛИЕВА (МАГОМЕДОВА) ГАЛИНА ФЕРЗАЛИЕВНА (МАГОМЕДОВА ГАЛИНА ФЕРЗАЛИЕВНА)
(Человек, запрещённый на территории РФ)
Как мне эти случаи обрабатывать? Это вообще что такое, неужели нельзя было в разные строки разнести разные варианты ФИО? Про всяких Абдурахманов я даже думать не хочу:
авторABD AL-RAHMAN MUHAMMAD MUSTAFA AL-QADULI (Abd al-Rahman Muhammad Mustafa Shaykhlari; Abdul Rahman Muhammad al-Bayati; Abu Ala; Abu Hasan; Abu Iman; Abu Muhammad; Abu Zayna; Abu-Shuayb; Aliazra Ra'ad Ahmad; Hajji Iman; Tahir Muhammad Khalil Mustafa al-Bay

(Человек, запрещённый на территории РФ)
...
Рейтинг: 0 / 0
18.07.2016, 14:06
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39275617
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
XDiaBLoИ я вполне легко сделал поиск по нормальным ФИО.
Я в смысле по всем персонажам из этого списка, должен поиск в нашей базе делать.
...
Рейтинг: 0 / 0
18.07.2016, 14:08
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39275946
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Мне кажется вопросы установления личности невозможно решать в автоматизированном
режиме.

Список-списком но где есть элемент автоматизации?
...
Рейтинг: 0 / 0
18.07.2016, 22:23
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39275947
wst
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
wst
Участник
В похожей ситуации банально считали сколько слов из имени получателя нашлось в каждой записи списка.
...
Рейтинг: 0 / 0
18.07.2016, 22:32
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39275951
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Автор никогда не работал в госконторах. Если к вам пришёл лакей от господ и срочно (на вчера)
сообщает о необходимости исполнить приказ номер такой-то от тако-го-то тако-го - дружно
гогочите ему в лицо. А потом радостно с лихим молодцеватым видом хором говорите мол... нет
технической возможности браток. Нету в баста.
...
Рейтинг: 0 / 0
18.07.2016, 22:44
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39275956
JVF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
JVF
Участник
XDiaBLoЯ в смысле по всем персонажам из этого списка, должен поиск в нашей базе делать.Лучше перебдеть, чем недобдеть.
...
Рейтинг: 0 / 0
18.07.2016, 22:52
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39275990
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
maytonМне кажется вопросы установления личности невозможно решать в автоматизированном
режиме.

Список-списком но где есть элемент автоматизации?
Во всяком случае задача автоматизации на мне. Никто не будет каждого персонажа из этого списка, искать в базе вручную. И при массовом заведении каждого клиента искать в этом списке тоже.
wstВ похожей ситуации банально считали сколько слов из имени получателя нашлось в каждой записи списка.
Дельная идея. Я думаю может фамилию, имя и отчество сверять с этим списком, и если все три нашлись, то он наш. Ну закачать к примеру этот список в базу, в отдельную таблицу, и лайков в запросе наставить.
maytonАвтор никогда не работал в госконторах. Если к вам пришёл лакей от господ и срочно (на вчера)
сообщает о необходимости исполнить приказ номер такой-то от тако-го-то тако-го - дружно
гогочите ему в лицо. А потом радостно с лихим молодцеватым видом хором говорите мол... нет
технической возможности браток. Нету в баста.
Да кого там. Мне начальство присылает задачи, и они ждут результат, а не какие-то отговорки.
...
Рейтинг: 0 / 0
19.07.2016, 06:56
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39275992
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
По идее у меня уже давно этот поиск работает. Просто я обнаружил там записи такого вида:
XDiaBLoавторФЕРЗАЛИЕВА (МАГОМЕДОВА) ГАЛИНА ФЕРЗАЛИЕВНА (МАГОМЕДОВА ГАЛИНА ФЕРЗАЛИЕВНА)
(Человек, запрещённый на территории РФ)

И хочу сделать чтобы все варианты заполнения разыскивались правильно.
...
Рейтинг: 0 / 0
19.07.2016, 06:58
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276003
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Тебе в которую сторону проверку надо?
Если проверить конкретного человека из своей базы, то может искать его в базе запрещенных отдельно по словам? Т.е. просто считаем что запись в базе запрещенных набором слов. Выбираем все записи по вхождению искомой фамилии, затем среди найденного по имени, затем по отчеству.
...
Рейтинг: 0 / 0
19.07.2016, 08:18
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276008
__Avenger__
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
__Avenger__
Участник
XDiaBLo,

Я работал. Разбираю эту строку в таблицу альтернативных наименований.

А так вообще у меня порядок работы такой:
1. Клею строки по параметрам
Код: sql
1.
2.
3.
          if    (AOldNum   = ANum)
            and (AOldRowID = ARowID - 1)
            and (ATU = 0)

, т.к. там наименования могут быть гораздо больше 255 символов и продолжение строки переноситится на следующуу строку. В вашем случае это наименование будет ABD AL-RAHMAN MUHAMMAD MUSTAFA AL-QADULI (Abd al-Rahman Muhammad Mustafa Shaykhlari; Abdul Rahman Muhammad al-Bayati; Abu Ala; Abu Hasan; Abu Iman; Abu Muhammad; Abu Zayna; Abu-Shuayb; Aliazra Ra'ad Ahmad; Hajji Iman; Tahir Muhammad Khalil Mustafa al-Bay+++ati; Umar Muhammad Khaiil Mustafa)

2. Заменяю разделитель ; на | первом уровне скобок, что бы правильно разобрать такие строки
Код: plaintext
ABU MOHAMMED AL-JAWLANI ((transliterations: Shaykh al-Fatih; Al Fatih ) (Translation: The Conqueror) (Norn de guerre); Abu Ashraf; Abu Mohamed al-Jawlani; Abu Mohammed al-Golani; Abu Mohammed al-Julani; Abu Muhammad Aljawlani; Abu Muhammad al-Golani; Abu

Код: plaintext
ABU MOHAMMED AL-JAWLANI|(transliterations: Shaykh al-Fatih; Al Fatih) (Translation: The Conqueror) (Norn de guerre)|Abu Ashraf|Abu Mohamed al-Jawlani|Abu Mohammed al-Golani|Abu Mohammed al-Julani|Abu Muhammad Aljawlani|Abu Muhammad al-Golani|Abu Muhammad al-Jawlani|Amiad Muzaffar Hussein AJi al-Naimi|Muhammad al-Jawlani (transliterations of original script name)
3. Парсю строку по разделителю | и кладу в таблицу альтернативных наименований
...
Рейтинг: 0 / 0
19.07.2016, 08:50
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276012
__Avenger__
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
__Avenger__
Участник
На выходе получаю прмерно это:
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
TERRORIST_ALT_NAME_ID	TERRORIST_FK	NAME
137001	137000	ABU MOHAMMED AL-JAWLANI
137002	137000	(TRANSLITERATIONS: SHAYKH AL-FATIH; AL FATIH) (TRANSLATION: THE CONQUEROR) (NORN DE GUERRE)
137003	137000	ABU ASHRAF
137004	137000	ABU MOHAMED AL-JAWLANI
137005	137000	ABU MOHAMMED AL-GOLANI
137006	137000	ABU MOHAMMED AL-JULANI
137007	137000	ABU MUHAMMAD ALJAWLANI
137008	137000	ABU MUHAMMAD AL-GOLANI
137009	137000	ABU MUHAMMAD AL-JAWLANI
137010	137000	AMIAD MUZAFFAR HUSSEIN AJI AL-NAIMI
137011	137000	MUHAMMAD AL-JAWLANI (TRANSLITERATIONS OF ORIGINAL SCRIPT NAME)
...
Рейтинг: 0 / 0
19.07.2016, 08:55
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276014
__Avenger__
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
__Avenger__
Участник
Клинический случай:
Код: sql
1.
2.
3.
TERRORIST_ALT_NAME_ID	TERRORIST_FK	NAME
6929001	6929000	ФЕРЗАЛИЕВА (МАГОМЕДОВА) ГАЛИНА ФЕРЗАЛИЕВНА
6929002	6929000	МАГОМЕДОВА ГАЛИНА ФЕРЗАЛИЕВНА
...
Рейтинг: 0 / 0
19.07.2016, 08:59
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276039
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
__Avenger__Клинический случай:
Код: sql
1.
2.
3.
TERRORIST_ALT_NAME_ID	TERRORIST_FK	NAME
6929001	6929000	ФЕРЗАЛИЕВА (МАГОМЕДОВА) ГАЛИНА ФЕРЗАЛИЕВНА
6929002	6929000	МАГОМЕДОВА ГАЛИНА ФЕРЗАЛИЕВНА


А как ФЕРЗАЛИЕВА ГАЛИНА ФЕРЗАЛИЕВНА значит она не проскакивает в результатах?
...
Рейтинг: 0 / 0
19.07.2016, 09:54
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276040
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
Интересный вариант конечно, сейчас сначала свою идею проверю, если по производительности устраивать не будет, придётся пилить.
...
Рейтинг: 0 / 0
19.07.2016, 09:56
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276047
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Если мой вариант со словами залить в БД, и сделать доп таблицу words (Id, word), то можно индексы использовать, примерно так
Код: sql
1.
2.
3.
4.
select id from words 
   where word in ('ФЕРЗАЛИЕВА', 'ГАЛИНА', 'ФЕРЗАЛИЕВНА')
   group by id
   having count(*) = 3
...
Рейтинг: 0 / 0
19.07.2016, 10:04
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276051
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Только повторы убрать при заливке, т.е. например записьidfio123ФЕРЗАЛИЕВА (МАГОМЕДОВА) ГАЛИНА ФЕРЗАЛИЕВНА (МАГОМЕДОВА ГАЛИНА ФЕРЗАЛИЕВНА)
должна храниться в word так
idword123ФЕРЗАЛИЕВА123МАГОМЕДОВА123ГАЛИНА123ФЕРЗАЛИЕВНА
...
Рейтинг: 0 / 0
19.07.2016, 10:09
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276065
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
Dima TТолько повторы убрать при заливке, т.е. например записьidfio123ФЕРЗАЛИЕВА (МАГОМЕДОВА) ГАЛИНА ФЕРЗАЛИЕВНА (МАГОМЕДОВА ГАЛИНА ФЕРЗАЛИЕВНА)
должна храниться в word так
idword123ФЕРЗАЛИЕВА123МАГОМЕДОВА123ГАЛИНА123ФЕРЗАЛИЕВНА
Хмм, интересно. Только индекс таблицы с клиентами всё равно не прокатит. Так только штучных прямо при заведении проверять. Хотя это тоже вариант. А я в общем-то сейчас работаю над массовым поиском. Списки то постоянно обновляются.
...
Рейтинг: 0 / 0
19.07.2016, 10:24
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276068
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
Dima TЕсли мой вариант со словами залить в БД, и сделать доп таблицу words (Id, word), то можно индексы использовать, примерно так
Код: sql
1.
2.
3.
4.
select id from words 
   where word in ('ФЕРЗАЛИЕВА', 'ГАЛИНА', 'ФЕРЗАЛИЕВНА')
   group by id
   having count(*) = 3


И кстати когда у чувака только фамилия и имя, будет нужно совпадение 2 параметров. Тут нужно запрос подумать как составить. Но это потом, сперва додумаю куда мне это всё залить в базу. Нашёл подходящую табличку, но полей в ней маловато. Мне нужно ещё дату рождения и паспортные данные туда запихнуть.
...
Рейтинг: 0 / 0
19.07.2016, 10:27
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276078
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
XDiaBLoХмм, интересно. Только индекс таблицы с клиентами всё равно не прокатит. Так только штучных прямо при заведении проверять. Хотя это тоже вариант. А я в общем-то сейчас работаю над массовым поиском. Списки то постоянно обновляются.
тут будет работать индекс по words.word

Как вариант для массовой проверки - сначала отсечь тех кого заведомо не найдем. Т.е. у кого имя, отчество или фамилия не встречаются в списке запрещенных.
Также разбиваем список проверяемых на слова, таблица find_words:
find_idfind_word1ИВАНОВ1ИВАН1ИВАНЫЧ2ПЕТРОВА2ГАЛИНА2ПЕТРОВНА
затем оставляем только тех кто целиком есть в words
Код: sql
1.
2.
3.
select * from find_words where find_id not in (
   select find_id from find_words where find_word not in (select word from words)
 )


затем проверка каждого из оставшихся поштучно.
...
Рейтинг: 0 / 0
19.07.2016, 10:37
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276083
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
XDiaBLoИ кстати когда у чувака только фамилия и имя, будет нужно совпадение 2 параметров. Тут нужно запрос подумать как составить. Но это потом, сперва додумаю куда мне это всё залить в базу. Нашёл подходящую табличку, но полей в ней маловато. Мне нужно ещё дату рождения и паспортные данные туда запихнуть.
Магическая цифра 3 в запросе это количество слов, если будет два слова, то так
Код: sql
1.
2.
3.
4.
select id from words 
   where word in ('ФАМИЛИЯ', 'ИМЯ')
   group by id
   having count(*) = 2


XDiaBLoНо это потом, сперва додумаю куда мне это всё залить в базу. Нашёл подходящую табличку, но полей в ней маловато. Мне нужно ещё дату рождения и паспортные данные туда запихнуть.
обычно просто создают новую таблицу с нужной структурой
...
Рейтинг: 0 / 0
19.07.2016, 10:41
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276087
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
Dima TXDiaBLoНо это потом, сперва додумаю куда мне это всё залить в базу. Нашёл подходящую табличку, но полей в ней маловато. Мне нужно ещё дату рождения и паспортные данные туда запихнуть.
обычно просто создают новую таблицу с нужной структурой
Ага, кто бы мне разрешил так сделать? Сказано использовать готовую таблицу для временных данных.
...
Рейтинг: 0 / 0
19.07.2016, 10:47
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276090
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
XDiaBLoСказано использовать готовую таблицу для временных данных.
Не от большого ума сказано. Для временных данных создают временные таблицы. Сервер какой?
...
Рейтинг: 0 / 0
19.07.2016, 10:50
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276093
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
Dima TXDiaBLoСказано использовать готовую таблицу для временных данных.
Не от большого ума сказано. Для временных данных создают временные таблицы. Сервер какой?
Так она итак временная.
автор-- Create table
create global temporary table TEMP_COLLECTION
(
scope VARCHAR2(255),
marked_id NUMBER(18) not null,
add_info VARCHAR2(3900)
)
on commit delete rows;
Просто она уже существует.
...
Рейтинг: 0 / 0
19.07.2016, 10:53
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276143
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Я не вижу какая dbms у автора. Но если он юзает varchar2 то возможно Oracle.
Тогда (если автор очень сильно хочет автоматизировать блеклисты) я-бы предложил
подключить к базе опцию Oracle Text (Сtxcat index).

Как здесь пишут http://www.oracle.com/technetwork/database/enterprise-edition/ctxcat-primer-090555.html

И в выражении поиска использовать специальные фунции типа

Код: plsql
1.
WHERE CATSEARCH (fio, 'АБАДИЕВ & МУСА & "МАГОМЕТ-БАШИРОВИЧ"') > 0
...
Рейтинг: 0 / 0
19.07.2016, 11:54
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276154
Фотография Новичок ООП.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Новичок ООП.
Участник
XDiaBLo,

теперь понятно, почему ни хрена не можете находить террористов.
...
Рейтинг: 0 / 0
19.07.2016, 12:09
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276173
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Новичок ООП., давайте обсуждать тему в деловом и техническом стиле. Без политики
и кванторов обобщения.
...
Рейтинг: 0 / 0
19.07.2016, 12:34
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276287
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
maytonЯ не вижу какая dbms у автора. Но если он юзает varchar2 то возможно Oracle.
Тогда (если автор очень сильно хочет автоматизировать блеклисты) я-бы предложил
подключить к базе опцию Oracle Text (Сtxcat index).

Как здесь пишут http://www.oracle.com/technetwork/database/enterprise-edition/ctxcat-primer-090555.html

И в выражении поиска использовать специальные фунции типа

Код: plsql
1.
WHERE CATSEARCH (fio, 'АБАДИЕВ & МУСА & "МАГОМЕТ-БАШИРОВИЧ"') > 0


Хмм, интересно. А оно значит там по умолчанию отключено? Тогда я думаю админы будут сопротивляться.
...
Рейтинг: 0 / 0
19.07.2016, 14:09
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276310
Фотография ЕвгенийВ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ЕвгенийВ
Участник
XDiaBLoABD AL-RAHMAN MUHAMMAD MUSTAFA AL-QADULI (Abd al-Rahman Muhammad Mustafa Shaykhlari; Abdul Rahman Muhammad al-Bayati; Abu Ala; Abu Hasan; Abu Iman; Abu Muhammad; Abu Zayna; Abu-Shuayb; Aliazra Ra'ad Ahmad; Hajji Iman; Tahir Muhammad Khalil Mustafa al-Bay

Полнотекстовый поиск вполне может помочь. Есть во всех серьезных СУБД и есть поделки обеспечивающие его сбоку. ABD AL-RAHMAN MUHAMMAD MUSTAFA AL-QADULI врят ли придет в твою контору, он по русски не бельмесм.
XDiaBLo(Человек, запрещённый на территории РФ)
Нет такие, есть подозреваемые в терроризме-экстремизме-отмывании бабок и т.д.
...
Рейтинг: 0 / 0
19.07.2016, 14:42
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276338
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
ЕвгенийВXDiaBLo(Человек, запрещённый на территории РФ)
Нет такие, есть подозреваемые в терроризме-экстремизме-отмывании бабок и т.д.
Увидев этих людей в одном файле с такими строками как
авторИСЛАМСКОЕ ГОСУДАРСТВО (ИСЛАМСКОЕ ГОСУДАРСТВО ИРАКА И ЛЕВАНТА; ИСЛАМСКОЕ ГОСУДАРСТВО ИРАКА И СИРИИ; ИСЛАМСКОЕ ГОСУДАРСТВО ИРАКА И ШАМА)
УКРАИНСКАЯ ОРГАНИЗАЦИЯ ПРАВЫЙ СЕКТОР

(Запрещены на территории РФ)
соответственно хочется такую надпись добавлять. А то вдруг скуль прикроют за пропаганду.
ЕвгенийВПолнотекстовый поиск вполне может помочь. Есть во всех серьезных СУБД и есть поделки обеспечивающие его сбоку. ABD AL-RAHMAN MUHAMMAD MUSTAFA AL-QADULI врят ли придет в твою контору, он по русски не бельмесм.
Волнует вопрос, насколько быстро этот полнотекстовый поиск будет работать, когда таблица клиентская размерами несколько сотен тысяч записей, и файл с террористами за 8 тысяч записей переваливает?
...
Рейтинг: 0 / 0
19.07.2016, 15:07
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276487
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
XDiaBLoХмм, интересно. А оно значит там по умолчанию отключено? Тогда я думаю админы будут сопротивляться.

Попробуй следующий запрос. Оно по умолчанию может быть и включено.

Код: sql
1.
select comp_name, status from dba_registry;
...
Рейтинг: 0 / 0
19.07.2016, 16:52
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276493
Nobody1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nobody1111
Гость
XDiaBLoВолнует вопрос, насколько быстро этот полнотекстовый поиск будет работать, когда таблица клиентская размерами несколько сотен тысяч записей, и файл с террористами за 8 тысяч записей переваливает?
Отлично будет работать. Это по сути заточенные под поиск отдельных слов индексы. Единственно, типично такой индекс периодически надо явным образом перестраивать, иначе через 1-2 года может очень сильно производительность упасть.
...
Рейтинг: 0 / 0
19.07.2016, 16:56
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276753
__Avenger__
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
__Avenger__
Участник
Подкину скриншот из одной системы
...
Рейтинг: 0 / 0
20.07.2016, 00:02
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39277011
tanglir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
tanglir
Участник
__Avenger__Подкину скриншот из одной системы

"тип документа" - "21", а "кем выдано" - "паспорт РФ"? что это за дичь?
...
Рейтинг: 0 / 0
20.07.2016, 12:46
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39277015
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
tanglir__Avenger__Подкину скриншот из одной системы

"тип документа" - "21", а "кем выдано" - "паспорт РФ"? что это за дичь?
Нормально, вот например: http://mvf.klerk.ru/f1otchet/2ndfl_pril2_1.htm
автор21 Паспорт гражданина Российской Федерации
У нас модно в каждой гос.конторе параллельные классификаторы придумывать.
...
Рейтинг: 0 / 0
20.07.2016, 12:51
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39277171
__Avenger__
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
__Avenger__
Участник
[quot tanglir]__Avenger__Подкину скриншот из одной системы

"тип документа" - "21", а "кем выдано" - "паспорт РФ"? что это за дичь?

Какие данные были в DBF, такие и отображаются. Не очень валидные исходные данные.
...
Рейтинг: 0 / 0
20.07.2016, 15:44
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39277178
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Учитывая что ФИО никогда не являлось уникальным ключом.. у меня нет мыслей по поводу
того что делать дальше. Ну... можно запись в базе пометить специальным атрибутом.

И далее эта запись должна быть превращена в заявку на ручной анализ. И чиновник который
проанализирует - должен выставить статус CLEAN и после этого к этому ФИО уже нельзя
применить правила этого полнотекстового сравнения.

Вот такой должен быть flow в моём понимании.
...
Рейтинг: 0 / 0
20.07.2016, 15:52
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39277186
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
maytonВот такой должен быть flow в моём понимании.
С flow надо повнимательнее, с автоматикой не перестараться, чтоб полным тезкам жизнь не усложнить. Чтоб не получилось как с Сергеем Ивановым заказавшим кроссовки в штатах.
...
Рейтинг: 0 / 0
20.07.2016, 16:02
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39277336
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
softwarer
Участник
XDiaBLoНо там также есть клинические случаи типа такого:
Это не клинические случаи, это обыденность. Бывают куда веселее, например ИВАНОВА АННА ИВАНОВНА (доб.322) или АХМЕД ГУСТАВ МЕРЗЫ---умер
...
Рейтинг: 0 / 0
20.07.2016, 19:35
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39277450
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
softwarerXDiaBLoНо там также есть клинические случаи типа такого:
Это не клинические случаи, это обыденность. Бывают куда веселее, например ИВАНОВА АННА ИВАНОВНА (доб.322) или АХМЕД ГУСТАВ МЕРЗЫ---умер
По-моему это просто поленились привлечь программистов в качестве консультантов.
...
Рейтинг: 0 / 0
21.07.2016, 07:19
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39278124
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
Смысл вас приглашать, если на первый-второй раз вы всё равно не разбираетесь в проблеме, а на четвёртый-пятый у вас уже есть решение и оно уже даже работает.
...
Рейтинг: 0 / 0
21.07.2016, 17:38
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39278321
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
Basil A. SidorovСмысл вас приглашать, если на первый-второй раз вы всё равно не разбираетесь в проблеме, а на четвёртый-пятый у вас уже есть решение и оно уже даже работает.
Представьте себе, что по всей стране тысячи человек с этим кривым файлом парились? А если бы один раз проконсультировались, то формат был-бы вполне годный.
...
Рейтинг: 0 / 0
22.07.2016, 07:29
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39278324
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
XDiaBLoПредставьте себе, что по всей стране тысячи человек с этим кривым файлом парились? А если бы один раз проконсультировались, то формат был-бы вполне годный.
Оно им надо? Сказано создать открытый источник данных - они создали, прописывать структуру хранения никто не требовал.
Не удивлюсь если первоисточник в реале просто экселевский файл.
...
Рейтинг: 0 / 0
22.07.2016, 07:42
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39278325
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
Dima TXDiaBLoПредставьте себе, что по всей стране тысячи человек с этим кривым файлом парились? А если бы один раз проконсультировались, то формат был-бы вполне годный.
Оно им надо? Сказано создать открытый источник данных - они создали, прописывать структуру хранения никто не требовал.
Не удивлюсь если первоисточник в реале просто экселевский файл.
Мне сначала давали dbf, потом xls стали давать тоже, ну я под него и переписал. Там с dbf какие-то проблемы были, уже не помню какие.
...
Рейтинг: 0 / 0
22.07.2016, 07:43
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39278605
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Dima TXDiaBLoПредставьте себе, что по всей стране тысячи человек с этим кривым файлом парились? А если бы один раз проконсультировались, то формат был-бы вполне годный.
Оно им надо? Сказано создать открытый источник данных - они создали, прописывать структуру хранения никто не требовал.
Не удивлюсь если первоисточник в реале просто экселевский файл.
Первоисточник - это некий серый мундир в погонах. Который каждое утро заваривает
чай в подстаканнике с гербом. Потом вскрывает конверт - с штампиком сов-секретно.
Потом читает. И потом неторопливо 1 пальчиком вбивает имя в текстовый файлик.
...
Рейтинг: 0 / 0
22.07.2016, 13:14
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39278610
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
maytonDima Tпропущено...

Оно им надо? Сказано создать открытый источник данных - они создали, прописывать структуру хранения никто не требовал.
Не удивлюсь если первоисточник в реале просто экселевский файл.
Первоисточник - это некий серый мундир в погонах. Который каждое утро заваривает
чай в подстаканнике с гербом. Потом вскрывает конверт - с штампиком сов-секретно.
Потом читает. И потом неторопливо 1 пальчиком вбивает имя в текстовый файлик.
Оно и видно. Формат файла совершенно ненормальный.
...
Рейтинг: 0 / 0
22.07.2016, 13:19
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39278967
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
XDiaBLoПредставьте себе, что по всей стране тысячи человек с этим кривым файлом парились? А если бы один раз проконсультировались, то формат был-бы вполне годный.1. Не был бы.
2. Я против идеи "консультироваться с программистом".
Программист создаёт работающее решение - известно "что", а программист делает "как".
Консультироваться "как" бессмысленно - мы не программисты и это знание нам не пригодится.
Консультироваться "что" бессмысленно - если бы программист это знал, то мы просто отвлекли его от реализации "как". Если не знал, то нахрена нам некомпетентный консультант?
...
Рейтинг: 0 / 0
22.07.2016, 18:34
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39278976
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Программист тут вообще не нужен. Программист может делать разные вещи но он
не смыслит в том как работают МВД и спецслужбы. Как быть с фамилиями которые женщины
меняют и как быть с адресами? Поэтому тут все наоборот. Это программиста должен
консультировать "человечек" в мундире. Он должен дать пояснения по общему
плану мероприятий.

А вопросы какой dbms юзать oracle Или sqlite, какой движок FTS юзать, или всякие там расстояния Левенштейна
или soundex, и прочее - это уже сфера программиста. Но это будет шаг №2. А первый
шаг - это понять ЧТО ВООБЩЕ НУЖНО делать с человеческой точки зрения.
...
Рейтинг: 0 / 0
22.07.2016, 18:49
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39278978
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
С человеческой точки зрения, как раз всё понятно - есть ориентировка, данные которой надо перенести в реестр.
Проблема в том, что данные, внесённые в ориентировку сложно формализовать.
...
Рейтинг: 0 / 0
22.07.2016, 18:57
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39278980
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Basil A. SidorovXDiaBLoПредставьте себе, что по всей стране тысячи человек с этим кривым файлом парились? А если бы один раз проконсультировались, то формат был-бы вполне годный.1. Не был бы.
2. Я против идеи "консультироваться с программистом".
Программист создаёт работающее решение - известно "что", а программист делает "как".
Консультироваться "как" бессмысленно - мы не программисты и это знание нам не пригодится.
Консультироваться "что" бессмысленно - если бы программист это знал, то мы просто отвлекли его от реализации "как". Если не знал, то нахрена нам некомпетентный консультант?
Отчасти ты прав. Программист понятие размытое. Кодер тоже программист. Точнее было бы сказать "максимально формализовать данные для дальнейшего использования и предоставить правила формализации". Но факт в том что данные не приведены удобному использованию и никому это не надо. Нет никаких правил и ограничений что может быть, а что не может. В итоге каждый изобретает как бы этот хаос упихать в прокрустово ложе реляционных СУБД, в которых в итоге будет использоваться.
И это не первый случай с открытыми данными наших гос.органов. Недавно был топик про аннулированные паспорта, там та же хрень, надолблено непонятно чего.
...
Рейтинг: 0 / 0
22.07.2016, 18:58
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39278984
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Basil A. SidorovС человеческой точки зрения, как раз всё понятно - есть ориентировка, данные которой надо перенести в реестр.
Проблема в том, что данные, внесённые в ориентировку сложно формализовать.
Вот, внутри наших госорганов нет обратной связи. Спустили бумагу, будь добр исполняй как хочешь, как понял, переспросить нельзя, тем более потребовать переписать по правилам. Это только рядового гражданина со стороны можно плющить до тех пор пока не заполнит как положено. Вот и херачит оператор лишь бы забить и после нажатия на "Сохранить" ничего запрещающее не вылезло.
...
Рейтинг: 0 / 0
22.07.2016, 19:06
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39278996
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
Dima TВот, внутри наших госорганов нет обратной связиДа причём тут госорганы???
Вот сколько может быть наименований у одной пары ИНН/КПП, если в уставные документы не меняются после образования юр.лица?
А теперь подумайте - какие формальные признаки есть у террориста?
А теперь - как определить неустановленное лицо по неточным данным?
...
Рейтинг: 0 / 0
22.07.2016, 19:43
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39279002
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Basil A. SidorovDima TВот, внутри наших госорганов нет обратной связиДа причём тут госорганы???
Вот сколько может быть наименований у одной пары ИНН/КПП, если в уставные документы не меняются после образования юр.лица?
А теперь подумайте - какие формальные признаки есть у террориста?
А теперь - как определить неустановленное лицо по неточным данным?
Топик выше почитай
авторФЕРЗАЛИЕВА (МАГОМЕДОВА) ГАЛИНА ФЕРЗАЛИЕВНА (МАГОМЕДОВА ГАЛИНА ФЕРЗАЛИЕВНА)
ИВАНОВА АННА ИВАНОВНА (доб.322)
АХМЕД ГУСТАВ МЕРЗЫ---умер

а если, например, этот АХМЕД ГУСТАВ МЕРЗЫ с пометкой "умер" окажется вполне живой и обратится в контролируемую организацию и она его обслужит, т.к. тот вроде как умер, то кого отымеют контролирующие госорганы?
Про первую строчку вообще молчу, что сложно две завести?
...
Рейтинг: 0 / 0
22.07.2016, 19:59
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39279005
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Простой пример мудачества наших открытых данных. Из моего недавнего опыта. Предельные цены на жизненноважные лексредства. Приходит прокуратура в аптеку и штрафует на 40 т.р. за превышение предельной цены. Но ньюанс в том что с марта 2016 года конкретный препарат исключили из жизненно-важных, а на сайте он до сих пор значится. Тут аптеке только идти в суд и доказывать что ты не баран, и не факт что суд сходу разберется в тонкостях регулирования цен на лекарства, т.е. не придется писать апелляции. Чем кончилось не в курсе, но думаю достаточно продемонстрировал при чем тут госорганы.
...
Рейтинг: 0 / 0
22.07.2016, 20:13
| Ответить | Цитировать | Написать  
53 сообщений из 53, показаны все 3 страниц
  все  
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Перечень экстремистов
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=16&tid=1340652]:
 0ms
get settings:
 6ms
get forum list:
 9ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 46ms
get topic data:
 7ms
get forum data:
 2ms
get page messages:
 75ms
get tp. blocked users:
 1ms
others: 207ms
total:  357ms
созд. / загр.: 357ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]