ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Перечень экстремистов
25 сообщений из 53, страница 1 из 3
  1  все
Перечень экстремистов
    #39275616
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
Доводилось ли кому-нибудь работать с перечнем экстремистов?
http://fedsfm.ru/documents/terrorists-catalog-portal-act
Я имею этот список в виде файла Экселевского. И я вполне легко сделал поиск по нормальным ФИО. Но там также есть клинические случаи типа такого:
авторФЕРЗАЛИЕВА (МАГОМЕДОВА) ГАЛИНА ФЕРЗАЛИЕВНА (МАГОМЕДОВА ГАЛИНА ФЕРЗАЛИЕВНА)
(Человек, запрещённый на территории РФ)
Как мне эти случаи обрабатывать? Это вообще что такое, неужели нельзя было в разные строки разнести разные варианты ФИО? Про всяких Абдурахманов я даже думать не хочу:
авторABD AL-RAHMAN MUHAMMAD MUSTAFA AL-QADULI (Abd al-Rahman Muhammad Mustafa Shaykhlari; Abdul Rahman Muhammad al-Bayati; Abu Ala; Abu Hasan; Abu Iman; Abu Muhammad; Abu Zayna; Abu-Shuayb; Aliazra Ra'ad Ahmad; Hajji Iman; Tahir Muhammad Khalil Mustafa al-Bay

(Человек, запрещённый на территории РФ)
...
Рейтинг: 0 / 0
18.07.2016, 14:06
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39275617
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
XDiaBLoИ я вполне легко сделал поиск по нормальным ФИО.
Я в смысле по всем персонажам из этого списка, должен поиск в нашей базе делать.
...
Рейтинг: 0 / 0
18.07.2016, 14:08
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39275946
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Мне кажется вопросы установления личности невозможно решать в автоматизированном
режиме.

Список-списком но где есть элемент автоматизации?
...
Рейтинг: 0 / 0
18.07.2016, 22:23
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39275947
wst
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
wst
Участник
В похожей ситуации банально считали сколько слов из имени получателя нашлось в каждой записи списка.
...
Рейтинг: 0 / 0
18.07.2016, 22:32
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39275951
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Автор никогда не работал в госконторах. Если к вам пришёл лакей от господ и срочно (на вчера)
сообщает о необходимости исполнить приказ номер такой-то от тако-го-то тако-го - дружно
гогочите ему в лицо. А потом радостно с лихим молодцеватым видом хором говорите мол... нет
технической возможности браток. Нету в баста.
...
Рейтинг: 0 / 0
18.07.2016, 22:44
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39275956
JVF
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
JVF
Участник
XDiaBLoЯ в смысле по всем персонажам из этого списка, должен поиск в нашей базе делать.Лучше перебдеть, чем недобдеть.
...
Рейтинг: 0 / 0
18.07.2016, 22:52
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39275990
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
maytonМне кажется вопросы установления личности невозможно решать в автоматизированном
режиме.

Список-списком но где есть элемент автоматизации?
Во всяком случае задача автоматизации на мне. Никто не будет каждого персонажа из этого списка, искать в базе вручную. И при массовом заведении каждого клиента искать в этом списке тоже.
wstВ похожей ситуации банально считали сколько слов из имени получателя нашлось в каждой записи списка.
Дельная идея. Я думаю может фамилию, имя и отчество сверять с этим списком, и если все три нашлись, то он наш. Ну закачать к примеру этот список в базу, в отдельную таблицу, и лайков в запросе наставить.
maytonАвтор никогда не работал в госконторах. Если к вам пришёл лакей от господ и срочно (на вчера)
сообщает о необходимости исполнить приказ номер такой-то от тако-го-то тако-го - дружно
гогочите ему в лицо. А потом радостно с лихим молодцеватым видом хором говорите мол... нет
технической возможности браток. Нету в баста.
Да кого там. Мне начальство присылает задачи, и они ждут результат, а не какие-то отговорки.
...
Рейтинг: 0 / 0
19.07.2016, 06:56
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39275992
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
По идее у меня уже давно этот поиск работает. Просто я обнаружил там записи такого вида:
XDiaBLoавторФЕРЗАЛИЕВА (МАГОМЕДОВА) ГАЛИНА ФЕРЗАЛИЕВНА (МАГОМЕДОВА ГАЛИНА ФЕРЗАЛИЕВНА)
(Человек, запрещённый на территории РФ)

И хочу сделать чтобы все варианты заполнения разыскивались правильно.
...
Рейтинг: 0 / 0
19.07.2016, 06:58
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276003
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Тебе в которую сторону проверку надо?
Если проверить конкретного человека из своей базы, то может искать его в базе запрещенных отдельно по словам? Т.е. просто считаем что запись в базе запрещенных набором слов. Выбираем все записи по вхождению искомой фамилии, затем среди найденного по имени, затем по отчеству.
...
Рейтинг: 0 / 0
19.07.2016, 08:18
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276008
__Avenger__
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
__Avenger__
Участник
XDiaBLo,

Я работал. Разбираю эту строку в таблицу альтернативных наименований.

А так вообще у меня порядок работы такой:
1. Клею строки по параметрам
Код: sql
1.
2.
3.
          if    (AOldNum   = ANum)
            and (AOldRowID = ARowID - 1)
            and (ATU = 0)

, т.к. там наименования могут быть гораздо больше 255 символов и продолжение строки переноситится на следующуу строку. В вашем случае это наименование будет ABD AL-RAHMAN MUHAMMAD MUSTAFA AL-QADULI (Abd al-Rahman Muhammad Mustafa Shaykhlari; Abdul Rahman Muhammad al-Bayati; Abu Ala; Abu Hasan; Abu Iman; Abu Muhammad; Abu Zayna; Abu-Shuayb; Aliazra Ra'ad Ahmad; Hajji Iman; Tahir Muhammad Khalil Mustafa al-Bay+++ati; Umar Muhammad Khaiil Mustafa)

2. Заменяю разделитель ; на | первом уровне скобок, что бы правильно разобрать такие строки
Код: plaintext
ABU MOHAMMED AL-JAWLANI ((transliterations: Shaykh al-Fatih; Al Fatih ) (Translation: The Conqueror) (Norn de guerre); Abu Ashraf; Abu Mohamed al-Jawlani; Abu Mohammed al-Golani; Abu Mohammed al-Julani; Abu Muhammad Aljawlani; Abu Muhammad al-Golani; Abu

Код: plaintext
ABU MOHAMMED AL-JAWLANI|(transliterations: Shaykh al-Fatih; Al Fatih) (Translation: The Conqueror) (Norn de guerre)|Abu Ashraf|Abu Mohamed al-Jawlani|Abu Mohammed al-Golani|Abu Mohammed al-Julani|Abu Muhammad Aljawlani|Abu Muhammad al-Golani|Abu Muhammad al-Jawlani|Amiad Muzaffar Hussein AJi al-Naimi|Muhammad al-Jawlani (transliterations of original script name)
3. Парсю строку по разделителю | и кладу в таблицу альтернативных наименований
...
Рейтинг: 0 / 0
19.07.2016, 08:50
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276012
__Avenger__
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
__Avenger__
Участник
На выходе получаю прмерно это:
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
TERRORIST_ALT_NAME_ID	TERRORIST_FK	NAME
137001	137000	ABU MOHAMMED AL-JAWLANI
137002	137000	(TRANSLITERATIONS: SHAYKH AL-FATIH; AL FATIH) (TRANSLATION: THE CONQUEROR) (NORN DE GUERRE)
137003	137000	ABU ASHRAF
137004	137000	ABU MOHAMED AL-JAWLANI
137005	137000	ABU MOHAMMED AL-GOLANI
137006	137000	ABU MOHAMMED AL-JULANI
137007	137000	ABU MUHAMMAD ALJAWLANI
137008	137000	ABU MUHAMMAD AL-GOLANI
137009	137000	ABU MUHAMMAD AL-JAWLANI
137010	137000	AMIAD MUZAFFAR HUSSEIN AJI AL-NAIMI
137011	137000	MUHAMMAD AL-JAWLANI (TRANSLITERATIONS OF ORIGINAL SCRIPT NAME)
...
Рейтинг: 0 / 0
19.07.2016, 08:55
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276014
__Avenger__
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
__Avenger__
Участник
Клинический случай:
Код: sql
1.
2.
3.
TERRORIST_ALT_NAME_ID	TERRORIST_FK	NAME
6929001	6929000	ФЕРЗАЛИЕВА (МАГОМЕДОВА) ГАЛИНА ФЕРЗАЛИЕВНА
6929002	6929000	МАГОМЕДОВА ГАЛИНА ФЕРЗАЛИЕВНА
...
Рейтинг: 0 / 0
19.07.2016, 08:59
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276039
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
__Avenger__Клинический случай:
Код: sql
1.
2.
3.
TERRORIST_ALT_NAME_ID	TERRORIST_FK	NAME
6929001	6929000	ФЕРЗАЛИЕВА (МАГОМЕДОВА) ГАЛИНА ФЕРЗАЛИЕВНА
6929002	6929000	МАГОМЕДОВА ГАЛИНА ФЕРЗАЛИЕВНА


А как ФЕРЗАЛИЕВА ГАЛИНА ФЕРЗАЛИЕВНА значит она не проскакивает в результатах?
...
Рейтинг: 0 / 0
19.07.2016, 09:54
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276040
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
Интересный вариант конечно, сейчас сначала свою идею проверю, если по производительности устраивать не будет, придётся пилить.
...
Рейтинг: 0 / 0
19.07.2016, 09:56
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276047
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Если мой вариант со словами залить в БД, и сделать доп таблицу words (Id, word), то можно индексы использовать, примерно так
Код: sql
1.
2.
3.
4.
select id from words 
   where word in ('ФЕРЗАЛИЕВА', 'ГАЛИНА', 'ФЕРЗАЛИЕВНА')
   group by id
   having count(*) = 3
...
Рейтинг: 0 / 0
19.07.2016, 10:04
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276051
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Только повторы убрать при заливке, т.е. например записьidfio123ФЕРЗАЛИЕВА (МАГОМЕДОВА) ГАЛИНА ФЕРЗАЛИЕВНА (МАГОМЕДОВА ГАЛИНА ФЕРЗАЛИЕВНА)
должна храниться в word так
idword123ФЕРЗАЛИЕВА123МАГОМЕДОВА123ГАЛИНА123ФЕРЗАЛИЕВНА
...
Рейтинг: 0 / 0
19.07.2016, 10:09
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276065
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
Dima TТолько повторы убрать при заливке, т.е. например записьidfio123ФЕРЗАЛИЕВА (МАГОМЕДОВА) ГАЛИНА ФЕРЗАЛИЕВНА (МАГОМЕДОВА ГАЛИНА ФЕРЗАЛИЕВНА)
должна храниться в word так
idword123ФЕРЗАЛИЕВА123МАГОМЕДОВА123ГАЛИНА123ФЕРЗАЛИЕВНА
Хмм, интересно. Только индекс таблицы с клиентами всё равно не прокатит. Так только штучных прямо при заведении проверять. Хотя это тоже вариант. А я в общем-то сейчас работаю над массовым поиском. Списки то постоянно обновляются.
...
Рейтинг: 0 / 0
19.07.2016, 10:24
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276068
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
Dima TЕсли мой вариант со словами залить в БД, и сделать доп таблицу words (Id, word), то можно индексы использовать, примерно так
Код: sql
1.
2.
3.
4.
select id from words 
   where word in ('ФЕРЗАЛИЕВА', 'ГАЛИНА', 'ФЕРЗАЛИЕВНА')
   group by id
   having count(*) = 3


И кстати когда у чувака только фамилия и имя, будет нужно совпадение 2 параметров. Тут нужно запрос подумать как составить. Но это потом, сперва додумаю куда мне это всё залить в базу. Нашёл подходящую табличку, но полей в ней маловато. Мне нужно ещё дату рождения и паспортные данные туда запихнуть.
...
Рейтинг: 0 / 0
19.07.2016, 10:27
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276078
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
XDiaBLoХмм, интересно. Только индекс таблицы с клиентами всё равно не прокатит. Так только штучных прямо при заведении проверять. Хотя это тоже вариант. А я в общем-то сейчас работаю над массовым поиском. Списки то постоянно обновляются.
тут будет работать индекс по words.word

Как вариант для массовой проверки - сначала отсечь тех кого заведомо не найдем. Т.е. у кого имя, отчество или фамилия не встречаются в списке запрещенных.
Также разбиваем список проверяемых на слова, таблица find_words:
find_idfind_word1ИВАНОВ1ИВАН1ИВАНЫЧ2ПЕТРОВА2ГАЛИНА2ПЕТРОВНА
затем оставляем только тех кто целиком есть в words
Код: sql
1.
2.
3.
select * from find_words where find_id not in (
   select find_id from find_words where find_word not in (select word from words)
 )


затем проверка каждого из оставшихся поштучно.
...
Рейтинг: 0 / 0
19.07.2016, 10:37
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276083
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
XDiaBLoИ кстати когда у чувака только фамилия и имя, будет нужно совпадение 2 параметров. Тут нужно запрос подумать как составить. Но это потом, сперва додумаю куда мне это всё залить в базу. Нашёл подходящую табличку, но полей в ней маловато. Мне нужно ещё дату рождения и паспортные данные туда запихнуть.
Магическая цифра 3 в запросе это количество слов, если будет два слова, то так
Код: sql
1.
2.
3.
4.
select id from words 
   where word in ('ФАМИЛИЯ', 'ИМЯ')
   group by id
   having count(*) = 2


XDiaBLoНо это потом, сперва додумаю куда мне это всё залить в базу. Нашёл подходящую табличку, но полей в ней маловато. Мне нужно ещё дату рождения и паспортные данные туда запихнуть.
обычно просто создают новую таблицу с нужной структурой
...
Рейтинг: 0 / 0
19.07.2016, 10:41
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276087
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
Dima TXDiaBLoНо это потом, сперва додумаю куда мне это всё залить в базу. Нашёл подходящую табличку, но полей в ней маловато. Мне нужно ещё дату рождения и паспортные данные туда запихнуть.
обычно просто создают новую таблицу с нужной структурой
Ага, кто бы мне разрешил так сделать? Сказано использовать готовую таблицу для временных данных.
...
Рейтинг: 0 / 0
19.07.2016, 10:47
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276090
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
XDiaBLoСказано использовать готовую таблицу для временных данных.
Не от большого ума сказано. Для временных данных создают временные таблицы. Сервер какой?
...
Рейтинг: 0 / 0
19.07.2016, 10:50
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276093
Фотография XDiaBLo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
XDiaBLo
Участник
Dima TXDiaBLoСказано использовать готовую таблицу для временных данных.
Не от большого ума сказано. Для временных данных создают временные таблицы. Сервер какой?
Так она итак временная.
автор-- Create table
create global temporary table TEMP_COLLECTION
(
scope VARCHAR2(255),
marked_id NUMBER(18) not null,
add_info VARCHAR2(3900)
)
on commit delete rows;
Просто она уже существует.
...
Рейтинг: 0 / 0
19.07.2016, 10:53
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276143
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Я не вижу какая dbms у автора. Но если он юзает varchar2 то возможно Oracle.
Тогда (если автор очень сильно хочет автоматизировать блеклисты) я-бы предложил
подключить к базе опцию Oracle Text (Сtxcat index).

Как здесь пишут http://www.oracle.com/technetwork/database/enterprise-edition/ctxcat-primer-090555.html

И в выражении поиска использовать специальные фунции типа

Код: plsql
1.
WHERE CATSEARCH (fio, 'АБАДИЕВ & МУСА & "МАГОМЕТ-БАШИРОВИЧ"') > 0
...
Рейтинг: 0 / 0
19.07.2016, 11:54
| Ответить | Цитировать | Написать  
Перечень экстремистов
    #39276154
Фотография Новичок ООП.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Новичок ООП.
Участник
XDiaBLo,

теперь понятно, почему ни хрена не можете находить террористов.
...
Рейтинг: 0 / 0
19.07.2016, 12:09
| Ответить | Цитировать | Написать  
25 сообщений из 53, страница 1 из 3
  1  все
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Перечень экстремистов
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=16&msg=39275951&tid=1340652]:
 0ms
get settings:
 5ms
get forum list:
 13ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 47ms
get topic data:
 6ms
get forum data:
 2ms
get page messages:
 38ms
get tp. blocked users:
 1ms
others: 215ms
total:  331ms
созд. / загр.: 331ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]