powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Определение индекса по адресу
37 сообщений из 37, показаны все 2 страниц
Определение индекса по адресу
    #35061206
Molasar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кто-нибудь занимался автоматическим определением индекса по адресу?

Есть 100 000 адресов (область, город, улица, дом).

Есть таблицы:
1. ЭТАЛОННЫЙ СПРАВОЧНИК ИНДЕКСОВ ОБЪЕКТОВ ПОЧТОВОЙ СВЯЗИ (info.russianpost.ru/database/ops.html)
2. Классификатор адресов России (КЛАДР)
(http://www.gnivc.ru/document.asp?id=80)

По этим таблицам можно определить точный индекс до дома.
Вопрос в автоматизации процесса.

Есть ли у кого-нибудь опыт в этом?
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35061783
Bely
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MolasarЕсть ли у кого-нибудь опыт в этом?Ну есть :)
А в чем вопрос-то?
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35063465
Molasar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Поделится опытом можете? или базой?
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35063490
Bely
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MolasarПоделится опытом можете? или базой?Чем, КЛАДР-ом? ;)
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35063505
Molasar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А разве КЛАДР может взять файл (excel) и проставить в каждой строке с адресом индекс?
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35063533
Bely
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MolasarА разве КЛАДР может взять файл (excel) и проставить в каждой строке с адресом индекс?КЛАДР - это база, в которой есть сопоставление адресных элементов и почтовых индексов.
Она ничего не проставляет, она используется.
Индексы, вестимо, проставляет программа.
Программу надо будет писать... причем вам.

Ссылка на оригинальный КЛАДР .

Если есть более конкретные вопросы (кроме дайте такую программу) - спрашивайте здесь.
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35065253
ModelR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А как записан адрес в excel-файле - одним текстовым полем с опечатками, пропусками и комментариями?
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35065997
Molasar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Все в одной ячейке:

Артемовск, Ульяновская ул, д.50/4, кв.90
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35066351
Фотография BULK INSERT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ModelRА как записан адрес в excel-файле - одним текстовым полем с опечатками, пропусками и комментариями?

и то и то и то, вероятно
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35066390
Bely
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MolasarВсе в одной ячейке:
Артемовск, Ульяновская ул, д.50/4, кв.901) Разбить адрес на части
как примерно делать см. здесь
Это задача творческая, поэтому ваши адреса эта процедура может и не съесть.
Придется ее адаптировать или писать свою аналогичную.

2) Раздробленный адрес - подготовить к разбору по КЛАДР.
У вас, например, не проставлен регион - из-за этого могут вылезти неоднозначности.
В принципе, эти неоднозначности можно анализировать в процессе проставления индексов.
Но это может оказаться сложнее и медленнее.

3) Гляда в КЛАДР и в раздробленный адрес - сопоставлять индекс.
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35066693
Страдалецъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ага, а если еще учесть, что в самом КЛАДРЕ ошибок до чертиков, то веселая задачка получается.
Но ничего невозможного нет, есть только задачи разного уровня сложности.
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35066721
Bely
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
СтрадалецъАга, а если еще учесть, что в самом КЛАДРЕ ошибок до чертиков, то веселая задачка получается.Да, ошибки есть.
Например напротив некоторых объектов - проставлены несуществующие почтовые индексы.
В КЛАДР-е индекс стоит, а в базе ОПС - такого индекса нет.

Мы такие индексы просто обнуляли.
Но процент их был не такой уж и большой.

Всеравно базы по индексам лучше, чем КЛАДР, в свободном доступе нет.
Опыт показал, что лучше использовать КЛАДР, чем верить индексам, проставленным в адресах.

по поводу задачки (а не базы) - не все так страшно, особенно если есть операторы, которых можно посадить обрабатывать несопоставившиеся адреса.
При творческом подходе - это у них много времени не займет, если массивы данных не слишком большие будут.
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35067204
VladBD
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Давай я тебе так за бабло проставлю своими прогами )))
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35067260
VladBD
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BelyЕсли есть более конкретные вопросы (кроме дайте такую программу) - спрашивайте здесь.
если у тебя есть прога давай возьмем тестовые записи и устроим тест драйв ))) чья прога больше адресов расколбасит )))
заодно определю в какую сторону ее дальше обучать...
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35067273
Bely
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
VladBDесли у тебя есть прога давай возьмем тестовые записи и устроим тест драйв )))У нас есть и прога и операторы, которые адреса доколбашивают.
Все что было интересно - мы обтестировали полтора года назад.
Нас все устраивает.

Если хочешь померятся с кем-то - обратись сюда: IQ systems
Будет о чем с ними поговорить о скорости и точности разнесения адреса и проставления индекса
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35067740
VladBD
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BelyУ нас есть и прога и операторы, которые адреса доколбашивают.
Все что было интересно - мы обтестировали полтора года назад.
Нас все устраивает.
Извините, если чем обидел... просто эта тема мне была очень интересна, и в свободное время стараюсь уделять этой проблеме свое время...чтоб операторы не парились )))
А вот за ссылку спасибо.
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35067809
Bely
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
VladBDпросто эта тема мне была очень интересна, и в свободное время стараюсь уделять этой проблеме свое время...Счастливые люди, есть свободное время
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35067964
Bely
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
VladBDпросто эта тема мне была очень интересна.Кстати, о временных показателях.
На нашей базе они были примерно такими.
География - вся Россия.
Особенности - есть непочтовые адреса (киоски союзпечать итп), адреса на МКАД.
Таких примерно 10%
Общее кол-во адресов - около 350 тыс.

Мы создавали программу проставления индексов около 1 недели, чтобы она могла обрабатывать такие объемы за разумное время.
Получилось у нас следующее:
Скорость обработки 20 тыс (только проставление индекса) - примерно 1,5 часа на рабочей станции.
Таким темпом мы всю свою базу прочистили где-то за 2 дня.
процент проставившихся индексов был ~80%.
Паралельно в адресе проставлялись метки "Нашел/не нашел" город, НП, улицу, дом.
Исходя из этих меток - адреса выдавались операторам на обработку - с группировкой по названиям улиц, городов, регионов.
Как правило - это были опечатки или различающееся написание улиц в КЛАДР и в анкете.
Например ул. Жукова и ул. Маршала Жукова.

а как у вас дело обстоит?
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35068892
VladBD
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Например ул. Жукова и ул. Маршала Жукова.
для этого создал таблицу синонимов.

Я писал программу для Москвы. Она достигает до 50 тыс. в час. Счас пытаюсь переписать по новой, с использованием новых технологий, ООП и т.д. Смысл и логика в принципе во всех (я видел штуки 4) одинаков - метка распознавания, и распарсенные поля + почтовый индекс.
Еще есть попытка написать парсер с помощью UDF - счас сначала для ФИО напишу, если получится, буду для адреса верстать.
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35068920
VladBD
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
самое главное обратный адрес (европейский стиль написания) распознавать - вот это есть гуд.
и еще фича - чтобы переименованные объекты правильно распознавала.
Перская обл. Лысьва => парсинг => ПЕРМСКИЙ КРАЙ Г. ЛЫСЬВА
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #35070818
Bely
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
VladBDсамое главное обратный адрес (европейский стиль написания) распознавать - вот это есть гуд.
и еще фича - чтобы переименованные объекты правильно распознавала.
Перская обл. Лысьва => парсинг => ПЕРМСКИЙ КРАЙ Г. ЛЫСЬВАЧто интересного в IQ system системе, то это то, что этой программе пофиг в каком порядке адрес.

Я с ними общался, вот краткое описание того, что система умеет.
Вот
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
Определение индекса по адресу
    #38647904
EV.P
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Molasar,

Занимаюсь решением данной проблемы, но как показало глубокое гугление на данную тему, распарсить адрес и узнать какой почтовый индекс имеет дом такой-то на улице такой-то, невозможно. Требуется разворачивать в несколько таблиц перечень домо, который забит диапазонными значениями вида Н(11-19), Ч(2-12) в поле name Kladr_Doma.
Таким образом, сложность работы с КЛАДРом является сложнопараметрической функцией.
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #38647979
Bely
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
EV.P,

Гробокопателям привет! :)

Все уже давно смогли решить задачу писка конкретного дома внутри диапазона домов в базе КЛАДР :)
Проблема, как всегда, с актуальностью баз.
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #38649034
EV.P
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Bely,

Всё равно непонятно, как же решить данную задачу оптимальным способом, чтобы не перелицовывать базу КЛАДР после закачки.
А как Вы решили эту проблему?
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #38649938
Bely
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
EV.P,

Варианта два:
1) написать процедуру, которая после закачки разберет КЛАДР в удобную структуру
2) Написать процедуру, которая будет сверять дом со строкой, которая есть в кладр

Мы пошли по пути (1), потому что искать приходилось чаще, чем закачивать кладр.
А скорость поиска - критична.
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #38665922
Molasar, dadata.ru - до 1 июля даже бесплатно прогоните
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #38669846
Dmitry V. Liseev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Елена ХолодоваMolasar, dadata.ru - до 1 июля даже бесплатно прогонитеА потом Вы ещё и деньги брать будете?
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #38678681
Dmitry V. Liseev, за подсказки не будем, за прогон первых 100 записей не будем. За большие обработки - будем.
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #38678687
sergey1250
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
EV.P,Давно пора использовать ФИАС (он и полнее и качественнее), в нём есть ссылки на КЛАДР, так вот в составе ФИАС имеются уже выделенные почтовые индексы
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #38680284
Dmitry V. Liseev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Елена ХолодоваDmitry V. Liseev, за подсказки не будем, за прогон первых 100 записей не будем. За большие обработки - будем.А смысл? ФИАС бесплатен. А криво написанный адрес вы всё равно не обработаете. Кроме того, открою секрет: адрес без индекса не имеет смысла. К примеру, в Москве есть аж три одинаковые улицы. С одинаковыми номерами домов. Отличаются эти адреса лишь почтовыми индексами. Найти название такой улицы - упражнение для начинающих любителей КЛАДР.

Более глубоким копателям оставляю упражнение найти полный перечень полностью совпадающих (за исключением индекса) адресов в РФ.

Совсем глубоким копателям - та же задача, с учетом даты актуальности адреса. То есть, дан адрес на 6 марта 1993 года. Требуется найти соответствующий ему адрес и индекс на 25 июня 2014 года.
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #38680638
Фотография Infernal V. Raven
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dmitry V. LiseevА смысл? ФИАС бесплатен. А криво написанный адрес вы всё равно не обработаете.Почему не обработают? Можно попытаться найти соответствие по неполному совпадению, с орфографическими ошибками.
Dmitry V. Liseev Кроме того, открою секрет: адрес без индекса не имеет смысла. К примеру, в Москве есть аж три одинаковые улицы. С одинаковыми номерами домов. Отличаются эти адреса лишь почтовыми индексами. Найти название такой улицы - упражнение для начинающих любителей КЛАДР.Не только индексами, а еще административными округами, районами.
Для Москвы есть ОМК УМ.
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #38682970
Dmitry V. Liseev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Infernal V. RavenDmitry V. LiseevА смысл? ФИАС бесплатен. А криво написанный адрес вы всё равно не обработаете.Почему не обработают? Можно попытаться найти соответствие по неполному совпадению, с орфографическими ошибками.Автоматизировать это невозможно. Вероятность ошибок слишком большая. Надо связываться с человеком, который дал такой адрес, и уточнять у него, сидя перед картой.

На практике всё не так сурово. Обычно вместо "Большая монетная" нужно "Монетная Б". Программировать это смысла нет, если Вы не обрабатываете миллион адресов ежедневно. В моей практике был случай, когда надо было обработать 20 тыс. адресов. Я просто раздал список фрилансерам и через неделю получил за копейки качественный результат.

Это не джедайский подход. Это бизнес подход. Не надо программировать там, где дешевле и быстрее сделать руками.
Infernal V. RavenDmitry V. Liseev Кроме того, открою секрет: адрес без индекса не имеет смысла. К примеру, в Москве есть аж три одинаковые улицы. С одинаковыми номерами домов. Отличаются эти адреса лишь почтовыми индексами. Найти название такой улицы - упражнение для начинающих любителей КЛАДР.Не только индексами, а еще административными округами, районами.
Для Москвы есть ОМК УМ.Отличаются, и что? Вы же по адресу собираетесь найти почтовый индекс да ещё за деньги . Вот вам адрес для примера: г. Москва, улица Парковая. Сможете индекс найти?
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #38683537
Фотография Infernal V. Raven
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dmitry V. LiseevАвтоматизировать это невозможно. Вероятность ошибок слишком большая. Надо связываться с человеком, который дал такой адрес, и уточнять у него, сидя перед картой.На основании данных ТС (область, город, улица, дом) - автоматизировать определение адреса для 90% случаев с применением предложенных сервисов, вероятно получится.
Dmitry V. LiseevНа практике всё не так сурово. Обычно вместо "Большая монетная" нужно "Монетная Б". Программировать это смысла нет, если Вы не обрабатываете миллион адресов ежедневно.
Для задачи ТС это действительно не требуется.
Dmitry V. LiseevВ моей практике был случай, когда надо было обработать 20 тыс. адресов. Я просто раздал список фрилансерам и через неделю получил за копейки качественный результат. Это не джедайский подход. Это бизнес подход. Не надо программировать там, где дешевле и быстрее сделать руками.Этот же подход, т.е. свои услуги предложили и коллеги, т.е. парсинг адресов за деньги. Таких услуг предлагается немало. Чем принципиально отличается нанятие фрилансеров от пользования сервисов?Dmitry V. LiseevВы же по адресу собираетесь найти почтовый индекс да ещё за деньги Лично я не собираюсь ничего делать :)
Вышеозвученные сервисы пробовал - результат визуально вполне удовлетворил именно в части определения индексов. Правда результатами я все равно воспользоваться не могу - меня не интересуют почтовые индексы и "причесывание" адреса сами по себе в отрыве от реестра БТИ и без привязки к ОМК УМ.
Infernal V. RavenВот вам адрес для примера: г. Москва, улица Парковая. Сможете индекс найти?Парковую, Центральную, Железнодорожную - смогу, если указан район :) Есть еще более "хитрые" улицы, например Заводская улица в районе Крюково, там даже район не поможет :)
Для миграции используется любая доступная информация для идентификации адреса. Зачем себя ограничивать?
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #38686870
les_sql
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всем привет.
Тут индекс по ФИАСу дают. Ссылка
Правда, там ограничение по времени между запросами. И документации нет нифига...
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #38776914
Karlos99
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день!
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #38776918
Karlos99
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день!
Подскажите пожалуйста, есть 700 индексов населенных пунктов. Необходимо узнать эти населенные пункты, вбивать вручную на предлагаемых ресурсах долго.
Подскажите есть некая программа позволяющая это сделать сразу.
...
Рейтинг: 0 / 0
Определение индекса по адресу
    #38777053
Dmitry V. Liseev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Karlos99Добрый день!
Подскажите пожалуйста, есть 700 индексов населенных пунктов. Необходимо узнать эти населенные пункты, вбивать вручную на предлагаемых ресурсах долго.
Подскажите есть некая программа позволяющая это сделать сразу.Скачать ФИАС и загрузить в любую СУБД.
...
Рейтинг: 0 / 0
37 сообщений из 37, показаны все 2 страниц
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Определение индекса по адресу
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]