как правельно хранить данные о почтовом индексе, городах, номерах домов / Проектирование БД

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / как правельно хранить данные о почтовом индексе, городах, номерах домов

17 сообщений из 17, страница 1 из 1

как правельно хранить данные о почтовом индексе, городах, номерах домов

#34509103

nedba

Участник

Откуда: СПб

Сообщения: 134

Рейтинг: 0 / 0

Как правельно хранить данные о почтовом индексе, городах, номерах домов.

Есть таблица a_location с полями city,postcode,street,house.
Очень часто выполняется запрос вида:

Код: plaintext

1.
2.
3.
4.

SELECT city,postcode,street,house
FROM   a_location
WHERE  UPPER(city) = UPPER(':CITY')
AND UPPER(street) = UPPER(':STREET')
AND house = :HOUSE

...

Рейтинг:

0 / 0

07.05.2007, 12:03

| Ответить | Цитировать | Написать

как правельно хранить данные о почтовом индексе, городах, номерах домов

#34509143

Гость

Индексы создать?

...

Рейтинг:

0 / 0

07.05.2007, 12:11

| Ответить | Цитировать | Написать

как правельно хранить данные о почтовом индексе, городах, номерах домов

#34509206

nedba

Участник

Откуда: СПб

Сообщения: 134

Рейтинг: 0 / 0

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.

a_location_postcode_house USING btree (postcode, house) 	

a_location_uppercity USING btree (upper(city::text)) 	

a_location_upperstreet 	btree (upper(street::text)) 	
	
a_locations_all_uniq USING btree (postcode, city, street, house) 	

a_locations_id_key USING btree (id) 	

a_locations_postcode USING btree (postcode)

все кроме последнего UNIQUE

...

Рейтинг:

0 / 0

07.05.2007, 12:26

| Ответить | Цитировать | Написать

как правельно хранить данные о почтовом индексе, городах, номерах домов

#34509910

alex_UID_0xFF

Участник

Сообщения: 253

Рейтинг: 0 / 0

я могу ошибацо, но, возможно, стоит задумаццо о составном индексе?

...

Рейтинг:

0 / 0

07.05.2007, 15:21

| Ответить | Цитировать | Написать

как правельно хранить данные о почтовом индексе, городах, номерах домов

#34763151

bug_scorobey

Гость

nedbaКак правельно хранить данные о почтовом индексе, городах, номерах домов.

Есть таблица a_location с полями city,postcode,street,house.
Очень часто выполняется запрос вида:

Код: plaintext

1.
2.
3.
4.

SELECT city,postcode,street,house
FROM   a_location
WHERE  UPPER(city) = UPPER(':CITY')
AND UPPER(street) = UPPER(':STREET')
AND house = :HOUSE

Cейчас в таблице около 5 млн записей - после внесения всех данных будет около 12 млн. Запросы уже выполняются невероятно долго (5-7 мин). Вопрос - может есть способ хранить эти данные как-то по другому или вобще может кто сталкивался с такой задачей и как ее решал?

Есть готовый софт (ибо вам еще проверку на корректность адреса делать и т.д. дедубликацию и много хитростей ) в принципе сократить можно до 300000-400000 (30000-40000 для домов) записей всю вашу базу я имею ввиду способ хранения и даже с учетом нечеткого поиска это будет <1-2 секунд

Сейчас мы работаем с базами от 100 000 000 адресов на простом писюке и как то никаких тормозов

...

Рейтинг:

0 / 0

29.08.2007, 23:26

| Ответить | Цитировать | Написать

как правельно хранить данные о почтовом индексе, городах, номерах домов

#34763153

bug_scorobey

Гость

bug_scorobey nedbaКак правельно хранить данные о почтовом индексе, городах, номерах домов.

Есть таблица a_location с полями city,postcode,street,house.
Очень часто выполняется запрос вида:

Код: plaintext

1.
2.
3.
4.

SELECT city,postcode,street,house
FROM   a_location
WHERE  UPPER(city) = UPPER(':CITY')
AND UPPER(street) = UPPER(':STREET')
AND house = :HOUSE

...

Рейтинг:

0 / 0

29.08.2007, 23:27

| Ответить | Цитировать | Написать

как правельно хранить данные о почтовом индексе, городах, номерах домов

#34763360

krvsa

Участник

Откуда: г Волжский

Сообщения: 13 823

Рейтинг: 1 / 0

У нас бы все решилось использованием битмап индекса... Компания разработчик утверждает что получается ускорение в несколько раз.
----------
Cache for Windows NT (Intel) 5.0.20 (Build 6305) Fri Sep 16 2005 11:54:10 EDT

...

Рейтинг:

0 / 0

30.08.2007, 08:47

| Ответить | Цитировать | Написать

как правельно хранить данные о почтовом индексе, городах, номерах домов

#34766586

tygra

Участник

Откуда: Тверь (Иркутск, Край)

Сообщения: 8 212

Рейтинг: 0 / 0

Если так долго выполняются запросы, то у вас либо не используются индексы, либо это выполняется на коммуникаторе
Наверное все же первое :)

-- Tygra's --
Мои фотогалереи тут и тут

...

Рейтинг:

0 / 0

31.08.2007, 09:21

| Ответить | Цитировать | Написать

как правельно хранить данные о почтовом индексе, городах, номерах домов

#34769295

Senja

Участник

Откуда: Москва

Сообщения: 88

Рейтинг: 0 / 0

Я думаю, проблема ваших запросов в том, что вы действуете функцией UPPER() на столбцы . Скажем в SQL Server такой запрос будет гарантировано приводить к полному просмотру всей таблицы, даже при наличии индекса по city и street. Я вижу такие варианты решения:

1. Найти правильный способ сравнения без учета регистра (не используя функцию UPPER()). Например в SQL Server это делается с помошью Collation.
2. Хранить названия городов и улиц уже преобразованными к верхенму (или нижнему) регистру.
3. Создать вычисляемые столбцы UPPER(city) и UPPER(street) и построить на них индекс.

Вот как-то так

...

Рейтинг:

0 / 0

31.08.2007, 20:41

| Ответить | Цитировать | Написать

как правельно хранить данные о почтовом индексе, городах, номерах домов

#34769298

Senja

Участник

Откуда: Москва

Сообщения: 88

Рейтинг: 0 / 0

авторда и пока все это на sql2005
Однозначно collation! Cyrillic_General_CI_AS

...

Рейтинг:

0 / 0

31.08.2007, 20:44

| Ответить | Цитировать | Написать

как правельно хранить данные о почтовом индексе, городах, номерах домов

#34769356

bug_scorobey

Гость

Senja авторда и пока все это на sql2005
Однозначно collation! Cyrillic_General_CI_AS

да госопода а чем плох Cyrillic_General_CI_AS ------------ binary

...

Рейтинг:

0 / 0

31.08.2007, 21:40

| Ответить | Цитировать | Написать

как правельно хранить данные о почтовом индексе, городах, номерах домов

#34769358

bug_scorobey

Гость

имею ввиду на всю базу

...

Рейтинг:

0 / 0

31.08.2007, 21:41

| Ответить | Цитировать | Написать

как правельно хранить данные о почтовом индексе, городах, номерах домов

#34771202

Cane Cat Fisher

Участник

Сообщения: 1 640

Рейтинг: 0 / 0

А никто не задумывался, что названия городов хорошо бы вынести в справочник (как, впрочем, и улиц)? Если города набиваются вручную, то я уверен, что из 5 млн несколько десятков тысяч живут в "Моксва", "Мсква", "Мовска", не говоря уже об улицах...

...

Рейтинг:

0 / 0

03.09.2007, 12:02

| Ответить | Цитировать | Написать

как правельно хранить данные о почтовом индексе, городах, номерах домов

#34771227

bug_scorobey

Гость

Cane Cat FisherА никто не задумывался, что названия городов хорошо бы вынести в справочник (как, впрочем, и улиц)? Если города набиваются вручную, то я уверен, что из 5 млн несколько десятков тысяч живут в "Моксва", "Мсква", "Мовска", не говоря уже об улицах...

и еще кто нибудь пытался разложить адреса РФ в виде дерева
очень любопытная картина получается

а вообще то почта россии и мнс (кладр) обещают сделать к концу 2008 года крутую эталонную базу
соображения есть у кого?

...

Рейтинг:

0 / 0

03.09.2007, 12:07

| Ответить | Цитировать | Написать

как правельно хранить данные о почтовом индексе, городах, номерах домов

#34771235

bug_scorobey

Гость

Код: plaintext

1.
2.
3.
4.

SELECT city,postcode,street,house
FROM   a_location
WHERE  UPPER(city) = UPPER(':CITY')
AND UPPER(street) = UPPER(':STREET')
AND house = :HOUSE

...

Рейтинг:

0 / 0

03.09.2007, 12:09

| Ответить | Цитировать | Написать

как правельно хранить данные о почтовом индексе, городах, номерах домов

#34771507

nedba

Участник

Откуда: СПб

Сообщения: 134

Рейтинг: 0 / 0

2 bug_scorobey
bug_scorobeyУважаемый не дба готов вам помочь поправить ситуацию не корысти ради а шевеления мозгов для пишите дам вам доступ к своему удаленному серваку на нем и подумаем что можно сделать

За предложение помощи спасибо! Но тут встает вопрос о неразглашении данных. А такой документ подписан.
Адреса обрабатываются не только для России, но и для многих стран Европы. По тому вопрос с доп справочниками, как предлагал Cane Cat Fisher, не может быть рассмотрен. Да, в столицах действительно наибольшее кол-во адресов - но пригороды составляют не менее 50-60 % объектов. Индексы жутко не эффективны. Сменить колейшенс для UTF-8 такой вариант был бы интересный. Но составных из (привожу для примера) французского, португальского, белорусского и польского - я не встречал. Да и базу в 40-50 Gb конвертить придется долго даже на мощном сервере.

2 bug_scorobey
bug_scorobeyЕсть готовый софт (ибо вам еще проверку на корректность адреса делать и т.д. дедубликацию и много хитростей ) в принципе сократить можно до 300000-400000 (30000-40000 для домов) записей всю вашу базу я имею ввиду способ хранения и даже с учетом нечеткого поиска это будет <1-2 секунд

Сейчас мы работаем с базами от 100 000 000 адресов на простом писюке и как то никаких тормозов

Можно ли узнать название софта?

...

Рейтинг:

0 / 0

03.09.2007, 13:20

| Ответить | Цитировать | Написать

как правельно хранить данные о почтовом индексе, городах, номерах домов

#34781696

bug_scorobey

Гость

nedba2 bug_scorobey
bug_scorobeyУважаемый не дба готов вам помочь поправить ситуацию не корысти ради а шевеления мозгов для пишите дам вам доступ к своему удаленному серваку на нем и подумаем что можно сделать

За предложение помощи спасибо! Но тут встает вопрос о неразглашении данных. А такой документ подписан.
Адреса обрабатываются не только для России, но и для многих стран Европы. По тому вопрос с доп справочниками, как предлагал Cane Cat Fisher, не может быть рассмотрен. Да, в столицах действительно наибольшее кол-во адресов - но пригороды составляют не менее 50-60 % объектов. Индексы жутко не эффективны. Сменить колейшенс для UTF-8 такой вариант был бы интересный. Но составных из (привожу для примера) французского, португальского, белорусского и польского - я не встречал. Да и базу в 40-50 Gb конвертить придется долго даже на мощном сервере.

2 bug_scorobey
bug_scorobeyЕсть готовый софт (ибо вам еще проверку на корректность адреса делать и т.д. дедубликацию и много хитростей ) в принципе сократить можно до 300000-400000 (30000-40000 для домов) записей всю вашу базу я имею ввиду способ хранения и даже с учетом нечеткого поиска это будет <1-2 секунд

Сейчас мы работаем с базами от 100 000 000 адресов на простом писюке и как то никаких тормозов

Можно ли узнать название софта?

отправил вам на мыло а то надоели обвинения в рекламе

...

Рейтинг:

0 / 0

06.09.2007, 15:18

| Ответить | Цитировать | Написать

17 сообщений из 17, страница 1 из 1

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=32&msg=34509143&tid=1544314]:	0ms
get settings:	9ms
get forum list:	19ms
check forum access:	4ms
check topic access:	4ms
track hit:	74ms
get topic data:	10ms
get forum data:	3ms
get page messages:	47ms
get tp. blocked users:	2ms
others:	206ms

total:	378ms

	Необходимые cookie
	Cookie для сбора статистики
	Cookie для маркетинга и рекламы