Оптимизация хранения данных / PostgreSQL

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Оптимизация хранения данных

7 сообщений из 7, страница 1 из 1

Оптимизация хранения данных

#38850609

ronzhak

Гость

Приветствую коллеги!
Нужен совет вот по какому вопросу. Есть таблица, в ней 12 Гб данных вида: id, src_id, table_name, source_id. Создан индекс по полям: src_id, table_name, source_id. Задача повысить скорость выборки данных. Будет ли ощутимый прирост, если для каждой table_name создать свою таблицу и хранить/выбирать данные в ней/из нее? Т.е. вместо

Код: plaintext

from import where table_name = 'test1' and src_id = 1523 and source_id = 15

, будет

Код: plaintext

from import_test1 where src_id = 1523 and source_id = 15

...

Рейтинг:

0 / 0

09.01.2015, 09:51

| Ответить | Цитировать | Написать

Оптимизация хранения данных

#38850860

Oleg Bartunov

Участник

Сообщения: 220

Рейтинг: 0 / 0

ronzhak,

Если размер таблиц будет существенно меньше оригинальной, то конечно будет. Вы можете очень быстро это проверить, например,

select id, src_id, source_id into test1 from import where table_name='test1';

Надеюсь, что у вас есть индексы по src_id и source_id

...

Рейтинг:

0 / 0

09.01.2015, 15:53

| Ответить | Цитировать | Написать

Оптимизация хранения данных

#38851020

Ivan Durak

Участник

Откуда: Minsk!!!

Сообщения: 2 602

Рейтинг: 0 / 0

в нормальной субд я бы посоветовал партицирование

...

Рейтинг:

0 / 0

09.01.2015, 21:13

| Ответить | Цитировать | Написать

Оптимизация хранения данных

#38851034

NikolayV81

Участник

Откуда: Москва

Сообщения: 547

Рейтинг: 0 / 0

Ivan Durakв нормальной субд я бы посоветовал партицирование

в принципе в PG в документации описан способ, конечно он весьма не такой простой, но для конкретной таблицы можно до автоматизма довести.

...

Рейтинг:

0 / 0

09.01.2015, 22:21

| Ответить | Цитировать | Написать

Оптимизация хранения данных

#38851093

Maxim Boguk

Участник

Откуда: Melbourne, Австралия

Сообщения: 5 148

Рейтинг: 0 / 0

ronzhakПриветствую коллеги!
Нужен совет вот по какому вопросу. Есть таблица, в ней 12 Гб данных вида: id, src_id, table_name, source_id. Создан индекс по полям: src_id, table_name, source_id. Задача повысить скорость выборки данных. Будет ли ощутимый прирост, если для каждой table_name создать свою таблицу и хранить/выбирать данные в ней/из нее? Т.е. вместо

Код: plaintext

from import where table_name = 'test1' and src_id = 1523 and source_id = 15

, будет

Код: plaintext

from import_test1 where src_id = 1523 and source_id = 15

.

вообще вряд ли вы от такого партиционирования получите заметный выйгрыш.
хотя конечно все зависит от того какие именно запросы вы будете вызывать.
приведите примеры запросов и их explain analyze для начала.

...

Рейтинг:

0 / 0

10.01.2015, 04:54

| Ответить | Цитировать | Написать

Оптимизация хранения данных

#38851228

этта

Гость

Ivan Durakв нормальной субд я бы посоветовал партицированиеот ары-кало-еда за версту несёт, ара, калом

ещё вам прийдётся посоветовать штат админисраторов ара кала, и потратить мноха денех
ну и много кала по мелочи

...

Рейтинг:

0 / 0

10.01.2015, 14:12

| Ответить | Цитировать | Написать

Оптимизация хранения данных

#38851805

ronzhak

Гость

Maxim Boguk,
Основной запрос будет иметь вид:

Код: plaintext

select id from import where table_name = 'test1' and src_id = 1523 and source_id = 15

.
Индекс на поля {table_name, src_id, source_id} есть. Explain query:

Код: plaintext

1.
2.
3.
4.
5.

Operation  Index Scan using import_src_src_table_source_idx on import_src i                                                         
Operation Info Index Cond: ((src_id = 3545) AND ((table_name)::text = 'JOURNAL_DATA'::text) AND (source_id = 242))                                                                                        
Start-up Cost 0.00                     
Total Cost  24.15                     
Number of Rows 1                  
Row Width   4

...

Рейтинг:

0 / 0

11.01.2015, 21:39

| Ответить | Цитировать | Написать

7 сообщений из 7, страница 1 из 1

Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Оптимизация хранения данных

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=53&gotonew=1&tid=1998255]:	0ms
get settings:	8ms
get forum list:	16ms
check forum access:	3ms
check topic access:	3ms
track hit:	186ms
get topic data:	12ms
get first new msg:	6ms
get forum data:	3ms
get page messages:	64ms
get tp. blocked users:	2ms
others:	214ms

total:	517ms

	Необходимые cookie
	Cookie для сбора статистики
	Cookie для маркетинга и рекламы