Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / алтернатива IOT для ASA / 9 сообщений из 9, страница 1 из 1
03.12.2013, 18:50
    #38487929
mikron
mikron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
алтернатива IOT для ASA
Имеется таблица примерно следующего формата.
Код: sql
1.
2.
3.
4.
5.
6.
create table test_measure(
source_id integer not null,
measure_ts datetime not null,
measure_value  numeric(12,5) not null,
primary key (source_id, measure_ts)
);



данные постянно добавляются. Удаляутся редко и пачками.
Количество источников не велико (>100) и по сравнеию с количеством измерений (~10Mio) просто пренебрежително мало.
Как хранилише пока использую ASA 12.1
проблема заключается в том что на таблице часто проходит выборка.
Код: sql
1.
2.
select measure_ts, measure_value from test_measure 
where source_id = C and measure_ts >= A and measure_ts <= B order by measure_ts


Для подобного запроса ASA не может предложить ничего лутшего чем full table scan - долго и не эфективно.
Мне бы хотелось видет на этом месте IOT, но как этого добится от ASA не понял.
Вопрос: есть ли возможность получить желаемый результат в ASA
или какая другая RDBMS будет наиболее полноценной и бюджетной заменой для неё.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.12.2013, 20:13
    #38488001
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
алтернатива IOT для ASA
mikronДля подобного запроса ASA не может предложить ничего лутшего чем full table
scan - долго и не эфективно.
Ух ты! Любая другая БД при свежей статистике и не слишком большом диапазоне A и B выбрала
бы INDEX RANGE SCAN.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.12.2013, 20:55
    #38488025
mikron
mikron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
алтернатива IOT для ASA
Dimitry SibiryakovmikronДля подобного запроса ASA не может предложить ничего лутшего чем full table
scan - долго и не эфективно.
Ух ты! Любая другая БД при свежей статистике и не слишком большом диапазоне A и B выбрала
бы INDEX RANGE SCAN.

Сомневаюсь. Выборки большие по 1^6 значений. По индексу действително не еффективно. Индекс + в худшем случае 10^6 страниц грузить.
Если на странице помешяется 1000 значений то выгоднее фул сканн. (40(источников) * 10^7) / 1000 = 4 * 10^5.
В общем (не преводя точную статискику распределения значений) я склонен верить АСА что полный скан эфективнее.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.12.2013, 21:04
    #38488029
Dimitry Sibiryakov
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
алтернатива IOT для ASA
mikron(40(источников) * 10^7) / 1000 = 4 * 10^5.
Ты эта... Определись для начала у тебя источников 40 или ">100".

Если у тебя в таблице 4*10^8 записей, а выбирается 10^6 записей, то сканирование 100%
страниц может быть эффективнее сканирования 0.25% страниц + индекс только в том случае,
если у тебя записи выходного НД распределены по всем страницам данных равномерно. В этом
случае тебе прямая дорога в партиционирование.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.12.2013, 23:54
    #38488173
mikron
mikron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
алтернатива IOT для ASA
Более 100 источников - это ожидаемая величина. Её привел просто что-бы показать порядок величин.
Во вторых источники не однородны и не все одинаково нагружены.
Другими словами, цифры не так существенны, и структура таблицы тоже не отражает действителность. Но я не сомниваюсь, что план выбранный ASA оптимален и почти уверен - Oracle сделал бы в данных условиях тоже самое. Моя проблема в том, как мне кажется, что я уперся в проблему, и дле решения которой мне нехватает функционалных возможностей ASA.
Имея Oracle я бы сделал IOT и наступило бы "Счастье". Партиционирование здесь не поможет.
Как получить это счастье в ASA - незнаю. Индексов с неключевыми полями нет а кластерный индекс не гарантирует порядок.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.12.2013, 00:02
    #38488183
mikron
mikron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
алтернатива IOT для ASA
Партиционирование поможет, но IOT более подходящее рещение.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.12.2013, 12:01
    #38488606
Ivan Durak
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
алтернатива IOT для ASA
mikronБолее 100 источников - это ожидаемая величина. Её привел просто что-бы показать порядок величин.
Во вторых источники не однородны и не все одинаково нагружены.
Другими словами, цифры не так существенны, и структура таблицы тоже не отражает действителность. Но я не сомниваюсь, что план выбранный ASA оптимален и почти уверен - Oracle сделал бы в данных условиях тоже самое. Моя проблема в том, как мне кажется, что я уперся в проблему, и дле решения которой мне нехватает функционалных возможностей ASA.
Имея Oracle я бы сделал IOT и наступило бы "Счастье". Партиционирование здесь не поможет.
Как получить это счастье в ASA - незнаю. Индексов с неключевыми полями нет а кластерный индекс не гарантирует порядок.
1. Покрывающий индекс решает проблему легко
2. Партицирование по source_id тоже, причем можно и с пунктом 1 совместить
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
04.12.2013, 18:13
    #38489374
mikron
mikron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
алтернатива IOT для ASA
Ivan Durak1. Покрывающий индекс решает проблему легко
2. Партицирование по source_id тоже, причем можно и с пунктом 1 совместить
Мне кажется замены ИОТ нету.
1. Покрывающий индекс решает проблему со скипом: подойдёт только если мало неключевых полей. и даже с одним полем база вырастет на 40%.
2. Партиционирование не лечит проблему. если план вклюхает полный скан партиции, то придётся сортировать в темп-спейсе.
Если ранге скан то партиционирование вообще роли не играет.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.12.2013, 14:27
    #38490336
Ggg_old
Ggg_old
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
алтернатива IOT для ASA
микрон, а ты чего сюда запостил, а не в сайбейзовый форум?
ты план выложи, может станет понятнее. чего там происходило.
да и всегда на родном sqlany-форуме можно спросить.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Сравнение СУБД [игнор отключен] [закрыт для гостей] / алтернатива IOT для ASA / 9 сообщений из 9, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 383ms
Закрыть
start [/forum/topic.php?fid=35&mobile=1&tid=1552416]:
 0ms
get settings:
 11ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 48ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 48ms
get tp. blocked users:
 2ms
others: 239ms
total:  383ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]