powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / очень большие объёмы данных - несколько миллионов строк и скорость обработки
6 сообщений из 6, страница 1 из 1
очень большие объёмы данных - несколько миллионов строк и скорость обработки
    #36826283
Фотография u78
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Нормально будет если оформить обычным persistent классом?
Кто нибудь работает с такими объёмами? Скажем если средняя строка примерно на 20 полей, в сумме ну пара килобайт данных (это на одну строчку). Как оно шевелится?

В связи с требованием к скорости и сложной выборке имею вопрос:
С какой версии Cache в таблицах появился bitmap индекс? Кто нибудь с ним работал? какие ограничения? Намного быстрее обычных индексов? Какие вообще ощущения ?
...
Рейтинг: 0 / 0
очень большие объёмы данных - несколько миллионов строк и скорость обработки
    #36826522
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тут скорее зависит от индексов и запросов.
Пусть из нескольких миллионов нужно выбрать сотню записей - при правильных индексах данные индекса будут лежать в одном-двух блоках, чтение индекса не займет много времени.

Теперь данные: в один 8кб блок будет входить только 4 записи, так что чтение каждой записи - это скорее всего обращение к своему отдельному блоку, чтобы добраться до блока данных, нужно прочитать порядка 5ти блоков включая заголовочные.
С учетом кэширования, я думаю, можно считать, что для чтение записи нужно прочитать два блока данных - сам блок данных и вышестоящий блок указателей, остальное будет кэшироваться.
Примем время физического чтения блока за 3 мс, итого на чтение 100 записей в ОЧЕНЬ большой таблице уйдет
0.003*100*2=0.6 сек, причем будет очень слабо зависеть от размера таблицы (как только выйдет за тот размер, который можно закэшировать)

Если это много, то нужно подумать, как хранить данные ближе друг к другу, например в полях данных индекса.
...
Рейтинг: 0 / 0
очень большие объёмы данных - несколько миллионов строк и скорость обработки
    #36826891
Фотография krvsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
u78С какой версии Cache в таблицах появился bitmap индекс? Кто нибудь с ним работал? какие ограничения? Намного быстрее обычных индексов? Какие вообще ощущения ?
Так вроде с 5.0 они уже были... Но "работают" они если ИДшники целые числа и "ускоряют" не всезапросы, а например типа

Код: plaintext
select count(...)

Но судя по отзывам ускоряют хорошо.
...
Рейтинг: 0 / 0
очень большие объёмы данных - несколько миллионов строк и скорость обработки
    #36826893
Фотография krvsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
u78Нормально будет если оформить обычным persistent классом?
А каким ты еще его сможешь "оформить"?
...
Рейтинг: 0 / 0
очень большие объёмы данных - несколько миллионов строк и скорость обработки
    #36827152
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я так понимаю, битмап индексы ускоряют только работу с самим индексом, а если придется лезть в данные - то тут на порядок дольше придеться ползти до блоков с данными.
...
Рейтинг: 0 / 0
очень большие объёмы данных - несколько миллионов строк и скорость обработки
    #36827236
Фотография krvsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блок А.Н. , если запрос можно свести к операциям над битовыми строками - тут появляется ускорение "битмап".
Просто "перебрать" записи по такому индексу боле проблематично...
...
Рейтинг: 0 / 0
6 сообщений из 6, страница 1 из 1
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / очень большие объёмы данных - несколько миллионов строк и скорость обработки
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]