Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Быстродействие CACHETEMP / 13 сообщений из 13, страница 1 из 1
16.02.2012, 13:19
    #37665044
DAiMor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Быстродействие CACHETEMP
Кто нибудь занимался вопросом быстродействия работы с CACHETEMP ?

в нашем приложении приходится иногда работать с большими массивами данных, от чего они иногда уже не помещаются в даже выделенный максимальный объем памяти для процесса

IS все время утверждает что CACHETEMP работает быстро почти как локальные переменные от того что он постоянно висит в памяти, и только изредка сбрасывается на диск

но я не могу увидеть где же это быстро, по моим тестам скорость работы с глобалами в CACHETEMP равна и с обычной БД, если выключить журналирование.

для теста попробовал себе поставить RAMDISK, перенес на него CACHETEMP, и результата никакого не увидел, т.е. скорость ровно та же что и было до этого, попробовал скорость через IOMeter, работу с этим диском, разница по скорости огромная

сервера на которых хотелось бы достигнуть хорошего результата с CACHETEMP имеют по 256GB памяти, и хотелось бы использовать ее со смыслом

на моей рабочей машине, разница в скорости между глобалом и локалом примерно в 2,5-3,5 раза

Cache for Windows (x86-64) 2010.2.6 (Build 953_0_11106U) Mon Dec 12 2011 14:59:59 EST
...
Рейтинг: 0 / 0
16.02.2012, 13:35
    #37665081
Блок А.Н.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Быстродействие CACHETEMP
Где-то так оно и есть, раза в два - это не на порядок.
Было такое дело, что с большими объемами локальных переменных быстродействие падало на порядки, а с CACHETEMP оставалось примерно на одном уровне.
Попробуйте, кстати, протестировать быстродействие с ^||глобалами. В принципе это тоже кашетемп.
...
Рейтинг: 0 / 0
16.02.2012, 14:00
    #37665169
DAiMor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Быстродействие CACHETEMP
Блок А.Н.,

^||global по моим оценкам быстрее обычных глобалов на 5-10%
...
Рейтинг: 0 / 0
16.02.2012, 14:35
    #37665258
Alexey Maslov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Быстродействие CACHETEMP
DAiMorдля теста попробовал себе поставить RAMDISK, перенес на него CACHETEMP, и результата никакого не увиделЗапись в БД - это всегда сначала запись в CACHE.WIJ, а он-то не на RAMDISK. Но класть WIJ на RAMDISK, сами понимаете...
...
Рейтинг: 0 / 0
16.02.2012, 14:50
    #37665309
DAiMor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Быстродействие CACHETEMP
Alexey MaslovDAiMorдля теста попробовал себе поставить RAMDISK, перенес на него CACHETEMP, и результата никакого не увиделЗапись в БД - это всегда сначала запись в CACHE.WIJ, а он-то не на RAMDISK. Но класть WIJ на RAMDISK, сами понимаете...

я это тоже понимаю. и ради теста попробовал и его перенести на этот RamDisk, и ничего не изменилось
...
Рейтинг: 0 / 0
16.02.2012, 15:13
    #37665354
Alexey Maslov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Быстродействие CACHETEMP
DAiMor,

можно предположить, что direct i/o, который Cache for Windows использует при работе с БД, неэффективно работает с RAMDISK.

Был бы это Linux, там по дефолту используется buffered i/o, возможно, стало бы быстрее.
...
Рейтинг: 0 / 0
16.02.2012, 16:23
    #37665539
servit
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Быстродействие CACHETEMP
DAiMor ,

The CACHETEMP Database Because the database is primarily used for temporary working files, the system will attempt to retain in memory any database blocks that are scheduled to be written to it for as long as possible. Data blocks are only flushed to disk in cases of clean buffer starvation in the buffer pool . This feature can relieve the workload on the system and lead to superior performance and scalability.Попробуйте увеличить размер буферного пула.
...
Рейтинг: 0 / 0
16.02.2012, 17:33
    #37665768
DAiMor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Быстродействие CACHETEMP
servitПопробуйте увеличить размер буферного пула.
если под buffer pool имеется ввиду просто буфер глобалов
а буфер у нас достаточно большой ставили разные размеры до 60GB
на рабочей машине у меня поменьше 4GB

еще заметил что работа с глобалами на моей рабочей машине происходит чуть ли не в 2 раза быстрее чем у клиента на сервере
...
Рейтинг: 0 / 0
16.02.2012, 21:34
    #37666145
ну я
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Быстродействие CACHETEMP
DAiMorеще заметил что работа с глобалами на моей рабочей машине происходит чуть ли не в 2 раза быстрее чем у клиента на сервере
может, происходит swap на сервере?
...
Рейтинг: 0 / 0
16.02.2012, 23:00
    #37666229
DAiMor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Быстродействие CACHETEMP
ну яDAiMorеще заметил что работа с глобалами на моей рабочей машине происходит чуть ли не в 2 раза быстрее чем у клиента на сервере
может, происходит swap на сервере?
при имеющемся объеме свободной физической памяти больше в 2-3 раза чем буфер глобалов
...
Рейтинг: 0 / 0
10.03.2012, 21:45
    #37698117
servit
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Быстродействие CACHETEMP
DAiMor ,

В Caché с версии 2012.2.FT1 размер локальных данных (данных на процесс) стал неограничен, точнее - 2 ТБ.
На первое время должно хватить.

DAiMorеще заметил что работа с глобалами на моей рабочей машине происходит чуть ли не в 2 раза быстрее чем у клиента на сервереНа всякий случай стоит проверить:
Large Memory Pages on Windows
Как включить параметр «Блокировка страниц в памяти» (Windows)
...
Рейтинг: 0 / 0
10.03.2012, 22:14
    #37698144
DAiMor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Быстродействие CACHETEMP
servit,

ну да
WRCRelease 2012.2 will have up to 2TB of memory available. The only limiting factor is what the OS
and hardware will provide.
и если учесть что первый FieldTest стал доступен только вчера
...
Рейтинг: 0 / 0
11.03.2012, 00:07
    #37698232
DAiMor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Быстродействие CACHETEMP
servit
На всякий случай стоит проверить:
Large Memory Pages on Windows
Как включить параметр «Блокировка страниц в памяти» (Windows)
Ну с этим проблем нет, это мы уже все контролируем, с нашими то размерами буферов
так же есть проблемы с выставлением большого размера буфера глобалов (больше 100GB), но нам обещают данную проблему решить

еще недавно выяснилось что cache некорректно работает в случаях если в системе более 64 процессоров (Windows разделяет такие процессоры на группы <=64, а каше определяет то одну группу то другую)
...
Рейтинг: 0 / 0
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Быстродействие CACHETEMP / 13 сообщений из 13, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]