ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Quad Core + Suse 10 + Cache
8 сообщений из 8, страница 1 из 1
Quad Core + Suse 10 + Cache
    #36369350
=Dimon=
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
=Dimon=
Участник
Привет всем. Ни у кого не возникало проблем с производительностью, а точнее с записью в глобал на Linux системе(Suse Linux ES 10 sp2), с железом Quad Core или i7 (4х ядерные и выше)?
Простая программа
S zh=$zh f i=1:1:10000000 {s ^a(i)=i } W $zh-zh
выполняется около 130 сек.
Тогда как на Dual Core ~ 14сек
...
Рейтинг: 0 / 0
16.12.2009, 13:30
| Ответить | Цитировать | Написать  
Quad Core + Suse 10 + Cache
    #36370629
=Dimon=
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
=Dimon=
Участник
Проблема решается прописыванием
usedirectio=value
Секция [config] файла cache.cpf
Значения:
0 use platform default
1 enable DIO for both db & journal
2 enable DIO for journal only
-1 disable DIO

DIO = DIRECTIO means usage O_DIRECT option for open() syscall.

Установил -1. Производительность увеличилась ~ 20 раз, т.е. со 143 до 8-7 сек.
Рекомендую проверить эти параметры у всех, кто использует Линукс системы:
W $ZU(69,54) - Выдает текущее значение.
...
Рейтинг: 0 / 0
17.12.2009, 03:44
| Ответить | Цитировать | Написать  
Quad Core + Suse 10 + Cache
    #36371707
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Maslov
Участник
У меня в cconsole.log пишет:
Код: plaintext
1.
2.
3.
4.
5.
CSTART of Cache for UNIX (Red Hat Enterprise Linux for x86- 64 )  2008 . 1  (Build 401_0_8148) Wed May  13   2009   22 : 11 : 06  EDT.
  ...
  OS=[Linux], version=[# 1  SMP Thu Mar  20   13 : 39 : 08  EDT  2008 ], release=[ 2 . 6 . 24 . 3 - 50 .fc8], machine=[x86_64]
  ...
  directio: off, synctype:  3
Процессоры: два 2-х ядерных Оптерона. Файловая система ext3.
Как видно, по умолчанию и так directio=off, поэтому установка usedirectio=-1 ни на что не повлияла. А вот установка usedirectio=1 привела к отказу Cache стартовать; в качестве причины в alerts.log было указано, что не удалось смонтировать обязательные для старта БД: cacheaudit и cachelib.
Однако в Cache for UNIX (Solaris for x86-64) мне приходилось наблюдать эффект подобный Вашему, правда я не подозревал о существовании параметра конф-ии Cache и устанавливал принудительно directio при монтировании файловой системы (ufs).
Ради любопытства: ваш аналогичный фрагмент cconsole.log и тип файловой системы?
...
Рейтинг: 0 / 0
17.12.2009, 15:00
| Ответить | Цитировать | Написать  
Quad Core + Suse 10 + Cache
    #36377194
=Dimon=
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
=Dimon=
Участник
Alexey Maslov,

Файловая система - ext3.

CSTART of Cache for UNIX (SUSE Enterprise Server for x86-64) 2008.2 (Build 526) Thu Oct 16 2008
in /local/cache/mgr
with wij: /local/cache/mgr/CACHE.WIJ
from: /local/cache/mgr/
OS=[Linux], version=[#1 SMP Tue May 6 12:41:02 UTC 2008], release=[2.6.16.60-0.21-smp], machine=[x86_64]
...
directio: off, synctype: 3
System Initialized.
...
Рейтинг: 0 / 0
21.12.2009, 11:47
| Ответить | Цитировать | Написать  
Quad Core + Suse 10 + Cache
    #36378400
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Maslov
Участник
Попробовал последнюю выпущенную версию:
Код: plaintext
1.
CSTART of Cache for UNIX (Red Hat Enterprise Linux for x86- 64 )  2009 . 1 . 2  (Build  602 ) Tue Oct  20   2009   07 : 18 : 55  EDT.
с тем же эффектом: Cache не может стартовать с usedirectio=1, в данном случае ломается на стадии инициализации БД CACHETEMP. Нормально запускается с usedirectio=0 и =2. Судя по документации, usedirectio=2 - это именно то, к чему стремится Cache. См. в док-ии
UNIX File System Recommendations
InterSystems has specific journal file recommendations on UNIX-based platforms to achieve optimal journal performance and to ensure journal data integrity if there is a system crash.
...
Red Hat Enterprise Linux | Caché enables direct I/O by defa
SUSE Linux Enterprise |

Вообще странно немного это, т.к. ext3 журналируемая файловая система, и непонятно, чем вызваны опасения что-либо потерять. Я разговаривал с ораклистами, там все ровно наоборот: работа с БД - через direct i/o, журналирование - нет, так вот ни разу из-за крахов журналы не теряли. Правда, это касалось UFS - полностью журналируемой ф/с, не знаю, насколько ext3 ей в этом смысле уступает.
...
Рейтинг: 0 / 0
21.12.2009, 19:31
| Ответить | Цитировать | Написать  
Quad Core + Suse 10 + Cache
    #36380833
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Maslov
Участник
Dimon, включив журналирование тестовой БД :), я получил результат, подобный Вашему. Правда, не в 20, но в 5 раз ускорение по записи при отключенном directio. Оказалось, что установка по умолчанию usedirectio=0 равносильна usedirectio=2 (т.е. use direct i/o только для журналов), что, в общем-то, не было неожиданностью. И никаких предупреждений в cconsole.log, когда я выставил usedirectio=-1. Т.е., ISC не боится потери журнала при аварии в Linux, но почему-то опасается этого в Solaris. М.б., кто-то из ИнтерСистемз это прокомментирует?
...
Рейтинг: 0 / 0
22.12.2009, 19:35
| Ответить | Цитировать | Написать  
Quad Core + Suse 10 + Cache
    #36381198
=Dimon=
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
=Dimon=
Участник
Alexey Maslov,

Может и прокомментируют. Вообще я завел проблему в WRC по этому вопросу.
Ускорение такое большое может быть потому, что я использую PCI-E RAID контроллер видимо у него еще свои особенности с позиционированием.
...
Рейтинг: 0 / 0
23.12.2009, 04:26
| Ответить | Цитировать | Написать  
Quad Core + Suse 10 + Cache
    #36385343
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Maslov
Участник
Продолжаем рихтовать Linux/x64. Действуя согласно разделу "Support for Huge Memory Pages for Linux" (появился в документации начиная с 2009.1), создаем область "огромных" страниц памяти размером несколько больше размера кэша. Например, при кэше 2048Мб
Код: plaintext
# echo  1060  > /proc/sys/vm/nr_hugepages
(размер одной страницы = 2Мб). Проверяем эффект:
Код: plaintext
# tail - 4  /proc/meminfo
Запускаем Cache и снова проверяем эффект (в cconsole.log ничего про huge pages не пишется). По предварительным оценкам, ускоряет работу с кэшем примерно на 30%.
...
Рейтинг: 0 / 0
24.12.2009, 18:57
| Ответить | Цитировать | Написать  
8 сообщений из 8, страница 1 из 1
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Quad Core + Suse 10 + Cache
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]