ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / Производительность ASE 11.9.2 на AMD Opteron (Win2000)
24 сообщений из 24, страница 1 из 1
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33365178
_madcoder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_madcoder
Гость
Здравствуйте!
Столкнулись с проблемой низкой производительности сервера.
В частности, построчный update таблицы курсором; сравнивалось время выполнения одинакового кода на 2-х ASE, первый - на 2xOpteron RAM 2048 HDD SCSI, второй - на 1хIntel P-4 RAM 256 HDD ATA100

DBMS_VER SQL Server/11.9.2/1031/P/NT (IX86)/OS 3.51, 4.0/FBU
Мониторинг показал - на машине AMD скорость физ. записи на диск примерно в 6 раз ниже, чем на машине Intel, во время выполнения тестового кода. При этом скорость записи на диск в среде ОС нормальная и соответствует спецификациям производителя HDD. Все устройства в ASE - файлы (не raw partition).
Есть мнение, что ASE даже с файлами работает напрямую, не используя средства ОС, и криво работает на платформе AMD Opteron. Может ли кто что-нибудь сказать по этому поводу, подтвердить или опровергнуть это мнение ?
Заранее спасибо.
...
Рейтинг: 0 / 0
07.11.2005, 20:39
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33365218
Фотография Zhora
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Zhora
Участник
Звучит как write-cache на дисках разные (on/off под Windows).
...
Рейтинг: 0 / 0
07.11.2005, 21:14
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33366586
_madcoder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_madcoder
Гость
Если Вы имели ввиду опцию Write Cache Enabled на вкладке свойств HDD в винде, то похоже, да, на машине P4 с ATA диском опция доступна и включена, а на Оптеронах, на всех SCSI винтах эта опция недоступна и выключена.

Попробую отключить на P4 и снова сравнить. Спасибо !
...
Рейтинг: 0 / 0
08.11.2005, 14:00
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33367235
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
_madcoder
Столкнулись с проблемой низкой производительности сервера.
В частности, построчный update таблицы курсором; сравнивалось время выполнения одинакового кода на 2-х ASE, первый - на 2xOpteron RAM 2048 HDD SCSI, второй - на 1хIntel P-4 RAM 256 HDD ATA100


Производительность ASE (как и любой другой СУБД) в последнюю очередь зависит от частоты и марки процессора. Потому что СУБД -- это большая-большая читалка-писалка диска.

_madcoder
DBMS_VER SQL Server/11.9.2/1031/P/NT (IX86)/OS 3.51, 4.0/FBU
Мониторинг показал - на машине AMD скорость физ. записи на диск примерно в 6 раз ниже, чем на машине Intel, во время выполнения тестового кода.

Скорее всего, у вас по-разному настроены ASE/OS/hardware.

_madcoder
Есть мнение, что ASE даже с файлами работает напрямую, не используя средства ОС, и криво работает на платформе AMD Opteron.


ASE использует средства OS для чтения файлов. А как иначе-то ? Думаете она напрямую контролеером диска управляет ? Это в защищенной -то среде виртуальной машины, которую большинство ОС, под которой работает ASE, изображают для приложений ?

_madcoder
Может ли кто что-нибудь сказать по этому поводу, подтвердить или опровергнуть это мнение ?


Надо посмотреть, сертифицирована ли ASE на работу на этом процессоре. Но скорее всего он отдельно не рассматривается, а берется вся OS (Win32 , т.е.).
Конечно, чисто теоретически такое быть может - СУБД программа специфическая, и она, например, может работать как-то так, что процессор будет работать самым неоптимальным образом. Но мне в это вериться слабо, я бы на вашем месте лишних десять раз перепроверил конфигурации машин и ASE.

Да, кстати, как вы мерили скорость физ. записи на диск ?

И еще -- СУБД -- не та программа , которой нужен быстрый процессор, я бы на вашем месте не экспериментировал бы, а брал стандартный XEON или, что еще лучше, SUN.
...
Рейтинг: 0 / 0
08.11.2005, 17:13
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33367243
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Чтой-то я стормазил,
1) 2xOpteron RAM 2048 HDD SCSI,
2) 1хIntel P-4 RAM 256 HDD ATA100
- Не могут быть эти машинки одинаково сконфигурены в принципе, так что тут процессор уж всяко ни при чем.
...
Рейтинг: 0 / 0
08.11.2005, 17:15
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33367494
_madcoder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_madcoder
Гость
MasterZiv
ASE использует средства OS для чтения файлов. А как иначе-то ? Думаете она напрямую контролеером диска управляет ? Это в защищенной -то среде виртуальной машины, которую большинство ОС, под которой работает ASE, изображают для приложений ?


Я думаю также, как Вы. Про чтение файлов. Просто знакомый сисадмин, которого пригласили помочь, высказал такую вот гипотезу...

MasterZiv
Да, кстати, как вы мерили скорость физ. записи на диск ?


Стандартным виндовым монитором... параметры File Write, bytes/sec, %Disc Time

Видимо, подтверждается гипотеза с отложенной записью на диск.
На машине P4 write cache был включен, его отключение и прогон теста дали резкое снижение скорости. На машине AMD, этот кэш отключен и вообще не доступен для включения; задал вопрос в профильной конфе, можно ли отложенную запись включить на scisi в Win32...
...
Рейтинг: 0 / 0
08.11.2005, 18:34
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33367521
sybdba
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sybdba
Участник
_madcoder
Видимо, подтверждается гипотеза с отложенной записью на диск.
На машине P4 write cache был включен, его отключение и прогон теста дали резкое снижение скорости. На машине AMD, этот кэш отключен и вообще не доступен для включения; задал вопрос в профильной конфе, можно ли отложенную запись включить на scisi в Win32...

супер!, винда говорит sybase-у, что данные записаны, а на самом деле кладет их в очередь на запись ... и в этот момент пропадает электричество
вместе с данными в очереди ;)
...
Рейтинг: 0 / 0
08.11.2005, 18:44
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33367525
Dim2000
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dim2000
Участник
sybdba wrote:

> кладет их в очередь на запись ... и в этот момент пропадает электричество
> вместе с данными в очереди ;)

Можно, я не буду рассказывать, что такое UPS ?
Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
08.11.2005, 18:46
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33367836
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
UPS - ы тоже не вечные. Обычно либо отключают кэш на запись для СУБД, либо приобретают контроллеры RAID с независимым аварийным питанием.
...
Рейтинг: 0 / 0
09.11.2005, 00:08
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33370056
iLLer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iLLer
Участник
Вот, твою мать!
А я понять не мог, как это вынужденное жесткое вырубание питания поломало
базу АСА9!
Ведь СУБД сама ведет свой лог, чтоб в случае чего можно было
восстанавливаться, а винды оказывается сами где-то что-то кешируют!!! ТАК
ЭТО ВСЕ ИЗ-ЗА НИХ?!
Пошел снимать галки...


Posted via ActualForum NNTP Server 1.3
...
Рейтинг: 0 / 0
09.11.2005, 22:52
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33370156
_Dog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Dog
Участник
MasterZiv
Надо посмотреть, сертифицирована ли ASE на работу на этом процессоре.

Small remark, создание ASE 11ххх завершилось еще до 2000 года. АМД Оптеронов тогда еще не было :)
...
Рейтинг: 0 / 0
10.11.2005, 07:46
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33370544
iLLer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iLLer
Участник
Че-то я вчера погорячился...
Отключив галки производительность сервера в операциях модификации данных упала раза в 1.5-2. Вот интересно, получается, что СУБД АСА делает кэширование записи на диск не так хорошо, как это получается у ОС. Вот и думай после этого...
Лучше там, где есть УПС я галочки назад поставлю...
...
Рейтинг: 0 / 0
10.11.2005, 11:20
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33370963
sybdba
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sybdba
Участник
iLLer
Вот, твою мать!
А я понять не мог, как это вынужденное жесткое вырубание питания поломало
базу АСА9!
Ведь СУБД сама ведет свой лог, чтоб в случае чего можно было
восстанавливаться, а винды оказывается сами где-то что-то кешируют!!! ТАК
ЭТО ВСЕ ИЗ-ЗА НИХ?!
Пошел снимать галки...


Posted via ActualForum NNTP Server 1.3

это можно увидеть воочию при записи чего-то большого на флэшку - far уже отрепортовал, что всё записано, а флешка еще мигает с минуту и винда не дает её отключать ;)
...
Рейтинг: 0 / 0
10.11.2005, 12:58
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33370972
sybdba
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sybdba
Участник
iLLerЧе-то я вчера погорячился...
Отключив галки производительность сервера в операциях модификации данных упала раза в 1.5-2. Вот интересно, получается, что СУБД АСА делает кэширование записи на диск не так хорошо, как это получается у ОС. Вот и думай после этого...
Лучше там, где есть УПС я галочки назад поставлю...
она не кеширует, а пишет непосредственно ... мелкими кусочками и часто
винда же собирает данные для записи в пакет и пишет большим куском, но "редко" ;)
...
Рейтинг: 0 / 0
10.11.2005, 12:59
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33371042
Фотография ASCRUS
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ASCRUS
Участник
iLLerЧе-то я вчера погорячился...
Отключив галки производительность сервера в операциях модификации данных упала раза в 1.5-2. Вот интересно, получается, что СУБД АСА делает кэширование записи на диск не так хорошо, как это получается у ОС. Вот и думай после этого...
Лучше там, где есть УПС я галочки назад поставлю...
Это что же там за галки такие то ? Что то я не понимаю - если сервер ASA не запущен с параметрами кэширования ОС, то винда все что он делает, пишет напрямую, минуя файловый кэш. Если в ASA разрешить кэширование ОС, то тогда действительно скорость может возрасти, но большой риск потери БД в случае экстренного отключение питания (чем например, частенько и балуются Interbase-ники, показывая потом, как у них со скоростью все в порядке).

авторА я понять не мог, как это вынужденное жесткое вырубание питания поломало
базу АСА9!
Вот не стоит забывать одной вещи - БД находится все таки на файловой системе и уже от ОС зависит, насколько надежна файловая система в таких случаях.

P.S. И кстати не нужно путать понятия кэша винта и кэша файловой системы Windows, все таки разные вещи то
...
Рейтинг: 0 / 0
10.11.2005, 13:15
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33372374
iLLer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iLLer
Участник
Про флэшки-то я и так знал, но не ожидал, что винда контролирует доступ СУБД к файлам БД. Я думал, что в работу АСА с файлами никто не вмешивается.

Вот я о том и говорю, что СУБД трудно писать что ли в каую-нить область памяти часто, а скидывать на диск данные и в лог-журнал реже?! Делаю вывод, что хреново организовано скидывание на диск информации, раз винды могут делать это быстрее. Ведь никто не мешает организовать АСА сделать у себя кэш записи, только его работа, в отличие от работы кэша ОСи, будет синхронна с ведением лога!

ASCRUSЭто что же там за галки такие то ? Что то я не понимаю - если сервер ASA не запущен с параметрами кэширования ОС, то винда все что он делает, пишет напрямую, минуя файловый кэш. Если в ASA разрешить кэширование ОС, то тогда действительно скорость может возрасти, но большой риск потери БД в случае экстренного отключение питания (чем например, частенько и балуются Interbase-ники, показывая потом, как у них со скоростью все в порядке).
Галки на вкладке policie в свойствах физ.дисков. Они работают не зависимо от установок в АСА.
АСА не пишет напрямую в файл, по крайней мере никаких ключей в запуске сервера относящихся к кэшированию записи я не ставил и по умолчанию всю СУБДшную писанину на диск ОС гонит через свой буфер, НЕ ГАРАНТИРУЯ физической записи.

ASCRUSВот не стоит забывать одной вещи - БД находится все таки на файловой системе и уже от ОС зависит, насколько надежна файловая система в таких случаях.
Файловая система тут не причем. Абсолютно. Да, НТФС гарантирует целостность файла, т.е. при сбое в записи в файл, при восстановлении по журналу ФС(в нтфс есть такие) мы получим версию файла, которая была до попытки записи в файл, т.е. на момент открытия файла или внутренней контрольной точки. НО ФС не гарантирует целостности группы файлов.
Согласитесь, если мы сначала писанули в один файл (например в файл данных), потом писанули в файл лога, и тут кончилось эл-во! Файл данных один, лог другой. Прально, СУБД по своему журналу установит этот факт и сделает откат. А теперь, представьте, тоже самое, но вот только реальной писанины в файл данных не было! Т.е. винда ответила СУБД, что "я скинула на диск, все ОК", СУБД пошло отмечать в свой журнал, потом винда все же решила скинуть все на диск и скинула в обратной последовательности, причем изменения в лог-файл физически записались, а в файл данных не успели. Что будет? Прально, при восстановлении СУБД выругается, что не могу найти страницу в файле данных, у нее же четко в логе записано, что предыдущая операция записи прошла удачно - страница должна быть, а нет....
ФС тут не причем. Это кэширование ОС.

ASCRUSP.S. И кстати не нужно путать понятия кэша винта и кэша файловой системы Windows, все таки разные вещи то
Очень смешно. Кэш файловой системы - очень интересно что это такое?! И где это я попутал кэш диска и ОСовый кэш? Я про кэш диска, про аппаратный кэш - ничего не говорил.

P.S.: ASCRUS, Вы разве никогда не получали assertion'ов? Думаете они из-за того, что СУБД плохая, или из-за того что физ.действительность не соответствует показанием лога БД? Спрашивается, а что это за СУБД такая, у которой сохранность не гарантирована? А вот потому и не гарантирована, что в процессе записи участвуют третьи силы (кэш записи ОС, кэш записи диска и т.п.)
...
Рейтинг: 0 / 0
11.11.2005, 00:03
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33373441
_kvs
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_kvs
Участник
По поводу мнения, что тч и тип процессора слабо влияет на производительность СУБД.
Ощутимо влияет, на третьем месте после дисков и кэша в оперативке (проверено, когда была авария одного процессора на двухпроцессороном Sun, хотя СУБД была Oracle, но это непринципиально)

Кроме того, возможна ситуация, когда одна машинка будет быстрее обрабатывать один запрос, чем другая, а вот если будет несколько десятков коннектов и несколько десятков одновременных запросов, то вторая машинка может и вперед далеко уйти... Все зависит оттипа платформ и конфигурации
К слову, современный IDE накопитель часто в однозадачной однопользовательской среде производительнее, чем SCSI.
...
Рейтинг: 0 / 0
11.11.2005, 12:58
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33374755
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
iLLerПро флэшки-то я и так знал, но не ожидал, что винда контролирует доступ СУБД к файлам БД. Я думал, что в работу АСА с файлами никто не вмешивается.

Это практически невозможно ни в одной современной операционной системе. В смысле чтобы ОС не вмешивалась в работу приложения с файлами.
...
Рейтинг: 0 / 0
11.11.2005, 22:46
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33375152
Фотография Ggg_old
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ggg_old
Участник
2Iller:
Уточненьице.
НТФС бы не гарантирует восстановления инфориации в файле в случае сбоя. Журналирование работает только на поддержание целостности метаинформации, т.е. каталога.
Пишу по памяти, но кажется это так.
...
Рейтинг: 0 / 0
12.11.2005, 22:04
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33376177
Трава у дома
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Трава у дома
Гость
MasterZivЭто практически невозможно ни в одной современной операционной системе. В смысле чтобы ОС не вмешивалась в работу приложения с файлами.


дык для этого ведь raw devices придуманы, так, нет?


И еще - когда пресловутая Write Cache Enabled отключена - я насколько понимаю что при этом
как раз Windows должна _гарантировать_, что при fclose() или fflush() данные попадут именно на диск (точнее - в контроллер , кеширует ли он - вопрос уже не винды) а не в какой-то там кеш. Иначе в Windows невозможна была бы эксплуатация СУБД, использующих файловые системы. А это был бы бред.
...
Рейтинг: 0 / 0
14.11.2005, 11:21
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33376512
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MasterZiv
Участник
Raw использовались в основном в Unix-like системах, потому что там не было API , позволявшей гарантированно записать на диск. В Win32 изначально такое API было. Raw device на unix кстати не означает, что процесс обмена происходит без вмешательства ОС.
...
Рейтинг: 0 / 0
14.11.2005, 13:00
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33376839
Трава у дома
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Трава у дома
Гость
да, от этого не уйти, доступ к устройству конечно идет через ОС...
Но все-таки авторAPI , позволявшей гарантированно записать на диск - она в винде например явно есть и через нее работают СУБД , а иначе куда смотрят их разработчики собственно говоря :-)
...
Рейтинг: 0 / 0
14.11.2005, 14:51
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33404413
_madcoder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_madcoder
Гость
_kvs
Кроме того, возможна ситуация, когда одна машинка будет быстрее обрабатывать один запрос, чем другая, а вот если будет несколько десятков коннектов и несколько десятков одновременных запросов, то вторая машинка может и вперед далеко уйти... Все зависит оттипа платформ и конфигурации
К слову, современный IDE накопитель часто в однозадачной однопользовательской среде производительнее, чем SCSI.

Вот с этим согласен на 200% !!


Мои изыскания пока не закончились... На слабой машине (P4) отключение write cache приводит к сильному снижению скорости выполнения тестового кода, но на Оптеронах, включение этого кэша, во всяком случае, для этого же тестового кода, ни к чему не приводит ! Скорость выполнения такая же, как без кэша ! Вот это новая загадка... Буду пробовать ещё переставить дрова на мат. плату Оптеронов, может, это поможет.

ЗЫ
А ОСовый write cache для SCSI доступен, если контроллер без поддержки RAID, а иначе недоступен; можно только включить аппаратный кэш на рэйде средствами его конфигурирования.
...
Рейтинг: 0 / 0
28.11.2005, 19:25
| Ответить | Цитировать | Написать  
Производительность ASE 11.9.2 на AMD Opteron (Win2000)
    #33404666
Фотография Zhora
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Zhora
Участник
По-видмому на "быстрой" машине кэш котроллера/диска невелик и "быстро"
заполняется при сильной нагрузке, так что запись в него с "одного края" кэша приводит фактически к выталкиванию "крайней" записи на "другом крае" кэша, т.е. все равно идет запись на диск. На "медленной" машине кэш успевает записаться до прихода нового запроса на запись асинхронно и каждый раз готов (пуст, почти пуст) к принятию новой записи.
...
Рейтинг: 0 / 0
29.11.2005, 00:26
| Ответить | Цитировать | Написать  
24 сообщений из 24, страница 1 из 1
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / Производительность ASE 11.9.2 на AMD Opteron (Win2000)
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]