Марк, а похожей на Swingbench штуки "у нас" нет? (Похожей - чтобы была забесплатно, чтобы достаточно просто конфигурировалась и давала интересные результаты... а если бы ещё кроссплатформенная, чтобы с Oracle можно было посравнивать...)

А как, по-вашему, она ещё может тестировать?

Естественно, дела обстоят несколько сложнее:
базы "осмысленные", что-то из себя изображают, хотя есть и чисто синтетический тест,
подсчитываются не только миллисекунды,
запросы идут не обязательно из одной точки (запросчиков можно распределить по сети), не обязательно к одному узлу,
но результаты сводятся в одной точке и рисуются красивые графики,
запросы, конечно, могут создаваться не на клиенте, а внутри хранимой процедуры (dynamic SQL),
кое-какие параметры можно подкручивать прямо на ходу,
...
Хотя, в общем-то, я сам только-только приступил к изучению этой штуки. Но на вид достаточно простая. Я уже запустил у себя на домашнем компьютере один из тестов и понял, что больше такое делать не хочу (Oracle немедленно загрузил всё четыре процессорных ядра, причём так плотно, что я с огромным трудом его прибил, shutdown abort) - оставлю до выхода на работу, пусть сервера терзает.

Наверняка в продаже есть куча подобных штук (Quest *, Rational * etc), но, как обычно, контору, мягко говоря, непросто будет заставить раскошелиться.

АбсолютА какие параметры вас интересуют при тестирование производительности? Ну, трафик, там еще что-то? Соцопрос)

Прямо сейчас меня волнует разбивка дисков и распределение файлов по ним. Кроме того, интересно, например, сравнить поведение одной и той же базы под Windows и Linix. А Oracle предлагает для старого (5.5) RHEL новое ядро, якобы сильно повышающее производительность в ряде случаев - и это тоже можно посравнивать. "Практика - критерий истины". Думаешь одно, потом проводишь тесты, а на их выходе получаешь совсем другое.
И про запросы я не особо понял. Вызывается хп, из неё генерируется на выходе скуль скрипт и он же потом запускается бенчмарк тестом?
Эта штука генерирует кучу коннектов, которые выполняют одновременно кучу запросов. Какие это запросы, я на самом деле пока не вникал. Насколько я понял, туда можно добавлять свои тесты - и, следовательно, вызывать свои хранимые процедуры. Таким образом, если и она не делает по умолчанию то, что я сказал, то её вполне можно заставить. Фокус в том, что если мы хотим очень сильно нагрузить базу для теста и при этом не беспокоиться о пропускной способности сети, я не вижу варианта, кроме как передоверить хранимой процедуре это пыточное занятие.

АбсолютПочему я так пристально тут всех распрашивал, это потому, что сам писал (да-да, я не бдадмин, а обычный программист) тулзу, которая создает кучу коннектов, берет файлик с запросами и поочередно запрашивает ими базу


Дело-то само по себе нехитрое, но ведь если заняться этим как следует, то займёт довольно много времени.

(там можно было еще немножко и разнообразить скрипт если задать %INT FROM 1 TO 10000% и тогда в это место будет проставляться цифры от 1 до 10000). И мне показалось в итоге, что я занимаюсь какой-то фигнёй, и что результаты далеки от истины и бросил это делать.

А что есть "истина"? Я бы предпочёл говорить о пользе.

Можно, например, поступить так: моделировать существующую конкретную базу. Т.е. взять какую-нибудь базу и сохранить её данные на момент X. Затем накопить запросы, поступающие от клиентов, с момента X до момента Y, тоже сохранить. Затем восстанавливать данные и проигрывать запросы в различной обстановке (например, на разном оборудовании, на разных ОС, с разным набором индексов и т.п.). Это довольно интересная возможность, хотя я считаю, что это полезно дополнять синтетикой.

Есть более традиционные методы. Например, придумываем абстрактную модель (абстрактные заказы, абстрактный биллинг, абстрактный магазин), поступающие запросы от абстрактных клиентов... Это путь TPC, Swingbench и прочих. Я от самой TPC никакой пользы не вижу (ну какое отношение имеет какой-нибудь рекорд какого-нибудь производителя на каком-нибудь дорогущем оборудовании в каком-нибудь тесте TPC-C к моим реальным базам и моему оборудованию?), но Swingbench надеюсь настроить. Если хотите понимать, как настраивать свою реальную базу таким путём, надо будет подобрать похожую абстрактную, что может быть нелёгким делом.

Есть синтетика. Такие тесты, где мы не пытаемся подражать реальным базам. Например, изучаем мелкий аспект - берём таблицу в сотню миллионов строк и делаем на ней update. Это может быть не такой простой тест - к примеру, update'ом будут заниматься 1,2,4,8,16,32,64,128 коннектов за раз. Построить зависимость от величины страницы, наличия тех или иных индексов. Изучить зависимость времени сортировки на таблицах различного размера и с различным количеством одновременно выполняющихся сортировок. И т.д. К реальным задачам не обязательно привязано, но важно для понимания, как что устроено, почему так получилось, как ускорить.