Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / ERP и учетные системы [игнор отключен] [закрыт для гостей] / Сравнение инструментов тестирования производительности учетных систем / 25 сообщений из 38, страница 1 из 2
07.03.2007, 00:08
    #34376095
Shuhard
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
http://v8.1c.ru/tc_web/tc_overview.htm
Microsoft Benchmark Tool
Сергей - поправьте ссылку, Ваша с http://axapta.mazzy.ru/lib/axapta_benchmark/ на http://www.microsoft.com/Rus/BusinessSolutions/Solutions/Axapta/Scaling/Production.mspx не работает

Адекватны ли результаты тестирования ?
...
Рейтинг: 0 / 0
07.03.2007, 01:02
    #34376141
mazzy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
Shuhard http://v8.1c.ru/tc_web/tc_overview.htm
Microsoft Benchmark Tool
Сергей - поправьте ссылку, Ваша с http://axapta.mazzy.ru/lib/axapta_benchmark/ на http://www.microsoft.com/Rus/BusinessSolutions/Solutions/Axapta/Scaling/Production.mspx не работает

Адекватны ли результаты тестирования ?
Э-э-э... Есть еще http://axapta.mazzy.ru/lib/axapta_benchmark_2005/

Дело в том, что в Аксаптовском тесте сознательно использовался инструмент, встроенный в Аксапту.
Причем сознательно делался тест, который не требует модификаций кода.

Любой, у кого есть Аксапта может запустить этот же тест на стандартном приложении.
В условиях тестирования Аксапты приведены все параметры для генерации такого же теста.

В 1С используется отдельная конфигурация (не знаю есть ли она на ИТС, просто еще не интересовался). Как эта отдельная конфигурация связана с типовыми и как влияет на типовые - не ясно. А в методичке об этом не написано.

Кроме того, до тестирования Аксапты специально генерилась база данных достаточно большого размера, чтобы данные гарантировано не помещались в кэш SQL-сервера. А размер базы 1С не указан.

Кроме того у 1С указано: " Каждый тестовый пользователь создает документы со своим уникальным набором товаров, то есть все движения документов записываются параллельно, не приводя к блокировкам. "


Я не очень понимаю вопроса "Адекватны ли результаты тестирования ?"
Скорее всего, вы хотели спросить "сопоставимы ли результаты тестирования?"

Смотрите сами.

1С: "при одновременной работе 200 пользователей на 1С:Предприятии 8.1 тестовый пользователь вводил 965 строк в час"
Axapta: "Стандартный пользователь Axapta - ASU (Axapta Standard user). 1 ASU соответствует той нагрузке, которую создает пользователь, обрабатывающий 50 строк заказов в час."

Значит 200 пользователей 1С примерно соответствуют 965/50*200 = 3860 ASU

1C:
* Тестовых пользователей 200, что примерно соответствует 3860 ASU
* среднее время записи и проведения одного документа составило 3.47 секунды.
* 190 000 строк документов в час
* Размер тестируемой базы данных: ???

Axapta
* Стандартных пользователей Axapta (ASU): 1086
* Среднее время отклика: 0.925 сек
* Среднее количество обрабатываемых строк заказов: 54.3 тысячи в час
* Размер тестируемой базы данных: 15 Gb

==================
Тестовый стенд 1С
* Сервер MS SQL 2000 SP4: ? * (2 * DualCore Intel Xeon, 2666 МГц, 8GB RAM, 6 дисков в режиме Ultra320 SCSI RAID 0 (stripe)
* Сервер 1С:Предприятия ? * (2 * Intel Xeon MP, 2800 МГц, 4 GB RAM , 2 * Ultra320 SCSI RAID 0 (stripe))

Тестовый стенд для тестирования Axapta

* сервер баз данных: 1 * IBM eServer xSeries 455 (4 * Itanium 2 1.5 GHz , 8 GB RAM )
* серверы приложений: 5 * IBM HS 20 ( BladeCenter ) (2 * Xeon 3.6 GHz , 3 GB RAM )


Вроде цифры похожи. НО!

Каков был объем тестируемой базы? Когда мы начали тестировать Аксапту на пустой базе, у нас были такие запредельные цифры, что мы сами им не поверили. Поэтому перед всеми нашими тестированиями мы создавали базу достаточного объема этим же штатным инструментом тестирования.

Если еще учесть условие о том, что "Каждый тестовый пользователь создает документы со своим уникальным набором товаров"... Скажу честно, мы до такой "оптимизации" не додумались...

Кроме того, хотелось бы понять фразу 1Совского пресс-релиза "Расчет себестоимости списываемых товаров не производится." Это значит, что себестоимость проданного товара = 0? В Аксапте при расходе всегда выполняется расчет себестоимости по среднему.


А вообще говоря, спасибо 1Су за публикацию результатов тестирования.
Интересно было бы увидеть подобные тестирования и для других систем.

==================
Спасибо, ссылку поправлю.
...
Рейтинг: 0 / 0
07.03.2007, 01:48
    #34376173
mazzy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
И еще.
Со времен тестирования http://axapta.mazzy.ru/lib/axapta_benchmark/
были и другие. Вот некоторые в публичном доступе:

http://axapta.mazzy.ru/lib/axapta_benchmark_2005/
http://axapta.mazzy.ru/lib/axapta_itanium/
http://www.microsoft.com/dynamics/ax/product/hpbenchmark.mspx
http://corp.cnews.ru/news/line/index.shtml?2006/09/29/212560

Может есть ссылки на результаты тестирования других ERP и учетных систем?
А также на инструменты для тестирования.
...
Рейтинг: 0 / 0
07.03.2007, 08:26
    #34376329
gybson
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
Кроме того, хотелось бы понять фразу 1Совского пресс-релиза "Расчет себестоимости списываемых товаров не производится." Это значит, что себестоимость проданного товара = 0?


Не проводилось списание по партиям я думаю. Один из методов ведения учета - списание партий в конце каждого месяца.
...
Рейтинг: 0 / 0
07.03.2007, 14:27
    #34377567
mazzy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
gybsonНе проводилось списание по партиям я думаю. Один из методов ведения учета - списание партий в конце каждого месяца.
Партионный учет был. По крайней мере так написано в документе.
...
Рейтинг: 0 / 0
07.03.2007, 14:45
    #34377615
Флеймер
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
Shuhard http://v8.1c.ru/tc_web/tc_overview.htm
Microsoft Benchmark Tool
Сергей - поправьте ссылку, Ваша с http://axapta.mazzy.ru/lib/axapta_benchmark/ на http://www.microsoft.com/Rus/BusinessSolutions/Solutions/Axapta/Scaling/Production.mspx не работает

Адекватны ли результаты тестирования ?


У меня ни когда ввод данных узким местом небыл. Узким местом обычно оказывался
1) Запуск хитрых отчетов или обработок написанных кривыми руками. Это обычно проблема СУБД 2) Линии связи при удаленном вводе.

Те надо проделать тест при запущенных отчетах. Если запуск тяжелых отчетов не тормозит ввод в систему, а увеличивает время выполнения отчета, то система вполне адекватна.
...
Рейтинг: 0 / 0
07.03.2007, 14:51
    #34377643
mazzy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
ФлеймерТе надо проделать тест при запущенных отчетах. Если запуск тяжелых отчетов не тормозит ввод в систему, а увеличивает время выполнения отчета, то система вполне адекватна.
Отчет - читает. Отчет не пишет в базу.

Тяжелые отчеты могут тормозить только в том случае, если чтение не приводит к блокировкам.
Аксапта работает на Оракле и SQL2005, где проблема блокировок на чтение не является острой.
Вот для Аксапты на SQL2000 такая проблема действительно была.

А в 1С используется грязное чтение. Там эту проблему "обошли".
...
Рейтинг: 0 / 0
07.03.2007, 14:54
    #34377648
gybson
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
А в 1С используется грязное чтение


С каких это пор?
...
Рейтинг: 0 / 0
07.03.2007, 15:02
    #34377678
mazzy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
gybson
А в 1С используется грязное чтение


С каких это пор?
Всегда, насколько я помню. Я ошибаюсь?

Если я ошибаюсь, то проблема блокировок есть и в 1С.
Тогда действительно тестирование надо проводить одновременно с отчетами.
...
Рейтинг: 0 / 0
07.03.2007, 15:09
    #34377703
gybson
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
Если я ошибаюсь, то проблема блокировок есть и в 1С.
Тогда действительно тестирование надо проводить одновременно с отчетами.


У всех есть проблема блокировок, что-нибудь, да не резиновое, хотя бы сеть. При проведении документа идет контроль остатков, что можно считать "миниотчетом" :)
...
Рейтинг: 0 / 0
07.03.2007, 15:13
    #34377725
Флеймер
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
mazzy ФлеймерТе надо проделать тест при запущенных отчетах. Если запуск тяжелых отчетов не тормозит ввод в систему, а увеличивает время выполнения отчета, то система вполне адекватна.
Отчет - читает. Отчет не пишет в базу.

Тяжелые отчеты могут тормозить только в том случае, если чтение не приводит к блокировкам.


Или если они под 95% занимают дисковые и процессорные ресурсы сервера.
...
Рейтинг: 0 / 0
07.03.2007, 15:22
    #34377762
mazzy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
gybson
Если я ошибаюсь, то проблема блокировок есть и в 1С.
Тогда действительно тестирование надо проводить одновременно с отчетами.


У всех есть проблема блокировок, что-нибудь, да не резиновое, хотя бы сеть. При проведении документа идет контроль остатков, что можно считать "миниотчетом" :)

Щас рыдать буду...
Проведение документа проводится в транзакции... Если вам это о чем-то говорит...

Да, "что-нибудь, да не резиновое". Только к такому выводу и можно прийти...
А где, что... Какие решения принимать, а какие не принимать... Какая разница, ведь "что-нибудь, да не резиновое"
"8.1 лучше 8.0"!
...
Рейтинг: 0 / 0
07.03.2007, 15:26
    #34377784
gybson
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
Проведение документа проводится в транзакции... Если вам это о чем-то говорит...


И? Давайте разовьем мысль и потом еще раз вернемся к отчетам, которые, как ни странно, тоже в транзакции выполняются.
...
Рейтинг: 0 / 0
07.03.2007, 15:31
    #34377798
mazzy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
gybson
Проведение документа проводится в транзакции... Если вам это о чем-то говорит...


И? Давайте разовьем мысль и потом еще раз вернемся к отчетам, которые, как ни странно, тоже в транзакции выполняются.
Да! Вы уже почти на финишной прямой!

И транзакции в отчетах и документах отличаются чем?
...
Рейтинг: 0 / 0
07.03.2007, 15:33
    #34377807
gybson
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
mazzy gybson
Проведение документа проводится в транзакции... Если вам это о чем-то говорит...


И? Давайте разовьем мысль и потом еще раз вернемся к отчетам, которые, как ни странно, тоже в транзакции выполняются.
Да! Вы уже почти на финишной прямой!

И транзакции в отчетах и документах отличаются чем?

Уровень изоляции совершенно одинаковый, сериалайзбл, извините за мой англиский.
...
Рейтинг: 0 / 0
07.03.2007, 15:36
    #34377822
mazzy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
gybsonУровень изоляции совершенно одинаковый, сериалайзбл, извините за мой англиский.
Разве?

Хорошо, не будем спорить в этой ветке.
Это значит, что отчет в 1С эквивалентен проведению документа с такой же продолжительностью.
Поэтому отчеты отдельно не тестировались.
(ужасный вывод, ну да бог с вами).

Вернемся к теме?
" Re: Сравнение инструментов тестирования производительности учетных систем "
...
Рейтинг: 0 / 0
07.03.2007, 15:40
    #34377837
gybson
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
Это значит, что отчет в 1С эквивалентен проведению документа с такой же продолжительностью.


Нет. Отчет не меняет данных.
...
Рейтинг: 0 / 0
07.03.2007, 15:50
    #34377876
mazzy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
gybson
Это значит, что отчет в 1С эквивалентен проведению документа с такой же продолжительностью.


Нет....
Тогда тестирование должно проводится и на отчетах тоже :)
...
Рейтинг: 0 / 0
07.03.2007, 15:53
    #34377885
gybson
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
mazzy gybson
Это значит, что отчет в 1С эквивалентен проведению документа с такой же продолжительностью.


Нет....
Тогда тестирование должно проводится и на отчетах тоже :)

Интенсивный ввод документов еще хоть как-то близок к реальности. Какой отчет предлагается формировать и с какой частотой? :)
...
Рейтинг: 0 / 0
07.03.2007, 15:55
    #34377891
Сисой
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
mazzy gybson
А в 1С используется грязное чтение


С каких это пор?
Всегда, насколько я помню. Я ошибаюсь?

Если я ошибаюсь, то проблема блокировок есть и в 1С.
Тогда действительно тестирование надо проводить одновременно с отчетами.

И да и нет. Зависит от того, как будет написан запрос.
Если Select Tab1.* From Tab1,Tab2 Where ... For Updating , таблицы Tab1 и Tab2 будут заблокированы на время чтения данных.
Если просто Select Tab1.* From Tab1,Tab2 Where ... , то будет выполнено "грязное" чтение.
...
Рейтинг: 0 / 0
07.03.2007, 16:10
    #34377947
gybson
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
Если просто Select Tab1.* From Tab1,Tab2 Where ... , то будет выполнено "грязное" чтение.


вот опять, не умеет она "грязно" читать
...
Рейтинг: 0 / 0
07.03.2007, 16:10
    #34377952
mazzy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
gybsonИнтенсивный ввод документов еще хоть как-то близок к реальности. Какой отчет предлагается формировать и с какой частотой? :)
Вы меня спрашивете?
Вам же сказали "тяжелый". Добавлю: часто испольуемый пользователями.
С той частотой которая чаще всего возникает при реальной работе.
...
Рейтинг: 0 / 0
07.03.2007, 16:13
    #34377964
mazzy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
ясно.
давайте про грязное чтение в отдельный топик.

здесь тема "Re: Сравнение инструментов тестирования производительности учетных систем"
...
Рейтинг: 0 / 0
07.03.2007, 16:17
    #34377975
gybson
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
mazzy gybsonИнтенсивный ввод документов еще хоть как-то близок к реальности. Какой отчет предлагается формировать и с какой частотой? :)
Вы меня спрашивете?
Вам же сказали "тяжелый". Добавлю: часто испольуемый пользователями.
С той частотой которая чаще всего возникает при реальной работе.

Так в том и суть, что он по сравнению с документами не заиграет никак.
...
Рейтинг: 0 / 0
07.03.2007, 16:21
    #34377993
iscrafm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сравнение инструментов тестирования производительности учетных систем
gybson
Если просто Select Tab1.* From Tab1,Tab2 Where ... , то будет выполнено "грязное" чтение.


вот опять, не умеет она "грязно" читать
Вот опять! кто она? 1C? На каждом шагу.

Код: plaintext
1.
2.
FROM
_DocumentJournal4651 t WITH(NOLOCK)
LEFT OUTER JOIN _Reference7 WITH(NOLOCK)

p.s. gybson, ну сколько можно. Счас кое-кто обвинит Вас в нечистоплотном пиаре.
...
Рейтинг: 0 / 0
Форумы / ERP и учетные системы [игнор отключен] [закрыт для гостей] / Сравнение инструментов тестирования производительности учетных систем / 25 сообщений из 38, страница 1 из 2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]