Гость
Войти | Профиль | Очистить
Действия ...
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Простой тест на INSERT/UPDATE/DELETE - большая просьба! / 25 сообщений из 30, страница 1 из 2
  1  все
25.06.2019, 19:39
    #39830499
Alexey Kovyazin
Alexey Kovyazin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
Привет!

Большая просьба принять участие в тестировании - простой тест INSERT/UPDATE/DELETE на 1 млн записей.

https://ib-aid.com/en/simple-insert-update-delete-test-for-firebird/

Это займет буквально 5-10 минут и примерно 2.1Гб места.
Желающие могут запустить тест и на 10 млн. записей, например

Результаты присылайте на support@ibase.ru или support@ib-aid.com, пожалуйста.


With best regards,
Alexey Kovyazin
HQbird www.ib-aid.com
Техподдержка www.ibase.ru
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 07:03
    #39830541
CS_nub
CS_nub
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
Alexey Kovyazin, именно на трешке тестить или 2.8.5 тоже подойдет?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 08:59
    #39830563
Alexey Kovyazin
Alexey Kovyazin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
Везде
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 09:17
    #39830574
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
CS_nub,

да сразу уж на 2.5.9 как раз недавно вышла
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 09:28
    #39830578
ёёёёё
ёёёёё
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
Alexey KovyazinВезде

На 2.0* не работает: dateadd появился лишь в 2.1...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 10:17
    #39830598
KreatorXXI
KreatorXXI
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
Alexey Kovyazin,

у меня в ФБ3 выскакивает ошибка:
"This operation is not defined for system tables.
unsuccessful metadata update.
key size exceeds implementation restriction for index "TEST_LRG"."

37 строка.

Запускал в Эксперте.

Скрипт должен же выдать цифры?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 10:30
    #39830603
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
KreatorXXI,

странно. Вчера запускал этот тест на домашней тачке на Firebird 3.0.4 вполне себе отработал и выдал циферки.
Вы там случайно не задали кодировку UTF-8 и не уменьшали размер страницы?

Надо сказать тест весьма прожорливый, ибо индексы там жирные и плохо сжимаемые для guid
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 10:56
    #39830616
KreatorXXI
KreatorXXI
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
Симонов Денис,

конечно, я ничего не делал. Скажите в Эксперте должен работать? Сразу нарвался на ошибку "create database". Ну и понеслось видимо. Может вручную пустую базу создать?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 11:02
    #39830622
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
KreatorXXI,

так там скрипт под isql заточен. В эксперте надо будет отделять создание БД от собственно выполнения. Ну и excute block придётся по отдельности запускать
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 11:04
    #39830626
Дегтярев Евгений
Дегтярев Евгений
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
Alexey KovyazinВезде
ок
с 2.5.8 отправил

зы
а почему нет OS в таблице?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 11:58
    #39830650
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
ёёёёёНа 2.0* не работает: dateadd появился лишь в 2.1...
2.0 и 2.1 в топку. нет смысла это старьё тестировать.
KreatorXXIkey size exceeds implementation restriction for index "TEST_LRG"."
у тебя размер страницы БД не 2048 байт часом? :-)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 12:17
    #39830661
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
kdv,

в 2.5 и 3.0 такой размер страницы задать нельзя. Там минимум 4K.

KreatorXXI,
Для code_lrg varchar(1500) со страницей 4K создать индекс уже не получится даже в однобайтной кодировке

Размер страницы 1 байт/символ 2 байт/символ 3 байт/символ 4 байт/символ4096 1015 507 338 2538192 2039 1019 679 50916384 4087 2043 1362 1021
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 12:35
    #39830667
Basil A. Sidorov
Basil A. Sidorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
Зато, если урезать large до varchar(1000), то для 16К страницы тест можно делать и на UTF8.

P.S.
Лично я поменял вставки на:
Код: sql
1.
2.
3.
            ,lpad('',   25, 'АБВГД' )
            ,lpad('',  250, 'АБВГД' )
            ,lpad('', 1000, 'АБВГД' )

и обновления на:
Код: sql
1.
2.
3.
           ,code_sml = lpad('',   25, 'ИКЛМН' )
           ,code_med = lpad('',  250, 'ИКЛМН' )
           ,code_lrg = lpad('', 1000, 'ИКЛМН' )
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 12:44
    #39830672
kdv
kdv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
Симонов ДенисДля code_lrg varchar(1500) со страницей 4K создать индекс уже не получится даже в однобайтной кодировке
давайте не будем кривить тест.
1. в тесте у базы указана страница 16384, так что там ошибки key size exceeds быть не может.
2. в тесте у базы чарсет не указан, значит он NONE, поэтому не будем мешать тест с NONE и UTF8.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 12:56
    #39830678
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
kdv,

я и не пытался, просто отметил по какой причине может возникнуть такая ошибка. Смысла менять тест нету, ибо в этом случае результаты сравнивать нельзя.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 13:59
    #39830721
KreatorXXI
KreatorXXI
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
Симонов ДенисKreatorXXI,

так там скрипт под isql заточен. В эксперте надо будет отделять создание БД от собственно выполнения. Ну и excute block придётся по отдельности запускать

Справился. Отправил.

А в ссылке реальные результаты? У меня что-то совсем не так. Например, время удаления в десять раз больше. И время изменения больше времени добавления, хотя цифры сравнимые.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 14:02
    #39830724
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
KreatorXXI,

а ты видел какой кеш они зашарашили? 500K
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 14:41
    #39830750
KreatorXXI
KreatorXXI
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
Симонов Денис,

да. У меня в 10 раз меньше. На delete он влияет?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 14:42
    #39830751
Дегтярев Евгений
Дегтярев Евгений
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
у мну на 2.5.8 CS с настройками по умолчанию на ssd даже лучше, но уперся в цпу
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 18:22
    #39830835
ёёёёё
ёёёёё
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
Прогонял последний снапшот "четверки" x64 на Win7 pro; интересно выглядит загрузка процессора в диспетчере задач.
То занято лишь одно из восьми "гипертрейдинговых ядер", то четыре: верхняя и нижняя картинка соответственно.

Когда одно - DefaultDbCachePages был равен 500 000, когда четыре - 1 000 000. Время выполнения почти одинаковое:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
DefaultDbCachePages = 500 000


INSERTED_ROWS           1000000
ELAP_MS                   89825

UPDATED_ROWS            1000000
ELAP_MS                   95427

DELETED_ROWS            1000000
ELAP_MS                    8565

-------------------
DefaultDbCachePages = 1 000 000

INSERTED_ROWS           1000000
ELAP_MS                   89620
 
UPDATED_ROWS            1000000
ELAP_MS                   93210

DELETED_ROWS            1000000
ELAP_MS                    8757
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.06.2019, 18:53
    #39830846
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
ёёёёёВремя выполнения почти одинаковое

значит этого значения хватает.

500000 * 16K = 8G Это можно 8 гиговую БД целиком засунуть, а у нас ~2.1Гб
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.06.2019, 11:21
    #39831014
Alexey Kovyazin
Alexey Kovyazin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
Привет всем,

Спасибо за присланные результаты.
По результатам слегка поменяли тест - добавили Commit после каждой операции и включили вывод статистики.

Теперь данные сбрасываются на диск, и мы видим, сколько это занимает (а также видим, насколько SSD быстрее :)
Побочный эффект - тестовая БД на 1млн стала занимать 3.6Гб, так как теперь все данные сбрасываются на диск.

Просьба повторить новый вариант теста.


С уважением,
Алексей Ковязин
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.06.2019, 11:24
    #39831016
Симонов Денис
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
теперь и сборка мусора запускаться будет
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.06.2019, 11:56
    #39831045
o_v_a
o_v_a
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
Упс... А я только что результаты по старому тесту отправил в почту
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.06.2019, 13:39
    #39831136
akrush
akrush
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Простой тест на INSERT/UPDATE/DELETE - большая просьба!
Alexey Kovyazin,
Отправил новые результаты.
4 теста: HDD или SSD, буфер 50К или 75К
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
  1  все
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Простой тест на INSERT/UPDATE/DELETE - большая просьба! / 25 сообщений из 30, страница 1 из 2
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 553ms
Закрыть
start [/forum/topic.php?fid=40&mobile=1&tid=1560674]:
 0ms
get settings:
 9ms
get forum list:
 13ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 133ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 62ms
get tp. blocked users:
 1ms
others: 317ms
total:  553ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]