|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
Заметила, что чтение блобов на версии 4.0.0 стало существенно медленнее(может достигать x2 и больше раз). Сначала проявилось при работе с api, затем уже проверила в dbeaver.exe. 30000 записей на 3 версии вычитываются за 35 секунд, на 4 - за 1 мин 17 сек. С простыми типами ухудшения производительности не было. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.06.2021, 16:09 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
покажи код. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
28.06.2021, 16:12 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
ЕМНИП это результат введения проверки прав на чтение блоба. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
28.06.2021, 16:14 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
Мимопроходящий, зачем код?) чтение падает уже при запросе из утилиты работы с бд, правда в ibexpert не смотрела еще ... |
|||
:
Нравится:
Не нравится:
|
|||
28.06.2021, 16:14 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov, спасибо. Возможность отменить эту проверку есть? ... |
|||
:
Нравится:
Не нравится:
|
|||
28.06.2021, 16:16 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
28.06.2021 16:14, slavyanka пишет: > чтение падает уже при запросе из утилиты работы с бд, засунь её по назначению! код давай. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
28.06.2021, 16:16 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov ЕМНИП это результат введения проверки прав на чтение блоба. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.06.2021, 16:47 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
slavyanka, я проверю конечно, но для начала ты уверен что блобы в 4.0 и 3.0 одинаковые? ... |
|||
:
Нравится:
Не нравится:
|
|||
28.06.2021, 16:51 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
slavyankaчтение падает уже при запросе из утилиты работы с бд ну ок. тогда нам потребуется: - версия dbeaver, версия java, версия JayBird при коннекте к ФБ 3.0 и 4.0. - статистика таблицы с блобами (gstat -r -t TABLENAME) в 3.0 и 4.0 - performance info (reads, fetches) запроса - отличаются ли конфиги 3.0 и 4.0, и если да, то чем - ну и наконец (хотя может еще и не всё) - тот же "тест" только на 4.0 с движком от 3.0 (engine12.dll). p.s. не знаю, как там dbeaver, но компоненты типа FIBPlus, IBX, FireDAC, т.е. НЕ Java и НЕ .Net обычно не вычитывают блобы из таблиц при просто чтении таблицы, потому что это нафиг не надо. Кроме того, у Фб в записи в столбце блоба хранится его ID, и чтобы его вытащить, это делается отдельно от чтения самой записи. Так что, "чтение блоба" вещь довольно абстрактная. Это или действительно полное вытаскивание блоба на клиента, или его обработка чем-то (функцией) на сервере. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.06.2021, 16:55 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
slavyanka Возможность отменить эту проверку есть? ... |
|||
:
Нравится:
Не нравится:
|
|||
28.06.2021, 17:00 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
slavyanka, с чем сравнивал? 2.5 или 3.0? Ибо с 3.0 я не увидел существенной разницы, а по сравнению с 2.5, да медленней ... |
|||
:
Нравится:
Не нравится:
|
|||
28.06.2021, 22:41 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
Симонов Денис, Однако, это походу дама, сэр.)) ... |
|||
:
Нравится:
Не нравится:
|
|||
28.06.2021, 23:34 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
Симонов Денис, да, блобы одинаковые, сравнивали 3.0.7 и 4.0 ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 08:07 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
slavyanka, по моим замерам там нет разницы ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 09:34 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
где код?! зы: @#$! ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 12:10 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
slavyankaда, блобы одинаковые, сравнивали 3.0.7 и 4.0 что и как вы там сравнивали, если вы ничего из запрошенного 22341186 сказать не можете? Зачем тогда этот топик? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 13:16 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
29.06.2021 13:16, kdv пишет: > Зачем тогда этот топик? учитывая очередное пришествие Сима и Рьгла - тупой наброс на вентилятор. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 13:20 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
Мимопроходящий, вот код. Изначально вытаскивать из-под своих оболочек долго, буквально взяла example из firebird, прогнала на 100000 записях, итог 630 секунд на 3.0.7 и 855 на 4.0 Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96. 97. 98. 99. 100. 101. 102. 103. 104. 105. 106. 107. 108. 109. 110. 111. 112. 113. 114. 115. 116. 117. 118. 119. 120. 121. 122. 123. 124. 125. 126. 127. 128. 129. 130. 131. 132. 133. 134. 135. 136. 137. 138. 139. 140. 141. 142. 143. 144. 145. 146. 147. 148. 149. 150. 151. 152. 153. 154. 155. 156. 157. 158. 159. 160. 161. 162. 163. 164. 165. 166. 167. 168. 169. 170. 171. 172.
... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 14:46 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
slavyanka, ну, прекрасно, я считаю. Особено вот это Код: plaintext 1.
метаданных нет, статистики нет, ничего нет. Только какой-то код. Я устал задавать вопросы. Понятно пока только одно - вы не имеете никакого понятия что такое "тестирование". ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 14:59 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
slavyanka Мимопроходящий, вот код. Изначально вытаскивать из-под своих оболочек долго, буквально взяла example из firebird, прогнала на 100000 записях, итог 630 секунд на 3.0.7 и 855 на 4.0 Код: plaintext 1. 2. 3. 4. 5.
не надо нам тут лохматить бабушку! © ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 15:37 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
Мимопроходящий, это фильтр, он тут нафиг не нужен http://docwiki.embarcadero.com/InterBase/2020/en/Reading_and_Processing_the_Blob_Data Код: plaintext 1. 2. 3. 4. 5.
... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 15:52 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
kdv, ты не понял. человек нам впаривает код с потолка. я не просто так оставил 2 верхних строчки. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 15:56 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
Мимопроходящий, это код из примеров firebird, да, убрала фильтр в параметрах, простите уж, что оставила строчку с объявлением. Я считала, что как раз код из примеров - самое то, чтобы на нем проверять базовые функции. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 16:00 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov ЕМНИП это результат введения проверки прав на чтение блоба. в тройку эта проверка тоже портирована, так что дело не в ней ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 16:49 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 16:51 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
slavyanka взяла example из firebird, прогнала на 100000 записях, итог 630 секунд на 3.0.7 и 855 на 4.0 Сколько раз подряд прогонялся тест с каждым сервером ? Как запускался тест - из каталога fb соотв. версии или из отдельного каталога ? Если первое - это измерение работы embedded, вряд ли оно полезно реальному приложению. Если второе - какой fbclient.dll использовался ? Как гарантирована одинаковость БД и настроек серверов для fb3 и fb4 ? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 17:06 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
slavyanka Код: plaintext 1. 2. 3. 4. 5.
Дальнейших успехов в измерении скорости работы консольного вывода. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 17:09 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
Симонов Денис Dimitry Sibiryakov ЕМНИП это результат введения проверки прав на чтение блоба. в тройку эта проверка тоже портирована, так что дело не в ней Ничего нового. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 17:10 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
Можно подумать мне больше нечем мозг забить, чем помнить какой именно из багфиксов в какую версию был портирован... Я помню только, что в рассылке проскакивал тикет "медленная проверка прав на блобы". Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 17:16 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
Мимопроходящий 29.06.2021 13:16, kdv пишет: > Зачем тогда этот топик? учитывая очередное пришествие Сима и Рьгла Петров и Баширов? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 18:34 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
29.06.2021 18:34, Старый плюшевый мишка пишет: > Петров и Баширов? не. гораздо жиже. "Siemargl" Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
29.06.2021, 18:46 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
hvlad, убрала вывод в консоль,вернулось x2. Тест прогонялся по пять раз на каждой версии, среднее время: на 3.0.7 101 с, на 4.0 250 с fbclient.dll соответствующие версии тест запускался из отдельного каталога про одинаковость настроек сервера - оба раза запускала при установке, потом ничего не меняла статистика и метаданные для 3.0.7: CH (128) Primary pointer page: 224, Index root page: 225 Total formats: 1, used formats: 1 Average record length: 26.88, total records: 100000 Average version length: 0.00, total versions: 0, max versions: 0 Average fragment length: 0.00, total fragments: 0, max fragments: 0 Average unpacked length: 64.00, compression ratio: 2.38 Pointer pages: 7, data page slots: 5064 Data pages: 5064, average fill: 89% Primary pages: 1615, secondary pages: 3449, swept pages: 0 Empty pages: 2, full pages: 5060 Blobs: 100000, total length: 10787500000, blob pages: 2700000 Level 0: 0, Level 1: 100000, Level 2: 0 Fill distribution: 0 - 19% = 2 20 - 39% = 1 40 - 59% = 1 60 - 79% = 1612 80 - 99% = 3448 SET SQL DIALECT 3; SET NAMES NONE; SET CLIENTLIB 'C:\Program Files (x86)\Firebird\Firebird_3_0\fbclient.dll'; CREATE DATABASE 'C:\FBTESTS.FDB' USER 'SYSDBA' PASSWORD 'masterkey' PAGE_SIZE 4096 DEFAULT CHARACTER SET NONE COLLATION NONE; /******************************************************************************/ /*** Tables ***/ /******************************************************************************/ CREATE TABLE CH ( FIRST_NAME VARCHAR(50) NOT NULL, PHOTO BLOB SUB_TYPE 0 SEGMENT SIZE 80 ); статистика и метаданные для 4.0.0: CH (128) Primary pointer page: 263, Index root page: 264 Total formats: 1, used formats: 1 Average record length: 26.88, total records: 100000 Average version length: 0.00, total versions: 0, max versions: 0 Average fragment length: 0.00, total fragments: 0, max fragments: 0 Average unpacked length: 64.00, compression ratio: 2.38 Pointer pages: 7, data page slots: 5240 Data pages: 5240, average fill: 86% Primary pages: 1791, secondary pages: 3449, swept pages: 0 Empty pages: 5, full pages: 5233 Blobs: 100000, total length: 10787500000, blob pages: 2700000 Level 0: 0, Level 1: 100000, Level 2: 0 Fill distribution: 0 - 19% = 5 20 - 39% = 1 40 - 59% = 180 60 - 79% = 1606 80 - 99% = 3448 SET SQL DIALECT 3; SET NAMES NONE; SET CLIENTLIB 'C:\Program Files (x86)\Firebird\Firebird_4_0\fbclient.dll'; CREATE DATABASE 'C:\FBTESTS.FDB' USER 'SYSDBA' PASSWORD 'masterkey' PAGE_SIZE 4096 DEFAULT CHARACTER SET NONE COLLATION NONE; /******************************************************************************/ /*** Tables ***/ /******************************************************************************/ CREATE TABLE CH ( FIRST_NAME VARCHAR(50) NOT NULL, PHOTO BLOB SUB_TYPE 0 SEGMENT SIZE 80 ); ... |
|||
:
Нравится:
Не нравится:
|
|||
30.06.2021, 10:44 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
30.06.2021 10:44, slavyanka пишет: > SEGMENT SIZE 80 ты это специально? Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
30.06.2021, 11:17 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
slavyanka, Как создавалась БД ? ... |
|||
:
Нравится:
Не нравится:
|
|||
30.06.2021, 11:22 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
hvlad, программно, через IAttachment* createDatabase(...) ... |
|||
:
Нравится:
Не нравится:
|
|||
30.06.2021, 11:29 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
Мимопроходящий, нет, сегмент по умолчанию 80, строка создания таблицы: "CREATE TABLE CH(FIRST_NAME VARCHAR(50) NOT NULL, PHOTO BLOB)" ... |
|||
:
Нравится:
Не нравится:
|
|||
30.06.2021, 11:30 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
slavyanka, А не проще тестовое приложение + скрипт генерации базы предъявить разработчикам. На переписку и гадание больше времени уйдет. Для уверенности в идентичности настроек подключитесь 4-ой версией к базе данных 3-ей, предварительно прописав в конфиге Providers = Remote,Engine13,Engine12,Loopback и скопировав соотв.DLL в папку plugins. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.06.2021, 12:10 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
slavyanka hvlad, программно, через IAttachment* createDatabase(...) Можешь выложить бекап БД от fb3 или даже от 2.5 ? Сжатый, есс-но ... |
|||
:
Нравится:
Не нравится:
|
|||
30.06.2021, 12:33 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
ggreggory Для уверенности в идентичности настроек подключитесь 4-ой версией к базе данных 3-ей... ... |
|||
:
Нравится:
Не нравится:
|
|||
30.06.2021, 12:34 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
slavyanka про одинаковость настроек сервера - оба раза запускала при установке ... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2021, 13:20 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
hvlad, нет, по очереди. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2021, 15:52 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
Я в трекере показал то, что вижу. И я не вижу никакого замедления. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2021, 16:52 |
|
Скорость чтения блобов Firebird 4.0
|
|||
---|---|---|---|
#18+
hvlad, да, спасибо большое, что посмотрели, видела. я сейчас тестировала с inet, xnet, wirecrypt - улучшения нет. Буду дальше искать. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.07.2021, 17:06 |
|
|
start [/forum/topic.php?all=1&fid=40&tid=1559984]: |
0ms |
get settings: |
11ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
42ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
67ms |
get tp. blocked users: |
2ms |
others: | 254ms |
total: | 411ms |
0 / 0 |