ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Производительность работы с типами BLOB
33 сообщений из 33, показаны все 2 страниц
  все  
Производительность работы с типами BLOB
    #40076538
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Многие разработчики жалуются на производительность при работе с типами BLOB.

Поразмыслив мы пришли к выводу, что производительность чтения BLOB зависит от того каким образом он был записан.
В основном приложения используют сегментированные BLOB. В некоторые компоненты доступа могут писать такие BLOB сегментами малого размера, что в итоге может снизить скорость их чтения.

Я разработал небольшую утилиту, которая позволяет собрать статистику по выбранному BLOB полю и замерить скорость чтения такого BLOB. Естественно не имеет смысла проверять совсем маленькие BLOB поля.

Утилита также умеет преобразовывать сегментированные BLOB в потоковые и перезаписывать сегментированные BLOB сегментами большего размера, однако сейчас эта функциональность отключена.

Если вы хотите узнать насколько эффективно записывает BLOB поля ваше приложение вы можете воспользоваться утилитой выложенной здесь blob_opt

Если кто-то обнаружит, что приложение пишет BLOB не эффективно поделитесь результатами исследования и расскажите какие компоненты доступа вы использовали.

Спасибо.
...
Рейтинг: 0 / 0
09.06.2021, 09:19
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076540
Фотография CyberMax
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
CyberMax
Участник
Скачал, ввел настройки. При нажатии на "Analize" сообщение - "Object reference is Nil.". Что не хватает - непонятно.
...
Рейтинг: 0 / 0
09.06.2021, 09:36
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076541
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
CyberMax,

64-разрядный fbclient в папке с приложением, ну или установленный в системе
...
Рейтинг: 0 / 0
09.06.2021, 09:38
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076584
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Симонов ДенисПоразмыслив мы пришли к выводу, что производительность чтения BLOB зависит от того каким
образом он был записан.

Влад обычно утверждает, что нет, поскольку сегменты префетчатся в один большой буфер.

Но:
1. Нет префетча первых сегментов при open_blob.
2. Нет префетча при вычерпании буфера на клиенте.
3. У больших блобов не ставится флаг последовательного чтения, что вымывает кэш страниц.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.06.2021, 12:46
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076589
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Dimitry Sibiryakov,

про 2 не понял. На 1 и 3 пункт совершенно точно не влияет как блоб записали.


Dimitry SibiryakovВлад обычно утверждает, что нет, поскольку сегменты префетчатся в один большой буфер.

это да, но это точно влияет на количество вызовов isc_get_segment чтобы полностью загрузить BLOB. Даже если оно по сети читается большим куском, то если блоб загружается в какую нибудь картинку по 100 байт, то это гораздо хуже чем загрузить его туда по 64Кбайт
...
Рейтинг: 0 / 0
09.06.2021, 12:57
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076591
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Симонов ДенисДаже если оно по сети читается большим куском, то если блоб загружается в какую нибудь
картинку по 100 байт, то это гораздо хуже чем загрузить его туда по 64Кбайт

Зависит от того как оно написано в fbclient. Это же не ядерный вызов чтобы тормозить, а
всего лишь два копирования память-память.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.06.2021, 13:03
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076613
ggreggory
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ggreggory
Гость
Симонов Денис

Поразмыслив мы пришли к выводу, что производительность чтения BLOB зависит от того каким образом он был записан.


Если база после backup/restore, влияет ли на производительность чтения то, каким образом этот BLOB был записан в исходной базе ?
...
Рейтинг: 0 / 0
09.06.2021, 14:01
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076614
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
Симонов Денис,

Запустил, оно выдало много похожих строк на определенную таблицу, типа таких

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
Key DB_KEY=x'AF01000063260000';
Key DB_KEY=x'AF01000064260000';
NumSegments: 1; MaxSegmentSize: 603; TotalSize: 603; BlobType: Segmented;

Key DB_KEY=x'AF01000065260000';
NumSegments: 1; MaxSegmentSize: 628; TotalSize: 628; BlobType: Segmented;

Key DB_KEY=x'AF01000066260000';
NumSegments: 1; MaxSegmentSize: 2437; TotalSize: 2437; BlobType: Segmented;

Key DB_KEY=x'AF01000067260000';
NumSegments: 1; MaxSegmentSize: 222; TotalSize: 222; BlobType: Segmented;

Это хорошо или плохо?
...
Рейтинг: 0 / 0
09.06.2021, 14:04
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076616
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
YuRock,

тут всё нормально. Блобы маленькие, они записаны сегментом с размером равным размеру ваших данных.
...
Рейтинг: 0 / 0
09.06.2021, 14:08
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076617
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
ggreggory,

backup/restore не влияет на размер сегментов с которыми был изначально записан BLOB
...
Рейтинг: 0 / 0
09.06.2021, 14:09
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076622
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
кстати, раз пошла такая пьянка, какой сейчас максимально допустимы размер сегмента в 3.0/4.0 ?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.06.2021, 14:14
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076626
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
По-прежнему 65535.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.06.2021, 14:22
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076628
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
09.06.2021 14:22, Dimitry Sibiryakov пишет:
> По-прежнему 65535.

из-за почему?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.06.2021, 14:24
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076629
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Мимопроходящийиз-за почему?

Из-за двух байт на него.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.06.2021, 14:28
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076630
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
09.06.2021 14:28, Dimitry Sibiryakov пишет:
> Из-за двух байт на него.

вопиющий архаизм!
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.06.2021, 14:30
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076631
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Не нравится - используй стрёимные.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.06.2021, 14:33
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076634
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
09.06.2021 14:33, Dimitry Sibiryakov пишет:
> Не нравится - используй стрёимные.

похоже, придётся допиливать под это дело библиотеку.
есть где-то референс API на эту тему?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.06.2021, 14:43
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076635
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Мимопроходящийесть где-то референс API на эту тему?

Нет. Если не считать APIGuide от свежих IB где на эту тему два слова.

PS: Как по мне так гораздо забавнее вопрос: что скажет сервер если в CLOB поле с чарсетом
UTF-8 попытаться внести данные из CLOB поля с чарсетом Win1251 и сегментом в 65535.

PPS: И таки да, если сейчас попытаться такое поле прочитать в любой другой кодировке, то
получишь битые символы если заранее не позаботился о правильном их сохранении по сегментам.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.06.2021, 14:48
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076636
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
Симонов Денис
YuRock,

тут всё нормально. Блобы маленькие, они записаны сегментом с размером равным размеру ваших данных.
Ну, слава богу))
Это IBX так пишет, по 16кб.
Хотя, конечно, бывают и побольше, и мегабайты...
...
Рейтинг: 0 / 0
09.06.2021, 14:48
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076639
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
Симонов Денис, аппликация 64х?
под 32 нету?

зы: есть у меня БЛОБы метров по 30

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.06.2021, 14:58
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076642
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Мимопроходящийзы: есть у меня БЛОБы метров по 30

Как-то слабо. Найдёшь хотя бы в пару гигабайт - попробуй на нём новую функцию UNICODE_VAL.
"Вот тогда мы и повеселимся." (с)
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.06.2021, 15:05
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076648
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Мимопроходящий,

могу собрать вечером.
...
Рейтинг: 0 / 0
09.06.2021, 15:18
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076649
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
09.06.2021 15:18, Симонов Денис пишет:
> могу собрать вечером.

Ок.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.06.2021, 15:23
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076666
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry Sibiryakov
PS: Как по мне так гораздо забавнее вопрос: что скажет сервер если в CLOB поле с чарсетом
UTF-8 попытаться внести данные из CLOB поля с чарсетом Win1251 и сегментом в 65535.
Проверь.


Dimitry Sibiryakov
И таки да, если сейчас попытаться такое поле прочитать в любой другой кодировке, то
получишь битые символы если заранее не позаботился о правильном их сохранении по сегментам
"Проблема" того же рода, как и при чтении большого файла небольшими частями.
Там есть сегменты ? И как жить дальше ? :'(
...
Рейтинг: 0 / 0
09.06.2021, 16:16
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076673
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladИ как жить дальше ? :'(

Плохо, но, к счастью, недолго. Свой код чтения файла по частям я изменить могу, код
транслитерации прочитанного сегмента в дебрях движка - нет.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.06.2021, 16:36
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076678
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry Sibiryakov,

а с чего ты решил, что там есть проблемы ? Или ты что-то знаешь, чего не знает трекер ?
...
Рейтинг: 0 / 0
09.06.2021, 16:43
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076689
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladа с чего ты решил, что там есть проблемы ?

Наверное, я как-то неправильно интерпретировал комментарий
Код: sql
1.
// No need up update ctl_number_segments as this filter doesn't change it.


поскольку это не может быть правдой если клоб размером в один сегмент из 65353 русских
символов пытается конвертироваться в utf-8.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.06.2021, 17:16
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076704
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry Sibiryakov,

ты пробовал, или как обычно ?
...
Рейтинг: 0 / 0
09.06.2021, 18:04
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076715
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladты пробовал, или как обычно ?

Как обычно, конечно. Работа QA не в моём вкусе.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
09.06.2021, 18:15
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076753
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Мимопроходящий

Симонов Денис, аппликация 64х?
под 32 нету?

зы: есть у меня БЛОБы метров по 30



выложил zip архивы вместе с fbclient 3.0 для x86 и x64
...
Рейтинг: 0 / 0
09.06.2021, 20:39
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076762
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry Sibiryakov
hvladты пробовал, или как обычно ?

Как обычно, конечно. Работа QA не в моём вкусе.Почему я не удивлён...
...
Рейтинг: 0 / 0
09.06.2021, 22:06
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076768
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladПочему я не удивлён...

Потому что ты старый и не первый день меня знаешь.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
10.06.2021, 00:13
| Ответить | Цитировать | Написать  
Производительность работы с типами BLOB
    #40076776
Коваленко Дмитрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Коваленко Дмитрий
Участник
Dimitry Sibiryakov

PS: Как по мне так гораздо забавнее вопрос: что скажет сервер если в CLOB поле с чарсетом
UTF-8 попытаться внести данные из CLOB поля с чарсетом Win1251 и сегментом в 65535.

PPS: И таки да, если сейчас попытаться такое поле прочитать в любой другой кодировке, то
получишь битые символы если заранее не позаботился о правильном их сохранении по сегментам.

Сдается мне, если бы с этим были бы какие-то (реальные) проблемы, то они они бы вылезли лет 12-13 назад.

Как, например, с кодировками ICU.

---
Если я все правильно понял, конечно.
...
Рейтинг: 0 / 0
10.06.2021, 07:44
| Ответить | Цитировать | Написать  
33 сообщений из 33, показаны все 2 страниц
  все  
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Производительность работы с типами BLOB
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=40&tid=1560013]:
 0ms
get settings:
 8ms
get forum list:
 10ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 165ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 57ms
get tp. blocked users:
 1ms
others: 234ms
total:  494ms
созд. / загр.: 494ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]