ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Техническая спецификация на официальном сайте и максимальный размер BLOB'а
23 сообщений из 48, страница 2 из 2
  2  все
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937602
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
nicholaos,

приложение 32битное? Чего бы ему уметь аллокировать больше 2 гиг???
...
Рейтинг: 0 / 0
15.03.2020, 15:54
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937604
nicholaos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
nicholaos
Гость
kdv,

Я не хочу аллоцировать столько памяти. Почему загрузка файла через ParamByName('FILE_').AsStream.CopyFrom умеет работать без аллокации, а выгрузка - нет? В том же 32-х битном приложении.
...
Рейтинг: 0 / 0
15.03.2020, 16:06
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937605
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
nicholaos,

я не знаю, просто предполагаю. разумеется, что при загрузке, что при выгрузке, нет необходимости закачивать весь объект в память (из базы или из файла). Но как в коде компонент написано - х.з.
...
Рейтинг: 0 / 0
15.03.2020, 16:09
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937609
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
nicholaosВызывающий код

Я один не вижу в нём никакого вызова TIBBlob.Read?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
15.03.2020, 16:32
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937610
nicholaos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
nicholaos
Гость
Dimitry Sibiryakov,

В TIBBlob.Read из CreateBlobStream мы попадаем далеко не сразу.

 
Стэк вызовов

...
Рейтинг: 0 / 0
15.03.2020, 16:39
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937622
nicholaos
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
nicholaos
Гость
Получилось скачать блоб 7.5 ГБ с помощью ISC API. Так что он в базе действительно лежит.

Итого, остались проблемы:
1. В документации Firebird нет четкого указания какие функции с каким максимальным размером блоба работают.
2. octet_length возвращает неправильное значение для блобов больше 2 ГБ.
3. Проблема FireDAC - TIBBlob.Read не может получить первый сегмент большого блоба (Fisc_get_segment) и падает с AV.
4. Проблема FireDAC и IBX - CreateBlobStream пытается аллоцировать всю память сразу и падает с ООМ.

Возможно в п.3 и п.4 ситуация сложнее, но здесь нужно разбираться детально самим разработчикам компонентов.

Единственный способ безопасно выгрузить большой файл в приложении, которое уже съело много памяти - использовать ISC API.
...
Рейтинг: 0 / 0
15.03.2020, 17:58
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937623
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
nicholaos1. В документации Firebird нет четкого указания какие функции с каким максимальным
размером блоба работают.

А посмотреть на типы их параметров и сделать выводы - задача непосильная для рядового
дельфина?..

Так же как и скопировать (никому ненужный) стек в виде текста вместо картинки.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
15.03.2020, 18:04
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937629
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vlad F
Участник
nicholaos,

Молодец, конечно (я без иронии). А патч для FireDAC, по наработанным материалам можешь сделать?
...
Рейтинг: 0 / 0
15.03.2020, 18:20
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937676
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
nicholaos,

я же говорил есть проблемы с блобами > 2Gb есть проблемы в 2.5 и > 4G в 3.0.
Чтобы понять почему достаточно просто посмотреть на типы в API.
Да на уровне ODS блобы могут хранить существенно больше, но при работе через некоторые методы API есть проблемы,
поэтому в документации по SQL и ограничили размеры допустимых BLOB которые хотя бы не вызывают проблем.

И да FireDAC не образец. Попробуй поработать с чистым API. Это не сложно
...
Рейтинг: 0 / 0
15.03.2020, 22:55
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937677
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan_Pisarevsky
Участник
Из оффтопных тем выпилил про размеры блобов. Просьба обсуждать означенную проблему в одном месте.
...
Рейтинг: 0 / 0
15.03.2020, 22:57
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937681
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
nicholaos,

1. для поточных блобов есть проблема с isc_seek_blob или IBlob::seek для очень больших блоб. Ибо не хватает вместимости типа параметра offset
2. isc_blob_info или IBlob::getInfo возвращает неверный размер для больших блоб
...
Рейтинг: 0 / 0
15.03.2020, 23:16
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937682
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vlad F
Участник
Симонов Денис,

В трекере про все это, считаю, безобразие есть?
...
Рейтинг: 0 / 0
15.03.2020, 23:23
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937683
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Симонов Денисдля поточных блобов есть проблема с isc_seek_blob или IBlob::seek для очень больших блоб.

Во-первых, сами поточные блобы поддерживаются примерно как массивы, то есть никак.
Во-вторых, проблема там ЕМНИП только с абсолютным позиционированием, относительное в
пределах двухгигабайтных смещений работает на любом диапазоне.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
15.03.2020, 23:28
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937684
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry Sibiryakov
Во-первых, сами поточные блобы поддерживаются примерно как массивы, то есть никак.
Что тебе не так с поточными блобами ?
...
Рейтинг: 0 / 0
15.03.2020, 23:49
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937692
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladЧто тебе не так с поточными блобами ?

Документация уровня "они существуют, для остального читайте исходники".
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.03.2020, 01:56
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937738
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Vlad F,

про длину блобов вроде есть. Про смещение в потоковых блобов не знаю.
Я понятие не имею насколько эта проблема глубока, очевидно что там дело не только в сигнатуре API
...
Рейтинг: 0 / 0
16.03.2020, 10:00
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937761
Vlad F
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vlad F
Участник
Симонов Денис,
Ссылки можешь дать?
...
Рейтинг: 0 / 0
16.03.2020, 11:18
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937785
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry Sibiryakov
hvladЧто тебе не так с поточными блобами ?

Документация уровня "они существуют, для остального читайте исходники".Поддержка - это не только документация.
Хотя документация, конечно, необходима.
Но. У тебя что-то не работает с поточными блобами ? Пиши трекеру.
Хочется что-то документировать ? Займись или найди того, кто займётся.

Я много раз объяснял, как их использовать, ничего военного там нет.
...
Рейтинг: 0 / 0
16.03.2020, 12:18
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937813
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladЯ много раз объяснял, как их использовать, ничего военного там нет.

Теперь для разнообразия попробуй объяснить "зачем". Какие у них преимущества по сравнению
с обычными?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.03.2020, 13:47
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937816
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Dimitry Sibiryakov,

ну ты же сам натыкался на LIST, когда сегменты мелкими порциями записаны. Как понравилось?
...
Рейтинг: 0 / 0
16.03.2020, 13:51
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937819
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry Sibiryakov
hvladЯ много раз объяснял, как их использовать, ничего военного там нет.

Теперь для разнообразия попробуй объяснить "зачем". Какие у них преимущества по сравнению
с обычными?Нет оверхеда на хранение размеров сегментов.
Работает seek.
...
Рейтинг: 0 / 0
16.03.2020, 13:52
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937830
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladНет оверхеда на хранение размеров сегментов.

А они до сих пор реально хранятся? Вроде как ты же говорил, что сегменты сливаются в один
большой буфер при передаче.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.03.2020, 14:02
| Ответить | Цитировать | Написать  
Техническая спецификация на официальном сайте и максимальный размер BLOB'а
    #39937836
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry Sibiryakov
hvladНет оверхеда на хранение размеров сегментов.

А они до сих пор реально хранятся? Вроде как ты же говорил, что сегменты сливаются в один
большой буфер при передаче.Не путай буферизацию с содержимым блоба.
...
Рейтинг: 0 / 0
16.03.2020, 14:11
| Ответить | Цитировать | Написать  
23 сообщений из 48, страница 2 из 2
  2  все
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Техническая спецификация на официальном сайте и максимальный размер BLOB'а
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=40&gotonew=1&tid=1560409]:
 0ms
get settings:
 10ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 38ms
get topic data:
 10ms
get first new msg:
 7ms
get forum data:
 2ms
get page messages:
 61ms
get tp. blocked users:
 1ms
others: 259ms
total:  406ms
созд. / загр.: 406ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]