ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Проблема при вставке большого количества записей из FB
67 сообщений из 67, показаны все 3 страниц
  все  
Проблема при вставке большого количества записей из FB
    #40045496
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
Имеется БД с овер 15 000 записями в одной таблице (id_студента, фото студента). БД - FireBird.

Нужно таблицу с фото перекопировать в локальную БД (Оракл). Выполняю средствами DELPHI

И вроде как все получается. Но...

при попытках вставки сразу всех записей последовательно я получаю сообщение " Out of memory". Собственно оно и понятно, почему.

1. Как можно вставить все записи? Или поделить количество, допустим на 3, и и вставлять в цикле?
2. Как сделать проверку на дубли? Сейчас поле id_студента, - первичный ключ, но при копировании вставилось несколько сот пустых стотрок, так как видимо, сначала вствляется пустая строка, потом значение.
Если значение уже есть, то возникает исключение "unigue constant", вставка не происходит, но пустая строка остается.
3. Если делить на 3 цикла, то программа после вставки 10 000 завысает. Вероятно, происходят утечки памяти. КАк это проверить избежать?

Вот код вставки
Код: pascal
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
   
FDQuery1.first;
while not (FDQuery1.Eof) do
begin
try

    qGET_PERS_FOTO.Open;
    qGET_PERS_FOTO.Insert;
    qGET_PERS_FOTO.FindField('foto').Assign(FDQuery1.FieldByName('foto'));
    qGET_PERS_FOTO.FindField('pers_id').Assign(FDQuery1.FieldByName('pers_id'));
    qGET_PERS_FOTO.Post;
    FDQuery1.Next;

    Except
     On e: Exception Do
     begin
       if Pos('unique constraint', e.Message)> 0 then
       begin
         FDQuery1.Next;
      end;
     end;
end;
...
Рейтинг: 0 / 0
15.02.2021, 15:39
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045498
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
15.02.2021 15:39, WНаталья пишет:
> при попытках вставки сразу всех записей последовательно я получаю сообщение " Out of memory".
> Собственно оно и понятно, почему.

почему?

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
15.02.2021, 15:42
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045506
Фотография _Vasilisk_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Vasilisk_
Участник
WНаталья
Как можно вставить все записи
Заменить TFDQuery на TFDCommand
WНаталья
так как видимо, сначала вствляется пустая строка,
Нет
WНаталья
то возникает исключение "unigue constant"
Если такое ограничение есть на базе и если текст ошибки звучит именно так
WНаталья
то программа после вставки 10 000 завысает
Само собой. Вы же так и написали
WНаталья
Код: pascal
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
// Пока не достигли конца датасета, крутим цикл
while not (FDQuery1.Eof) do 
begin
  try
    // Зачем-то в цикле каждый раз пытаемся открыть датасет
    qGET_PERS_FOTO.Open;  
    qGET_PERS_FOTO.Insert;
    // на каждую итерацию цикла делаем поиск полей
    qGET_PERS_FOTO.FindField('foto').Assign(FDQuery1.FieldByName('foto'));
    qGET_PERS_FOTO.FindField('pers_id').Assign(FDQuery1.FieldByName('pers_id'));
    qGET_PERS_FOTO.Post;
    FDQuery1.Next;
  Except
     On e: Exception Do
     begin
       // Если текст сообщения содержит 'unique constraint' (именно в таком написании)
       if Pos('unique constraint', e.Message)> 0 then
       begin
         // то перейти на следующую запись
         FDQuery1.Next;
      end;
      // А если не содержит, то остаться на текущей и повторить вставку
     end;
end;



И покажите DDL таблиц
...
Рейтинг: 0 / 0
15.02.2021, 15:59
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045511
ъъъъъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ъъъъъ
Гость
WНаталья
при попытках вставки сразу всех записей последовательно я получаю сообщение " Out of memory". Собственно оно и понятно, почему.

Не используй датасет, вот и всё.
...
Рейтинг: 0 / 0
15.02.2021, 16:11
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045524
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
_Vasilisk_,
прошу прощения, новичок в этом всем. Пытаюсь разобраться.
Что такое dll таблицы?
...
Рейтинг: 0 / 0
15.02.2021, 16:39
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045529
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
_Vasilisk_,
не очень понимаю, как использовать TFDCommand.

Допустим, написала я внутри компонента запрос на выборку всех записей.
А дальше как использовать его при вставке ?
...
Рейтинг: 0 / 0
15.02.2021, 16:51
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045541
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
WНаталья> Нужно таблицу с фото перекопировать в локальную БД (Оракл).

А что такое локальная БД?

> Или поделить количество, допустим на 3, и и вставлять в цикле?

Не надо делить на 3. Вставляйте по 1 записи,
потом сделаете коммит для всей пачки.
Для Вашего уровня знаний и разовой задачи этого хватит.

> 2. ... при копировании вставилось несколько сот пустых стотрок,

Удалите их.

> так как видимо, сначала вствляется пустая строка, потом значение.

Нет, Оракл такой фигнёй не страдает.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
15.02.2021, 17:11
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045543
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
wadman
Участник
WНаталья
И вроде как все получается. Но...

1. Нужно перейти на query.
2. Вставку делать во временную таблицу, на которой нет никаких триггеров, ограничений и индексов.
3. После заполнения п.2 - вызвать процедуру на сервере (придется её написать), которая сделает остальную работу (проверит и перекинет в нормальную таблицу).
...
Рейтинг: 0 / 0
15.02.2021, 17:15
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045544
MaratIsk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MaratIsk
Участник
WНаталья,
грузишь всю таблицу в память, а надо использовать unidirectional
...
Рейтинг: 0 / 0
15.02.2021, 17:20
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045550
Gerasimenko
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gerasimenko
Участник
Неужели Firebird не линкуется к Oracle?
Если линкуется, то дельфи нафиг не нужен.
...
Рейтинг: 0 / 0
15.02.2021, 17:46
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045559
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
Через ODBC/JDBC линкуется, конечно.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
15.02.2021, 18:14
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045567
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Гаджимурадов РустамЧерез ODBC/JDBC линкуется, конечно.

Но не работает с блобами. Посмотрите уже топики аффтарши.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
15.02.2021, 18:48
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045582
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
Dimitry Sibiryakov,

да, не линкуется.

Оракрл воспринимает блоб как лонг раф и режет его до 32к. (если коротко)
...
Рейтинг: 0 / 0
15.02.2021, 19:46
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045583
MaratIsk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MaratIsk
Участник
WНаталья,
тебе не знакомо свойство unidirectional ?
...
Рейтинг: 0 / 0
15.02.2021, 19:51
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045586
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defecatorПривилегированный пользователь
Модератор форума
WНаталья
Dimitry Sibiryakov,

да, не линкуется.

Оракрл воспринимает блоб как лонг раф и режет его до 32к. (если коротко)

так это не оракел виноват, а дрова ODBC
...
Рейтинг: 0 / 0
15.02.2021, 19:53
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045587
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
MaratIsk,

к сожалению нет, не знакомо
...
Рейтинг: 0 / 0
15.02.2021, 19:54
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045589
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
defecatorтак это не оракел виноват, а дрова ODBC

Правда? Какой тип данных должен вернуть драйвер чтобы Oracle HS воспринял его как BLOB?
SQL_LONGVARBINARY не канает.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
15.02.2021, 20:04
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045592
MaratIsk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MaratIsk
Участник
WНаталья
MaratIsk,

к сожалению нет, не знакомо


к предыдущему сообщению приаттачил файл

unidirectional - это свойство query создающее однонаправленный набор
указываешь UniDirectional := TRUE; и бежишь по набору, формируя insert для целевой бд
out of memory не будет, потому что такой запрос не буферизует все записи в памяти, а только текущую запись
...
Рейтинг: 0 / 0
15.02.2021, 20:08
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045594
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defecatorПривилегированный пользователь
Модератор форума
Dimitry Sibiryakov
defecatorтак это не оракел виноват, а дрова ODBC

Правда? Какой тип данных должен вернуть драйвер чтобы Oracle HS воспринял его как BLOB?
SQL_LONGVARBINARY не канает.
а чойта не канает ?
SQL_BINARY тоже побоку ?
...
Рейтинг: 0 / 0
15.02.2021, 20:16
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045611
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
MaratIsk,

не вижу у компонента такого свойства.

Для ADO есть, а для FireDac - нет
...
Рейтинг: 0 / 0
15.02.2021, 21:09
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045613
MaratIsk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MaratIsk
Участник
WНаталья
MaratIsk,

не вижу у компонента такого свойства.

Для ADO есть, а для FireDac - нет


выбрось FireDac - для столь простой задачи как перекачка данных достаточно
IBDatabase, IBCustomDataSet, IBQuery
...
Рейтинг: 0 / 0
15.02.2021, 21:13
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045616
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
MaratIsk,
IBDatabase в моем случае не вариант. при коннекте к БД получаю ошибку типа "структура БД не поддерживается".
...
Рейтинг: 0 / 0
15.02.2021, 21:29
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045617
MaratIsk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MaratIsk
Участник
WНаталья,
вариант-вариант :)
какая версия у сервера ФБ ?
...
Рейтинг: 0 / 0
15.02.2021, 21:36
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045618
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
MaratIsk,


3.0
...
Рейтинг: 0 / 0
15.02.2021, 21:40
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045620
MaratIsk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MaratIsk
Участник
WНаталья,
значит надо подключить fbclient.dll 3-ей версии только и всего
т.е. положить рядом с приложением
...
Рейтинг: 0 / 0
15.02.2021, 21:44
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045624
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
MaratIsk,

вернулась, к тому, с чего начала.
не могу подружить интербейсовкие компоненты с FB.

FireDac - работают, поэтому и остановилась на них...
...
Рейтинг: 0 / 0
15.02.2021, 22:42
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045627
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
defecatorа чойта не канает ?

Ну почитай же топики, он Оракулом воспринимается как LONG RAW со всеми вытекающими
последствиями.

defecatorSQL_BINARY тоже побоку ?

Будет просто RAW с ещё более вытекающими последствиями.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
15.02.2021, 23:06
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045728
Cobalt747
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Cobalt747
Участник
WНаталья,

Оставьте FireDac https://blogs.embarcadero.com/using-firedac-unidirectional-property-for-fast-low-memory-selection-set-processing/

и научитесь гуглить
...
Рейтинг: 0 / 0
16.02.2021, 12:49
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045822
MaratIsk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MaratIsk
Участник
WНаталья
MaratIsk,

вернулась, к тому, с чего начала.
не могу подружить интербейсовкие компоненты с FB.

FireDac - работают, поэтому и остановилась на них...


подожди! ты же к серверу подключаешься. так?
тогда при чем unsupported on-disk structure ?!
...
Рейтинг: 0 / 0
16.02.2021, 15:27
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045824
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
WНатальяпри коннекте к БД получаю ошибку типа "структура БД не поддерживается".
врёте вы всё. вы ведь уже решили эту "проблему". И вообще, намешали ФБ и ИБ, и теперь "проблема"...
...
Рейтинг: 0 / 0
16.02.2021, 15:30
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045827
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
WНаталья,

могу ошибаться, но судя по сообщениям история такая
- кто-то где-то спёр базу Firebird.
- дали вам задание откопировать её в Оракл
- вы не понимая, какой версии нужен Firebird поставили абы что. Вероятно, для получения gds32.dll для компонент IBX поставили еще и InterBase.
- получаете "unsupported on-disk structure".
Ссылку на список форматов и версий ИБ и ФБ я вам уже дал. Казалось бы - ставим Firebird нужной для БД версии, генерируем через instclient требуемый gds32.dll.
И всё.
...
Рейтинг: 0 / 0
16.02.2021, 15:34
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045828
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
16.02.2021 15:34, kdv пишет:
> И всё.

нет, не всё.
тут программист нужен. ©
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.02.2021, 15:37
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045830
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan_Pisarevsky
Участник
kdv
WНатальяпри коннекте к БД получаю ошибку типа "структура БД не поддерживается".

врёте вы всё. вы ведь уже решили эту "проблему". И вообще, намешали ФБ и ИБ, и теперь "проблема"...Все "поциэнты" врут, природа такая. :)

MaratIsk
подожди! ты же к серверу подключаешься. так?
тогда при чем unsupported on-disk structure ?!
Это мы уже пытались объяснить, толку пока нет. :)

Еще раз медленно: где-то на диске Цэ валяется либа gds32.dll от интербейза ее надо пристрелить вместе с сервером интербейз, он тут реально не нужен, более того, мешает.
Далее запустить штатный инсталлятор файрберд 3.0.7 выставить там галку "сгенерировать gds32", жмакнуть требуемое число раз пипку "далее" и "готово".
...
Рейтинг: 0 / 0
16.02.2021, 15:40
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045848
s62
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s62
Участник
Я так понял, что ТС смогла подключиться при помощи FireDac (сообщение 1), но не смогла через IBX, который ей тут посоветовали. 22281378

Ну и пусть бы пользовалась FireDac, зачем мешать одно и другое.
...
Рейтинг: 0 / 0
16.02.2021, 16:19
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045850
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Ivan_Pisarevsky,

gds32.dll "не той системы" не может быть причиной unsupported on-disk structure, ты же знаешь.
...
Рейтинг: 0 / 0
16.02.2021, 16:22
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045854
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
16.02.2021 16:22, kdv пишет:
> gds32.dll "не той системы" не может быть причиной unsupported on-disk structure, ты же знаешь.

при установленных одновременно Interbase и Firebird - вполне.
да ещё и при неизвестной строке коннекта.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.02.2021, 16:27
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045860
MaratIsk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MaratIsk
Участник
у ТС проблема с большими наборами данных unsupported on-disk structure
а с маленькими значит нет ?!

случай тяжелый
...
Рейтинг: 0 / 0
16.02.2021, 16:31
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045878
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
kdv,

я удалила нахрен все библиотеки gds32.dll и fbclient.dll.

Затем установила FB 3.0.
Проверила через ISQl коннектится ли к БД.

Далее скопировала библиотеку в папке с программой и явно указала VendorLib.

В FDQuery написала запрос.

Но даже при попытке вывести кол-во записей , получаю Out of Memory.

Вопрос не почему я не использую интербейсовкие компоненты, не про то почему не использую линк...

А про то, как с помощью средствами FireDac избежать этой ошибки. Если есть конечно, такой способ...
...
Рейтинг: 0 / 0
16.02.2021, 17:09
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045880
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
kdv
WНаталья,
генерируем через instclient требуемый gds32.dll.
.


про это не знала. Попробую.Спасибо
...
Рейтинг: 0 / 0
16.02.2021, 17:11
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045881
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
WНаталья> В FDQuery написала запрос.
>
> Но даже при попытке вывести кол-во записей , получаю Out of Memory.

Ну так показывайте, что именно делаете, какой запрос, какие настройки.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.02.2021, 17:11
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045887
ъъъъъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ъъъъъ
Гость
Гаджимурадов Рустам,

В первом сообщении - используется TFDQuery - это потомок TDataSet, через него выполняется вставка, все данные остаются в памяти - вот и аут оф мем.
...
Рейтинг: 0 / 0
16.02.2021, 17:15
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045892
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
WНатальяА про то, как с помощью средствами FireDac избежать этой ошибки. Если есть конечно, такой
способ...

Вам уже несколько раз сказали не использовать компонент, кэширующий принятые записи в
памяти, и даже ткнули пальцем в свойство Unidirectional. Сколько ещё раз надо это всё
повторить чтобы до Вас дошло?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.02.2021, 17:20
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045900
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
Тогда см. уже несколько раз упомянутый UniDirectional.
И даже с датасетом-а-ля-FDQuery можно было уже 10
раз догадаться использовать ограничение выборки...

P.S. Как там out-of-memory можно было словить?
15000 БЛОБов одновременно в памяти держать что ли?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.02.2021, 17:38
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045949
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
Dimitry Sibiryakov,

а вы пробовали найти у TFDQuery Unidirectional ?? его там нет.

И да, я делаю ограничение выборки, например, первые 100. Но даже это не помогает.
...
Рейтинг: 0 / 0
16.02.2021, 18:40
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045951
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
Вернее помогает, но ненадолго.
...
Рейтинг: 0 / 0
16.02.2021, 18:41
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045958
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
16.02.2021 18:40, WНаталья пишет:
> а вы пробовали найти у TFDQuery Unidirectional ?? его там нет.

да ладно!

http://docwiki.embarcadero.com/RADStudio/Seattle/en/Fetching_and_Populating_Questions_(FireDAC)
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.02.2021, 18:45
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045959
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
WНатальяа вы пробовали найти у TFDQuery Unidirectional ?? его там нет.

Гугль способен найти даже то, чего нет.
https://blogs.embarcadero.com/using-firedac-unidirectional-property-for-fast-low-memory-selection-set-processing/
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.02.2021, 18:45
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045961
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
WНаталья> И да, я делаю ограничение выборки,
WНаталья> например, первые 100. Но даже это не помогает.

Код показывай.


WНаталья> Вернее помогает, но ненадолго.

А потом - ррррраз - и всё?
Ты программистка или как?
Память освобождаешь или
каждый раз новую выделяешь?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.02.2021, 18:47
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045967
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
Нет, не программистка. Когда задание давали, выглядело легко. Перелить фото из одной БД в другую. А потом выясняется.....

Код: pascal
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
procedure TForm1.btnLoadClick(Sender: TObject);

begin

qGET_PERS_FOTO.Open;
qGET_PERS_FOTO.Insert;
FDQuery1.first;

while not (FDQuery1.Eof) do

begin

 try

    qGET_PERS_FOTO.FindField('foto').Assign(FDQuery1.FieldByName('foto'));
    qGET_PERS_FOTO.FindField('pers_id').Assign(FDQuery1.FieldByName('pers_id'));
    qGET_PERS_FOTO.Post;

    Except
     On e: Exception Do
     begin
       if Pos('unique constraint', e.Message)> 0 then
       begin
         Break
       end;
    end;
 end;
...
Рейтинг: 0 / 0
16.02.2021, 19:05
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045968
ъъъъъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ъъъъъ
Гость
Вот распрыгалась, как павианы в брачный период.
...
Рейтинг: 0 / 0
16.02.2021, 19:06
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045971
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
Гаджимурадов Рустам,

сорян, за скрин.

если у компонента FDConnection ставить Unidirectional = True, то почему-то вставляется только одна запись
...
Рейтинг: 0 / 0
16.02.2021, 19:11
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045972
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
WНатальяНет, не программистка.

А кто? Секретарша?.. В приведённом коде нет ни одной правильной строки.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.02.2021, 19:12
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045973
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
ъъъъъ,

сарказм не поняла.
...
Рейтинг: 0 / 0
16.02.2021, 19:12
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045974
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
WНаталья> Нет, не программистка.

Ну а чего тогда не своим делом занимаешься?


WНаталья> qGET_PERS_FOTO.Open;
WНаталья> qGET_PERS_FOTO.Insert;

Вставку делайте с пом. Command и запросом Insert, без датасета.

FDOracleQuery.SQL := 'insert into table (id, photo) Values( :p1, :p2)';
цикл
FDOracleQuery.Param[0] := ...
FDOracleQuery.Param[1].LoadFrom...
FDOracleQuery.Execute;
FDFBQuery.Next;
конец цикла.
Commit;


WНаталья> FDQuery1.first;


Где запрос-то? Где ограничение и цикл?
Первые 10 фоток копируются хоть?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.02.2021, 19:13
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045976
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
16.02.2021 19:13, Гаджимурадов Рустам пишет:
> Ну а чего тогда не своим делом занимаешься?

это троло-ло.
ты посмотри его вопросы в оракловом форуме.
и сравни с этим "цирком".
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.02.2021, 19:15
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045979
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
Dimitry Sibiryakov,

вот такое ощущение, что уважаемый форумчане, отвечающие в топике, сразу родились со знаниями программирования.
Раз, и сразу супер идеальный код.

Вот и пищу здесь, чтобы понять как правильно.
К сожалению, друзей -программистов у меня нет, чтобы спросить.

Если кто-то хочет и может помочь (на за "бесплатно", естесвенно), ответить на вопросы, покритиковать код, но при это объяснить че не так, и почему, и как правильно - милости прошу с лс (можете оставить почту)
...
Рейтинг: 0 / 0
16.02.2021, 19:19
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045981
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
WНаталья> Если кто-то хочет и может помочь (на за "бесплатно", естесвенно),

Надо было сразу сумму озвучивать.
За 100-200 баксов желающие бы
нашлись, там "работы" на 10 минут.

https://sql.ru/forum/actualsearch.aspx?search=параметры BLOB Insert&bid=20&st=1
...
Рейтинг: 0 / 0
16.02.2021, 19:26
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045983
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
WНатальявот такое ощущение, что уважаемый форумчане, отвечающие в топике, сразу родились со
знаниями программирования.

Вот такое ощущение, что Вы считаете, что остальные сразу родились со знаниями
программирования и только Вам почему-то приходится что-то читать, что-то искать и вообще
морщить мозг и Вы наотрез это отказываетесь делать.

http://www.ibase.ru/impexp/
http://www.ibase.ru/ibx/ (Не обращайте внимание на название, принципы, там описываемые,
одинаковы для всех библиотек компонент)
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.02.2021, 19:29
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045987
Фотография defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defecatorПривилегированный пользователь
Модератор форума
WНаталья
Гаджимурадов Рустам,

сорян, за скрин.

если у компонента FDConnection ставить Unidirectional = True, то почему-то вставляется только одна запись


очень годный запрос
...
Рейтинг: 0 / 0
16.02.2021, 19:37
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045988
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
Гаджимурадов Рустам,
спасибо
...
Рейтинг: 0 / 0
16.02.2021, 19:38
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045989
WНаталья
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
WНаталья
Гость
Dimitry Sibiryakov,

спасибо
...
Рейтинг: 0 / 0
16.02.2021, 19:39
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40045996
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
И в дополнение к тщательному изучению: https://habr.com/en/post/273549/
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
16.02.2021, 19:54
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40046003
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
WНаталья
Гаджимурадов Рустам,

сорян, за скрин.

если у компонента FDConnection ставить Unidirectional = True, то почему-то вставляется только одна запись
Можно подумать, без Unidirectional вставлялось больше одной.
...
Рейтинг: 0 / 0
16.02.2021, 20:35
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40046016
MaratIsk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MaratIsk
Участник
не знаю как другие гуру, но я сдаюсь с позором )))
...
Рейтинг: 0 / 0
16.02.2021, 21:53
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40046032
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
MaratIsk
не знаю как другие гуру, но я сдаюсь с позором )))
Та тут бесполезно. По коду уже видно стало, что обсуждение ради обсуждения.
Ошибки логические специально проставлены, чтоб никто не догадался.
А названия переменных/объектов говорят о том, что ТС - не новичок. Кто именно троллит, гадать не хочу.
...
Рейтинг: 0 / 0
16.02.2021, 22:55
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40046057
fraks
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fraks
Участник
defecator
WНаталья
Гаджимурадов Рустам,

сорян, за скрин.

если у компонента FDConnection ставить Unidirectional = True, то почему-то вставляется только одна запись


очень годный запрос

Холмс, но КАК???
:)
...
Рейтинг: 0 / 0
17.02.2021, 04:52
| Ответить | Цитировать | Написать  
Проблема при вставке большого количества записей из FB
    #40046058
fraks
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fraks
Участник
WНаталья

сорян, за скрин.


Код: plsql
1.
2.
3.
4.
select * -- first 100 *
from (select pers_id, foto from stud
-- where pers_id between 150000 and 156475
order by pers_id desc)



Почему бы без масла маслянного писАть?

Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
select 
--  first 100
  pers_id, foto 

from stud
-- where (pers_id between 150000 and 156475)

order by 
  pers_id desc



И есть понятие для чего тут
Код: plaintext
order by
применяется?
...
Рейтинг: 0 / 0
17.02.2021, 05:10
| Ответить | Цитировать | Написать  
67 сообщений из 67, показаны все 3 страниц
  все  
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Проблема при вставке большого количества записей из FB
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=58&tid=2037618]:
 0ms
get settings:
 10ms
get forum list:
 21ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 38ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 113ms
get tp. blocked users:
 2ms
others: 214ms
total:  416ms
созд. / загр.: 416ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]