Добрый день

Firebird 3.0.3 - 3.0.4 SS под Linux падает на нашей UDF при одновременном обращении к ней из нескольких коннектов (не важно какая функция из трех вызывается).

UDF собрана на FreePascal 3.0.4.
Проблема проявляется только на Linux и только в режиме SS. Ранее под Linux использовали только режим CS и там проблема не возникала, сейчас не может из за этого перейти на SS.

Для того что бы разобраться сделали простой тестовый проект.
Три функции, во всех попробовали разный способ вернуть строковый параметр.


library tbudf;

uses
SysUtils, Math,
tbutil in 'tbutil.pas',
ib_util in 'ib_util.pas',
ibutil in 'ibutil.pas',
consts in 'consts.pas';


function udf_CopyMalloc(Str: PChar; var Index, Count: integer): PChar; cdecl; export;
begin
Result := ib_util_malloc(Length(Str) + 1);
StrPCopy(Result, Copy(Str, Index, Count));
End;


function udf_Copy(Str: PChar; var Index, Count: integer): PChar; cdecl; export;
begin
Result := Str;
StrPCopy(Str, Copy(Str, Index, Count));
end;

procedure udf_StrOfChar(Ret, Ch: PChar; var Count: integer); cdecl; export;
begin
if (Ch = nil) or (Ch^ = #0) or (Count <= 0) then
Ret^ := #0
else
StrPCopy(Ret, TBStrOfChar(Ch^, Count));
end;


exports
udf_CopyMalloc,
udf_StrOfChar,
udf_Copy;

begin
isMultithread := True;
end.



Вот SQL для регистрации

declare external function udf_CopyMalloc
cstring(254), integer, integer
returns cstring(254) Free_it

entry_point 'udf_CopyMalloc' module_name 'tbudf';


declare external function udf_Copy
cstring(254), integer, integer
returns cstring(254)
entry_point 'udf_Copy' module_name 'tbudf';

declare external function udf_StrOfChar
cstring(254), cstring(254),integer
returns parameter 1
entry_point 'udf_StrOfChar' module_name 'tbudf';


Если функции вызываются в нескольких коннектах - сервер падает.

Иногда успевает записать в лог ошибку
The user defined function: UDF_COPYMALLOC
referencing entrypoint: udf_CopyMalloc
in module: tbudf
caused the fatal exception: Segmentation Fault.
The code attempted to access memory
without privilege to do so.
This exception will cause the Firebird server
to terminate abnormally.

Иногда нет

/opt/firebird/bin/fbguard: /opt/firebird/bin/firebird terminated abnormally (-1)
fbserver2 Fri Jun 22 20:19:28 2018
/opt/firebird/bin/fbguard: guardian starting /opt/firebird/bin/firebird
fbserver2 Fri Jun 22 20:33:50 2018
/opt/firebird/bin/fbguard: /opt/firebird/bin/firebird terminated abnormally (-1)
fbserver2 Fri Jun 22 20:33:50 2018
/opt/firebird/bin/fbguard: guardian starting


Во вложении спроект и откомпилированная на CentOS-7 udf
Как правильно писать udf для FB 3

Dimitry Sibiryakovне важно какая функция из трех вызывается


Что с ними не так? Хорошие такие функции.
Если откомпилировать под Windows и вызывать в нескольких потоках из тестовой программы, все ОК
И Firebird 3.0.3 SS для Windows работает с какой то из них. Две других результат попытки решения этой задачи :)

Dimitry SibiryakovВ образовательных целях попробуйте докопаться до ошибок сами:
http://ibphoenix.com/resources/documents/search/doc_36


Спасибо за ваш ответ.
Но по указанной вами ссылке нет информации о том как нужно работать со строками в Pascal что бы Firebird под Linux не падал.

P.S. Этот пост - просьба помочь, после того как сами не смогли решить проблему.

Dimitry SibiryakovЯ же говорю: трассируйте, повышайте квалификацию и знание потрохов FCL.



Я взял на себя задачу задать вопрос здесь. Так как тот кому я это поручал сказал, что на русскоязычных форумах только обольют говном а кому это нравится? Он взял на себя задачу в трекер Firebird написать а я сюда.
Если вы не способны помочь - зачем тратить тут время? Собственное эго тееребите?

Dimitry SibiryakovТлеет надежда, что вы начнёте-таки использовать отладчик и поймёте почему PChar никогда
нельзя пихать туда, где ожидается string. И в чём разница между PChar, PAnsiChar,

Не нужно поднимать собственную самоценку за мой счет.
Если есть - то дайте пример исходников, написанных правильным образом. Если знаете как сделать - покажите код. Если видели толковую статью, что я не нашел - дайте ссылку.
Если нет ни того ни другого, то просто отойдите в сторонку, уступите место тому специалисту кто знает и может помочь.

Симонов ДенисРискну предположить что первые две функции на фиг не сдались ибо есть аналоги на встроенных функциях.

Денис, вы совершенно правы. Эти функции просто попытка разобраться в проблеме и понять как вернуть строку в результат что бы сервер не падал. Их код основан на примерах с ibase.ru.

Dimitry Sibiryakov,

Эти функции просто попытка разобраться в проблеме и понять как вернуть строку в результат что бы сервер не падал. Их код основан на примерах с ibase.ru.

А нужны такие функции как FormatDateTime, FormatFloat и еще несколько специфических.

Симонов Денис http://www.ibphoenix.com/files/Writing-External-Functions.pdf

Денис, спасибо! Хорошая статья. Завтра попробуем

Dimitry Sibiryakov для таких вот... программистов, не умеющих пользоваться отладчиком.


И опять вы в меня говном бросили. При этом ни из одного вашего комментария к моему вопросу ни крошки ни выжать пользы. Зачем вы все это пишете? В чем прикол? Что у вас там чешется?

Обратите внимание на точные и полезные ответы Дмитрия Кузьменко и Дениса Симонова. Именно так и создают сообщество, сообщество которое может помочь и в которое не бояться заходить новые участники.

Siemarglчтобы было меньше граблей при скрещивании (ну и пробелы в опыте) - используй компилятор вызывающей системы, т.е. твоей версии ФБ

Спасибо за совет.
Так и сделаем, перепишем udf под C. Как узнать каким компилятором собран Firebird под linux x64?

kdvя писал и проверял пример safeudf (который на ibase.ru) на Дельфи. Что там делает FPC - хрен его знает.
Я собрал вашу safeudf на FPC и протестировал на Firebird SS с Win 64, Win32, Linux 64 Все работает отлично!
Наши функции работают только под Win 32 и Win 64.
Вчера под подозрение попала StrPCopy (не случайно в тесте наши три функции используют именно её) но проблема проявлялась только в SS Linux так что стали искать проблему в реализации многопоточности приложения FPC под Linux (Про многопоточночть вы нам рассказали ранее, когда мы делали dll для Win 64 на Delphi)

Нашел в статье про разработку многопоточных приложений на FreePascal что нужно делать так

uses
// Вот оно решение !!!!!!
cthreads,
//
SysUtils, Math,
tbutil in 'tbutil.pas',
ib_util in 'ib_util.pas',
ibutil in 'ibutil.pas',
consts in 'consts.pas'

Все работает! Из нескольких пользовательских коннектов одновременно вызываю наши функции в SQL запросах с полным переборам записей из больших таблиц (3 000 000 записей).
Разумеется, это не меняет принятого нами решения переписать нашу UDF на C.
Прошу вас в вашу полезную статью, о том как правильно писать UDF, добавить информацию о StrPCopy и uses cthreads. Может комутто это съэкономит время.

Провели дополнительные эксперименты
StrPCopy - не виновата. Проблема была только в многопоточности FPC.

Если в простой код код SafeUdf добавить создание и уничтожение PChar то сервер будет падать.



Проблему решает только добавление в uses cthreads

Dimitry SibiryakovКак я и сказал выше: FPC игнорирует IsMultithreaded. Вы уже пошли и написали это ему в трекер?
Это не баг а фича. в документации на freepascal.org (там я и нашел решение проблемы) написано:
You don´t need any special unit for this to work with Windows. However with Linux, Mac OS X and FreeBSD, you need the cthreads unit and it must be the first used unit of the project (the program source, usually the .lpr file)!
вот тут http://wiki.freepascal.org/Multithreaded_Application_Tutorial%5D]http://wiki.freepascal.org/Multithreaded_Application_Tutorial]

Dimitry Sibiryakov этот код действительно есть в Safe Udf? Серверу будет очень весело,
когда он захочет использовать результат уже после того, как освободил входящие параметры.


Вот код из SafeUdf.dpr

{ DECLARE EXTERNAL FUNCTION function3
CSTRING(80)
RETURNS CSTRING(80)
ENTRY_POINT 'function3' MODULE_NAME 'safeudf' }

function function3(P1: PChar): PChar; cdecl; export;
begin
P1:=StrCopy(P1, P1);
Result:=P1;
end;

Онт работает везде и всегда