в самом модальном окне кнопка->action when button clicked-> redirect to url->url target->javascript:parent.$s($v('P15_GO'),fncadr()); parent.modalClose();

пояснения: parent - родительское окно ифрейма
parent.$s($v('P15_GO') - тем родительского окна с идентификатором, который есть значение итема P15_GO модального окна
fncadr() - функция JS модального окна, возвращающая значение

parent.modalClose(); - обращение к функции js родительского окна.

можно написать так javascript:parent.$s('P17_ITEMNANE'),'hjhjhjhjhj'); где P17_ITEMNANE идентификатор итема родительского окна

в Function and Global Variable Declaration родительского окна

var modalDialog=null;


function modalOpen(pageNumber,pageItem,pageValueItem,windowTitle,windowWidth,windowHeight){

var newURL = window.location.protocol + "//" + window.location.host + ":7777/pls/apex/f?p=" +$v('pFlowId')+":"+pageNumber+":"+$v('pInstance')+"::::"+pageItem+":"+pageValueItem;

modalDialog=apex.jQuery('<div></div>').html('<iframe src="' + newURL + '" height="'+(windowHeight-50)+'" width="'+(windowWidth-50)+'" style="border:0" frameborder="0" scrolling="no" marginheight="0" marginwidth="0">').dialog({autoOpen: false,modal: true,height: windowHeight,width: windowWidth,title: windowTitle});
modalDialog.dialog('open');
}

function modalClose(){
if (modalDialog!=null){
modalDialog.dialog('close');
modalDialog=null;
}
}

но это в случае, когда модальное в iframe

если popur тогда
http://www.sql.ru/forum/actualthread.aspx?tid=816243