FileSet - это запрос, а не метод, поэтому правильно так:

set rs=##class(%ResultSet).%New("%File:FileSet")

Также Вам могут пригодиться готовые ZEN-компоненты:
%ZEN.Dialog.fileSelect

%ZEN.Component.fileUpload

У меня никаких ошибок не возникает (2011.1.FT2):

ClassMethod Test() As %Status [ ZenMethod ]
{
  #dim ex As %Exception.AbstractException
  
  try{
    set st = ##class(%SQL.Statement).%New()
    $$$ThrowOnError(st.%PrepareClassQuery("%File","FileSet"))
    set rs = st.%Execute(,"*.txt")
    while rs.%Next() {
      do rs.%Print()
    } 
  }catch ex{
    write $system.Status.GetErrorText(ex.AsStatus(),"ru"),!
  }
  quit $$$OK
}

}

Для обработки имени файла используйте методы:
%File :
NormalizeDirectory
NormalizeFilename
NormalizeFilenameWithSpaces
...

%CSP.Page :
EscapeURL
Link
...

Можно воспользоваться компонентами <tableNavigatorBar> и <tablePane> с включённым режимом Snapshot .

Аленочка ,

Следующий пример у меня работает (2011.1.RC1):

Class sql.ru Extends %ZEN.Component.page
{

/// Имя приложения, которому принадлежит эта страница.
Parameter APPLICATION;

/// Отображаемое имя для нового приложения.
Parameter PAGENAME;

/// Домен, используемый для локализации.
Parameter DOMAIN;

/// Этот блок Style содержит определение CSS-стиля страницы.
XData Style
{
<style type="text/css">
</style>
}

/// Этот XML блок описывает содержимое этой страницы.
XData Contents [ XMLNamespace = " http://www.intersystems.com/zen"  ]
{
<page xmlns=" http://www.intersystems.com/zen"  title="">
  <tablePane
    id="table" 
    showQuery="true" 
    bodyHeight="10em" 
    fixedHeaders="true" 
    maxRows="50" 
    queryClass="%Library.File" 
    queryName="FileSet"
    dataSource="columns"
  >
    <parameter value="C:\UPLOAD\"/>
    <parameter value="*.jpg"/>
    <parameter value=""/>
    <parameter value="0"/>
    <parameter value=";"/>
    <column header="Файл" colName="Name" />
    <column header="Тип" colName="Type" />  
  </tablePane>
</page>
}

}