1) скорее всего работает как byRef, При этом непосредственно в длл можно передавать ТОЛЬКО лонги, поэтому дай полное определение, т.е.
Declare MyFunction "MyDll.dll" (ByVal MyVar As Integer,....) As Long

2) длл должна находиться в местах доступных для проекта - то есть либо систем, либо codeproject.path

3) надежней ( и быстрее по скорости последующего обращения) ее явно загрузить LoadLibrary, и, соответственно, потом объявить выгруженной.
(никуда, похоже, она при этом не выгружается, но "проекту больше не нужна")

что-то я тут накуролесил с утра, но совет, собственно, в полном описании состоит.

Да, еще хорошо бы показать собственно строку вызова на которой ошибка происходит