У меня Windows 8.1, MS Visual C++2015. Под Lua 5.1.5 64-бит работает.
Под Lua 5.3.5 и 64- и 32-бит только компилируется (с /DNLUA51) и линкуется. При require ("luacom") сбой в 9-й строке luacom5.lua. Этот модуль вызывается как luacom5.loh из функции luacom_open в файле luacom.cpp.
Может нужны ещё какие-то ключи или макросы, кроме /DNLUA51, при компиляции?

Дистрибут скачал с https://github.com/davidm/luacom. Файл luacom5.loh построил из luacom5.lua с помощью bin2c.lua.
Можно ли откуда-то скачать luacom.dll?

Компиляция src\library\*.cpp: cl /c /W4 /EHsc @all-5.3.5-64.rsp
Файл all-5.3.5-64.rsp:

/D_CRT_SECURE_NO_WARNINGS
/DNLUA51
/ID:\BAT\Lua\5.3.5-64\include
/ID:\BAT\Lua\LuaCOM\5.3.5-64\include
/ID:\BAT\Lua\LuaCOM\5.3.5-64\src\library
LuaAux.cpp
luabeans.cpp
luacom.cpp
LuaCompat.cpp
tCOMUtil.cpp
tLuaCOM.cpp
tLuaCOMClassFactory.cpp
tLuaCOMConnPoints.cpp
tLuaCOMEnumerator.cpp
tLuaCOMException.cpp
tLuaCOMTypeHandler.cpp
tLuaControl.cpp
tLuaDispatch.cpp
tLuaObject.cpp
tLuaObjList.cpp
tLuaTLB.cpp
tLuaVector.cpp
tStringBuffer.cpp
tUtil.cpp

Компиляция и линковка src\dll\luacom_dll.cpp: cl /W4 /EHsc luacom_dll.cpp @lnk.rsp
Файл lnk.rsp:

/D_CRT_SECURE_NO_WARNINGS
/DNLUA51
/ID:\BAT\Lua\5.3.5-64\include
/ID:\BAT\Lua\LuaCOM\5.3.5-64\include
/ID:\BAT\Lua\LuaCOM\5.3.5-64\src\library
/LD
/Fe:luacom.dll
luacom_dll.def
LuaAux.obj
luabeans.obj
luacom.obj
LuaCompat.obj
tCOMUtil.obj
tLuaCOM.obj
tLuaCOMClassFactory.obj
tLuaCOMConnPoints.obj
tLuaCOMEnumerator.obj
tLuaCOMException.obj
tLuaCOMTypeHandler.obj
tLuaControl.obj
tLuaDispatch.obj
tLuaObject.obj
tLuaObjList.obj
tLuaTLB.obj
tLuaVector.obj
tStringBuffer.obj
tUtil.obj
user32.lib
oleaut32.lib
ole32.lib
htmlhelp.lib
shlwapi.lib
gdi32.lib
D:\BAT\Lua\5.3.5-64\clibs\lua53.lib
/link /LIBPATH:D:\BAT\Lua\LuaCOM\5.3.5-64\src\library
/link /LIBPATH:D:\BAT\Lua\5.3.5-64
/link /LIBPATH:D:\BAT\Lua\5.3.5-64\lib
/link /export:luaopen_luacom
/link /machine:x64

Файл luacom_dll.def

EXPORTS
luaopen_luacom
luacom_openlib
DllGetClassObject PRIVATE