Топик стартер явно указал что хочет использовать только виндовс скрипт хост WSH скрипты поэтому решения под браузер явно не подойдут.
Звук это аналоговый сигнал и без применения какой либо магии байтами он не становится.
За магию звука в Windows отвечает platform SDK но оно работает с фильтрами а не с байтами.
Топик стартеру нада почитать доки ничего сверх естественного там нет. Построить граф фильтров (вроде специальная утилита для этого была) и несколькими вызовами API получить желаемый поток байтов.

Ну если dll то проще создать библиотеку классов на C# взять готовую библиотеку для работы с микрофоном и не заморачиваясь с API системы и в пару кликов пять нажатий реализовать нужный тебе класс.

Со стороны WSH класс можно получить как.

var DLL = GetObject("C:\some\path\helloworld.dll", "appname.HelloWorld");
DLL.ЛюбойПубличныйМетодКласса();

и врапер тут не нужен и регистрировать библиотеку в системе не нужно да и dll соберется оно в пару килобайт.