Посмотрите ffmpeg - из vba достаточно вызывать программу с передачей правильных ключей: их там много, собственно интерфейс программы будет состоять из ввода пользователем необходимых параметров и вызов ffmpeg с ключами, которые все это описывают.
Это простой путь, есть более гибкий, но более сложный, не уверен, что на vba его можно реализовать.