В чем принципиальная разница между этими двумя фичами?
Чтобы понять, в каком случае какой путь выбрать

Sergey TSVОдно из важных отличий, и в этом плюс Extension, то, что работа Extension основывается на наличии разработанных XML-элементов. Кроме того что это выглядит более естественно и наглядно, XML-элементы добавляют еще один источник получения информации. Например, разработанные XML-элементы могут находиться внутри элемента Component и таким образом сами могут контролировать свою работу от условий установки Feature.

Если подразумевается использовать разработанные Custom Action в нескольких WiX-проектах, то тоже лучше оформить их как Extension.

При использовании Custom Actions необходимо явно прописывать их в Sequence в каждом проекте WiX. При использовании Extension это будет происходить автоматически.

Использовать Extension сможет менее квалифицированный в этом деле программист, которому не надо объяснять, как оформить deferred и rollback.

Это то с чем я столкнулся, скорее всего есть еще что-нибудь.

спасибо

я сделал длл с Custom Actions, которые были нужны эволюционно. Например, для проверки и изменения настроек IIS во время установки веб сервиса под него.
И один вопрос остался до конца непонятным, как реализовать: я использую xml для замены параметров в Config файле сервиса после установки сервиса, в зависимости от выбранных юзером опций. Это неудобно, дофига текста. Да там и возможностей мало, нет гибкости.
Хотел приспособить что-то свое, скажем Extension, чтобы файл модифицировать после установки.