Прошу прошения, но много слов а дельного совета так никто и не дал.
У меня тоже возникла потребность в создании инсталятора для web приложения.
Нужно:
Дать возможность пользователю ввести имя виртуального каталога (и только! ни AppPool, ни TargetSite).
Проверить введенные значение, если невалидно, вывести сообщение и деактивировать кнопку Далее.
Установить asp.net 4 фичу на сервер, если она не активирована.
Создать отдельный AppPool и сконфигурировать его под потребности приложения.
Сконфигурировать connection string к бд, на основании данных введенных пользователем.
Локализация инсталятора обязательна.

За основу был взят VS2010 Web setup project. И как позже выяснилось- зря.
Минусы:
нет мультиязычности
нет возможности написания валидаторов
нет возможности написания кастомных UI форм вместо стандартных Instalation Address, Testbox(a) и пр.
custom action на событие commit не вызывается, если не добавить этот же action на событие Install с переопределением метода Install в котором ничего не делается, кроме вызова базового метода. Вообщем костыли сплошные.
Куча умников в интернете пишут про Web setup project, однако видимо никто глубже особо не копал.

Плюсы:
довольно простая работа с IIS APi в custom action'ах посредством Microsoft.We.Administration библиотеки (в nugent можно найти)

Вообщем для меня в конечном итоги оказался один рабочий вариант (так как время на задачу было уже почти потрачено и нужно было что-то предпринимать):
Комплилировать msi пакет средствами web setup project.
Создавать сторонними средствами инсталятор с формами для ввода нужных данных и валидацией.
Вызывать из стороннего инсталятора msiexec для скомпилированного пакета web setup proj c передачей введенных параметров в режиме /passive.

Вообщем не буду я больше использовать web setup project. Если есть возможность рассмотрите альтернативные варианты, с более гибкой кастомизацией.