Не вижу отличий установки офиса на обычную машину и на сервер терминалов. Поэтому:
1. Может что-то не доустановили?
2. Без доступа по терминалу все нормально работает?
3. Может как раз юзерских прав не хватает для каких-то вещей.
Т.е. если без терминала все работает также фигово, ищите проблему в установке офиса.

А в чем отличие-то?

Вот чего там нашел:
Советы и рекомендации по развертыванию Office 2003 в среде служб терминалов
Следующие советы и рекомендации помогут Вам развернуть Office 2003 в среде служб терминалов:
- Порядок установки. Перед установкой Office 2003 на сервере должны быть запущены службы терминалов. Программа установки обнаружит, что службы терминалов запущены на сервере, и автоматически сконфигурирует вид установки для данной среды.
- Режим сервера приложений. Для установки Office 2003 службы терминалов должны работать в режиме сервера приложений (Application Server Mode) для того, чтобы произошла соответствующая настройка Office 2003. Если компьютер работает в режиме удаленного управления (Remote Administration mode), то Office 2003 не распознает этот режим и установится как на обычный компьютер.
- Почтовый редактор, используемый по умолчанию. Если Вы устанавливаете Outlook 2003 с редактором WordMail по умолчанию, то выделите как минимум 8 Мб памяти на каждого сотрудника (при этом не забудьте про остальные требования, предъявляемые к памяти). Office 2003 содержит почтовый клиент Outlook 2003. Outlook 2003 и Microsoft Office Word 2003 совместно используют большой объем памяти сервера терминалов. Часто сотрудники организации используют WordMail в качестве почтового редактора, тем самым увеличивая количество памяти, выделяемой сервером терминалов на каждого сотрудника. По умолчанию редактором для Outlook 2003 служит WordMail, но Вы можете заменить его любым другим, который будет использоваться по умолчанию.
- Разрешения доступа к реестру. Для использования некоторых функций Outlook 2003 Вам потребуется установить сотрудникам разрешение на запись в некоторые разделы реестра. Например, сотрудникам организации для настройки форм может понадобиться доступ к реестру для внесения записей в раздел HKCR\CLSID. Для дополнительной информации смотрите пакет Office 2003 Resource Kit http://www.microsoft.com/office/ork/xp/default.htm.

А про "Установку удаление программ" не нашел.