andrek82,

Странные у вас сочетания инструментов: VS2010 + IIS 5 (10-ти летней давности IIS выглядит здесь если не "неадекватно", то уж точно - неуместно).

Со времен 5-го IIS-а модель процессов и безопасности в IIS-ах существенно поменялась, в частности процесс ASP.NET, который будет хостить ваш "REST WCF проект", с 7-й версии встроен в движок веб-сервера (до этого он был обычным ISAPI-фильтром), что позволяет творить всякие хитрости, вроде REST-а (подмену URL-ов с имен физических файлов на указатели абстрактных ресурсов).

Во времена IIS 5 до такого еще не додумались, поэтому там каждому расширению файла (*.aspx, *.asp, etc.) был приписан определенный ISAPI-фильтр, который обрабатывал файлы такого расширения, запрашиваемые у сервера... (ес-с-нно, у *.aspx ISAPI-фильтром была прописана aspnet_isapi.dll).

Чтобы заставить работать IIS 5 с REST (читай - URL Routing) надо применить т.н. "wildcard mapping", т.е. перенаправить все(!) запросы всех(!) файлов (ресурсов) на сервере через aspnet_isapi.dll.
(см. картинку для IIS 6, в моем ближайшем окружении IIS 5 не нашлось)
IIS MC > [ваш сайт] > Properties > Home Directory > Configuration > Mappings > Insert

Ну, и следует осознавать, что такое действие заставит сервер отдавать все запрошенные ресурсы через aspnet_isapi.dll, т.е. про кеширование статических файлов можно забыть... (ну, и еще там "тонкостей" по мелочи).

Поэтому я и говорю - VS2010 + IIS 5 выглядит как-то неуместно...