Попрубуй открыть текстовым редактором, позволяющим работать с гигом данных и поискать по тексту. Обычно, такие решения делаются на базе чего-то уже готового. Так, поиск по тексту экзешника фраз типа Borland или Microsoft может довольно часто дать ответ в чем скомпилирована программа.
Второй путь - заголовок файла + Гугл. для исполняемых файлов в нач. заголовка часто MZ, у Rar - rar и т.п. Скорее всего по характерным буквосочетаниям что-нибудь выцепишь.