ali_tashКак реализовать из Java автозапуск (желательно не через автозагрузку а из реестра).
Эот ОС зависимая фича, соответственно к Java никакого отношения не имеет. Надо найти как это делается в ОС. Затем найти тулзу коотрая это сделает. А потом прикрутить к ней Java. Посмотри может в проекте JDIC что-то найдется нужное.

ali_tashКак свернуть Frame, JFrame в трей.
Эта фича реализована только в Java 1.6. До этого пользовались сторонними решениями.
http://www.google.com/search?q=Java+1.6+tray

ali_tashКак запустить из Java неисполняемый файл, по расширению.
Java не запускает файлы. Она может запускаеть процессы пользуясь командами ОС через Runtime.exec(). Найди как бы ты смог запустить жтот файл в винде и используй ту же команду в Java