BlackeAngel1) почему на форме, написанной на swing не работает одна кнопка при компиляции в jar. В Idea все работает, собираю в jar - одна кнопка не работает.(виндовс хр)
Кнопка "не работает", потому что при обработке события у вас происходит исключение. Исключение происходит потому что либо вы не подключили библиотеки, либо не правильно читаете ресурсы. Либо исключение было там где на кнопку вешается слушатель.

BlackeAngel2) перестает запускаться jar на минте после 6 запуска.

У вас jar запускается в течении 6 минут и никак за это время не запустится? Вам бы изъяснятся в технической терминологии. Процессы там или потоки. Работают? Умирают? Зависают? Молотят в холостую? Что это за jar такой который аж 6 минут запускается? AutoCAD быстрее запускается чем ваш jar.

BlackeAngel3) после 15 теста, программа перестала работать с внешними файлами(виндовс, линукс)

Вы бы try...catch не забывали использовать. И логировать отловленные исключения.

BlackeAngel4) подвешивается гуи изредка без причины (виндовс)

ROFL. "без причины". Причина в коде.

BlackeAngelВ какую сторону рыть?
https://docs.oracle.com/javase/tutorial/essential/exceptions/handling.html
https://habrahabr.ru/post/130195/
https://www.google.com/search?q=Java remote debug

BlackeAngelА на не которых машинах jar вообще не стартует, хотя ire8 установлена везде(процесс java не появляется).
Запускайте через java -jar и смотрите сообщение об ошибке. Вы, вероятно, просите пользователей кликом на jar запускать? Что приводит к использованию javaw и отсутствию вывода в System.out.

По-хорошему вам нужно либо скрипты запуска распространять, либо .exe обертку, чтобы редиректить out в лог файл.

BlackeAngelНу если вам угодно, то да в течении 6ти минут открывают и закрывают программу. И на 6й запуск не стартует. До перезапуска компа.
Вероятно, вы не аккуратно закрываете файлы. Вроде сейчас эта бага должно быть исправлена. А в более старых версиях Java и Windows лок на файле мог остаться даже после закрытия java процесса.

В любом случае, если у вас нет вывода в лог ошибки из-за которой не запускается программа - это ваш косяк в системе логирования. Одно из основных преимущество Java над другими платформами это не только стабильность, но ещё и доступность всех ошибок и исключений, что позволяет легко решать возникшие проблемы. А, не как часто быват в нативных систамах - BSOD и "до свидания". Анализируй как хочешь.