Вот к чему пришел я, пользуясь полейнейшим методом научного тыка и копания в исходниках.
Этот метод нужно вызывать при изменении локали. Здесь диалоги не полностью
настраиваются, но идея думаю ясна. Констант для первого параметра я так и не нашел :(
getConfigLocaleString - метод, который возвращает локализованную строку по ключу
public static void prepareStandartDialogButtonText() {
UIManager.put("OptionPane.cancelButtonText", getConfigLocaleString("Cancel"));
UIManager.put("OptionPane.yesButtonText", getConfigLocaleString("Yes"));
UIManager.put("OptionPane.noButtonText", getConfigLocaleString("No"));
UIManager.put("FileChooser.cancelButtonText", getConfigLocaleString("Cancel"));
UIManager.put("FileChooser.directoryOpenButtonText", getConfigLocaleString("Open"));
UIManager.put("FileChooser.updateButtonText", getConfigLocaleString("Update"));
}