Пробую закрывать приложение:
1. myWPFWindow.Close()
2. Application.Current.MainWindow.Close();
3. Application.Current.Shutdown();

Основное окно конечно закрывается. Но приложение остается запущенным.

в смысле в первом пункте this.Close();

Руки-крюки,

Я нет, но в библиотеках dll возможно....

Хотя, потоки вряд ли. Просто даже если запускаю программу и ничего не делаю, а сразу нажимаю выход, то так же всё.

Да, спасибо! Действительно один поток инициализируется.