А операционка случаем не ХР?....

Блин, у нас таже проблема под ХР под луной.

Так...
Для начала попробуй это:

Вместо ShowWindow(SW_) используй ::ShowWindow(m_hWnd,SW_);
Дело в том, что MFC в своём SetStyle делает проверку на текущий стиль, и если он не менялся, то оно ничё и не делает.
Это, возможно, будет правильно прописывать флаг.

Если это не поможет, (а это скорее всего не поможет) дебагером отследи место где меняется флаг видимости окна, начиная с того места, где ты делаешь SW_HIDE и до IsWindowVisible. Потом обложи его сохранением/восстановлением текущего флага видимости, и будет тебе счастье.

Если это у тебя не получилось, в классе своего диалога заведи переменную, которая будет отвечать за видимость, потом забабахай обработку WM_SHOWWINDOW и прописывай эту переменную через wParam, и будет тебе счастье.

А ещё, к последнему варианту, если IsWidowVisible - виртуальная, то вообще зашибись, переписываешь эту функцию, и всё у тебя работает, ничё в общем коде программы менять не нужно.

авторКороче - все руками делать.
Да не, вот последний вариант как раз не руками. Там тока переменную одну завести, один обработчик и одну функцию переписать(если можно).

А по EndDialog не WM_DESTROY ли посылается?