По-моему, это глюк :(
Среди всего прочего, этот диалог настраивает границы печатного листа (PageSettings.Margins). В MSDN сказано, что эти Margins измеряются в сотых долях дюйма. В диалоговом окне (PageSetupDialog) же эти самые Margins измеряются в десятых долях мм. В итоге при каждом вызове диалогового окна все значения конвертируюся из миллиметров в дюймы, постепенно уменьшаясь :(
Если установить дюймовую систему измерений, то все работает корректно.

Может, я где какую настройку пропустил?