если ты просто создал новый экземпляр класса
new NumberFormatInfo();
то (см. внимательно MSDN) - он culture-independent (invariant).

И как это понимать
из текущей культуры надо вытаскивать NumberFormatInfo