POI никак не использует MS Office, что очевидно из чтения описания POI. Однако для отчётов применять POI плохо, разве что требования небольшие. Трудно форматировать, и функции для создания .DOC и .XLS разные, а для .PDF их вовсе нет (для этого можно использовать библиотеку iText). Поэтому лучше пользоваться генератором отчётов (JasperReports, iReport, jFreeReport), которые внутри себя используют POI.
Если всё же хочется форматировать в POI, то есть некоторая возможность импортировать пустой документ, созданный вручную, и вставить туда текст в нужные места.