если брать теорию, то основной метод скрытия процесса - перехват NTQuerySystem-чего-то там из ntdll. Работает легко и просто (исходники по инету гуляют, мне достались вместе с диском пиратским). Прячет процесс ото всех менеджеров процессов, которые используют эту самую и ей подобные функции (т.е. CreateToolhelp32Snapshot уже не рулит).
В Windows таким образом можно спрятать процесс от taskmgr.exe, но нельзя спрятать от консольной tasklist.
Т.е. есть и другие способы перечисления процессов, точнее не скажу, что-то там с Performance Counters, посмотрите исходники на http://www.sysinternals.com.
Просто гораздо опаснее и неприятнее не скрытые процессы (ну их!), а куда более распространенные dll-расширения, которые то к explorer.exe, то аж к winlogon.exe привешиваются. Но их тот же Process Explorer позволяет довольно легко отловить