В минимальном варианте "проверка на открытый порт" это попытка подключиться и обработка результата попытки.

Тут, надеюсь, всё понятно: Socket.connect() ?

Судя по аргументам командной строки nmap "юзает" многопоточное сканирование, а это j.l.Runnable и j.l.Thread .
Полуоткрытые сокеты из другой оперы и, если nmap их оставляет, то его разработчикам можно вырывать руки. Но я не думаю, что всё так плохо.

P.S. Самостоятельно думать совсем не хочется?

Пытаясь устроить многопоточное сканирование "без сокетов" не надо забывать, что владельцу сети может не понравиться SYN-flood.
В некоторых случаях можно и со службой безопасности познакомиться. В некомфортных условиях.

И что?
Если я (разработчик) приду к клиенту и начну сканировать его сеть, то существуют ненулевые шансы, что его служба безопасности будет иметь долгий и малоприятный разговор сначала со мной, потом с моим руководством, а потом опять со мной.
Тем более, что ТС делает попытки подобрать пароли. Это уже не просто сканирование - это взлом.

P.S. Есть у Марка Русиновича "блог в тему": помогали "начинающему программисту" фильтр к драйверу написать. Советы давали. А в итоге получилась защита контента, которое мало того, что конфликтовала с кучей другого софта, так ещё и дырку с системе создавала.