Настроил SPNEGO по методе "WebSphere with a side of SPNEGO Configuring SPNEGO in WebSphere 6.1 and 7.0 Environments Using Microsoft Active Directory", в итоге все работает нормально, когда вход осуществляется по http, а когда по https нет, при этом в лог пишется следующая ошибка "A non-valid SPNEGO token has been encountered while authenticating a HttpServletRequest".

Единственное что смог нагуглить, что возможно есть разница во времени >5 мин между домен контроллером и сервером портала, но ее нет, впрочем тогда и http не работал.

Другие настройки такие:
1. каталог пользователей standalone ldap на global search порты, пробовал как на обычный 3268 так и на ssl 3269, сейчас на 3269. (впрочем 389 и 696 тоже пробовал, без результатно).
2. Для клиентов пробовал как и self-signed сертификат от портала, так и выданный через поднятый в домене enterprise ca.