авторВозможно ли это вообще реализовать на Java?

Да, потому что это уже сделано. Может, и не на Java, но с помощью алгоритмов, которые есть и в библиотеках, доступных из Java/

авторВ какую сторону мне копать?

Тема "машинное обучение" (machine learning) задача "распознавание людишек по голосу" (voice recognition).
Главное, понять алгоритмы. Для данной задачи подходят методики deep learning (в основном это современная реализация нейронных сетей) и алгоритмы. основанные на дереве решений (оно само устарело) - Random Forest, GBM (и его разновидности AdaBoost и модный сейчас алгоритм и библиотека XGBoost). Для наилучшего результата можно сочетать алгоритмы или настройки обучения (это называется ensemble learning). Много документации на сайте www.caggle.com , там же можно найти наборы данных (dataset), нужные для обучения программы (и для соревнований по решению задач обучения).
Ещё полезные сайты www.kdnudgets.com и www.quora.com

[авторМожет уже есть готовые библиотеки?

Да, естественно. Программировать с 0 не надо. Правда, есть обстоятельство. Для машинного обучения наиболее моден язык Python, и для него есть наибольшее количество литературы и библиотек. На втором месте R. Поэтому я, хоть и программирую на Java, для наилучшего усвоения методики стал использовать Python. Например, хоть библиотека H2O написана на Java, но в единственной книге по ней программные примеры - на Python и R. Впрочем, если не хотите изучать или использовать Python, найдёте и на Java. На этом останавливаюсь, так как устал, как собака.

сделал опечатку в названии сайта:

Kaggle