maytonЧто нам будет интересно.
1) Количество ядер и количество threads.
2) Размеры кешей данных L1/L2/L3.

Нет. Автор темы не понял задачу и неправильно её поставил. В действительности ему не надо измерять процент попаданий в кеш.
Но если ему охота заниматься фигнёй, то зачем ему давать советы, как это лучше делать. Пусть организация, в которой он работает, и даёт ему задания на фигню.

Я уже примерно объяснил, что на самом деле нужно. Повторяю, чтобы здешний флейм кого-нибудь не сбил с толка.
Для выскопроизводительных вычислений нужно распараллеливание вычислений. Оно бывает в кластере компьютеров, внутр компьютера между процессорами/ядрами, и внутри GPU. Эти способы могут применяться и совместно. Например, в библиотеке машинного обучения Microsoft CNTK есть одновременное распараллеливание в кластере, между несколькими GPU в одном компьютере и внутри GPU (библиотеки машинного обучения требуют большого объйма вычислений, поэтому их авторы стараются применить распараллеливание).
При распараллеливании производительность обычно растёт медленнее числа процессоров (правило Амдаля). Но иногда наблюдается явление суперлинейного ускорения - когда приозводительность растёт быстрее числа процессоров). Оно вызвано тем, что для распараллеливания набор данных делится на части и размер одной части может стать достаточно маленьким для её попадания в кеш. Подробно об этом написано в литературе по высокопроизводительны вычислениям. Но суперлинейное ускорение не очень важно - если и есть, то даёт прирост корости в проценты, ну в десятки процентов. Важнее избежать ошибки "ложного распараллеливания", когда программа кажется распараллеленной, но на самом деле нет из-за общих переменных и других причин. В таких случаях производительность растёт медленнее чем по правилу Амдаля. Это явление надо обнаружить и устранить вызвавшую его ошибку.
Итак, надо разработать способ распараллеливания. При этом требование испольщовать только Java - глупость,показывающая неготовность автора темы решать задачу. Довольно успешная библиотека машинного обучения H2O написана на Java, но для организации работы в кластере использует Hadoop.
На этом участие в теме прекращаю ввиду её флеймовости. Автор может сколько влезет размышлять о свойствах кеша.