ОзверинПо сути myEntity - это одна строка.
String[] values
myEntity.setColumn0(values[0]);
myEntity.setColumn1(values[1]);
myEntity.setColumn2(values[2]);
myEntity.setColumnN(values[N]);

Но.
Для примера

ключ1, поле1=1, поле2=10
ключ1, поле1=2, поле2=10
ключ1, поле1=5, поле2=15

если у строк ключ совпадает, то мы просто в 1ой сущности суммируем поле1 и поле2, т.е. не факт, что каждая новая строка создат и кинет в кэш новую сущностьНаверное самым эффективным будет применение СУБД в том или ином виде. Ваша структура ложится на реляционную модель довольно просто. Таблица для ключей, таблица для полей и таблица значений. Банальный EAV.

При работу с СУБД вам даже в памяти не нужно держать мапы сущьностей - ищите по ключу в БД. Если есть, то обновляете, иначе заливаете новую.

Если начальство на отрез не хочет полноценную СУБД - примените in-memory БД, которая при нехватке памяти скидывает данные на винт. Тогда даже при увеличении исходных данных в 10-ть! раз система будет работоспособной


PS при системе с БД ваш код даже не придется сильно исправлять. поскольку нет мапов, то строки сущностей не хранятся в памяти, а значит и объекты создаваемые в текущем коде будет нормально обрабатываться GC.