Легко: низкоуровневая оптимизация кода способна дать 2-5% прироста производительности, в
то время как смена алгоритма решения задачи - на порядки (да, в 10-100 раз).

Низкоуровневая может дать и больше. Я думаю что все зависит от удачно подобранных ключей оптимизации.
Но если мы соберем Qt/NonQt сборки для одного алгоритма для целевого ассемблера x86 и увидим что разницы нет,
(благодаря какой-то там оптимизации) а Зайчик в это время соберет этот-же алгоритм для своего Ардуино и окажется
что для его стека разница есть и очень даже - и что мы будем с этим фактом делать? Вот поэтому асм и контроллер
важен.

Это нужно рассматривать в контексте "алгоритма и структур данных". Еще не создали
компиллятора или фреймворка который будет cache-friendly.

Я не хочу указывать конкретные размеры кешей. Мне это и не надо. Я не знаю какой будет целевой кеш и процессор.

Я хочу хотя-бы на элементарном уровне разложить свои данные на 2 кучки. Одна кучка - меня интересует
в кеше. На другую мне - плевать. По аналогии с Oracle опцией buffer_pool = { KEEP | DEFAULT }