Что такое триллион?

10^6 - это миллион
10^9 - это миллард
10^12 - это триллион

Если грубо - то это приставка тера-*. Тоесть если-бы структура была байтом - то мы-бы грубо выделили 1 терабайт.

Мне кажется вопрос упирается в действия ОС во время операции malloc(). Что она будет делать?
Тут наверное Windows/Linux будут идти по разной стратегии. И какие будут ограничения на фактическую
оперативку.

Возможно при таком объеме стоит посмотреть в memory-mapped API. Consern такой. Даже если
ты аллоцируешь 1 теребайт оперативы то вряд-ли ты в единый миг сможешь ее использовать.

Технически - я думаю это возможно.

По поводу того что у нас не malloc а vector.

Здесь есть нюансы. Я думаю имеет смысл делать
предварительное резервирование структур в штуках в конструкторе

https://en.cppreference.com/w/cpp/container/vector/vector

Потому-что динамический resize может быть расточительным в нашем кейсе.
Возможно в какой-то момент мы затребуем даже больше чем 1 Тера-количество
элементов. Сколько там он? В 1.5 или 1.2 или 2 раза? Я не помню.

Расскажи что у тебя лежит внутри этих структур. И может тебе надо не vector
а какую-то другую структуру данных для поиска.

Давайте эксперимент. Возьмем бесплатную DBMS (PG/MySQL).
Создатим табличку. С 1 полем типа Int.
Проиндексируем ее по этому полю. Загрузим миллиард чисел.
Последовательность. Имеем предварительно знание что любой индекс
баз данных класса B+Tree имее 3-4 уровня блоков. Тоесть максимум
за 4 дисковых операции он находит нужный ключ. Для старого магнитного
диска типа HDD время поиска любого сектора занимает в среднем 6 милисекунд.
(я промерял аж 5 своих SATA дисков и эти цифры правда такие. Я гарантирую.).

Тоесть любой ключ в этой таблице мы найдем за 6 * 4 = 24 милисекунды.
Это на старом жлобском магнином диске. Ну для твердотельных там будут
цифры получше.

И этот весь эксперимент не требует тера-штучного вектора. Обычная
база типа Postgres/MySQL.

Я так всегда делаю. В спорных технических вопросах даю готовое коробочное решение с цифрами.
Пускай даже прямое и деревянное. И дальше уже автор пускай обосновывает почему ему это
решение не подходит. И уже с цифрами.

На самом деле кеши поверх БД тоже строят. Вот сбербанк не просто построил а разработал
целый программный продукт в виде грида кешей и уже продает его отдельно. Но там - тоже
свои сложности. С invalidation.