Aleksandr Sharahov...
Это неверный ответ.

Инварианты в программировании используются для формального доказательства корректности алгоритмов.

В общем случае инвариантом называется выражение, которое всегда принимает одинаковое значение в некоторых "контрольных" точках алгоритма (например, на входе в цикл, в начале каждой итерации и на выходе).

Это - очевидно, да, так и есть. +1

Aleksandr SharahovВ примере со скобками инвариант цикла - это текущая накопленная сумма, плюс алгебраическая сумма оставшихся скобок.

Это не понятно, и не ясно, как именно пригодно в качестве инструмента.

Существо доказательства правильности программы в том и состоит, чтобы уверить себя в правильном счете скобок программой.

Она не задваивает учет скобок, например, и/или не пропускает их.

Одним, достаточно очевидным, инвариантом
а) здесь будет то, что всегда на каждом шаге цикла (идя по массиву слева направо),
для всех индексов меньше i все скобки уже были просмотрены ,
и для всех индексов больше i мы еще ничего не знаем о них.
Этот инвариант универсальный - он должен выполнится до начала цикла, на каждом его шаге и после завершения цикла.

инвариантом б) здесь у цикла может быть то, индекс элемента массива на текущем шаге всегда больше значения на предыдущем шаге.

Выполнение а) гарантирует, что слева от итератора нет не просмотренных скобок.
Выполнение б) в комбинации с а) гарантирует, что нет дважды подсчитанных.
И, если при этом а) выполняется до цикла, в нем самом и после него,
то можно сделать вывод что программа подсчета скобок изменила значение счетчика правильное число раз.
Значит, такая программа способна правильно определить как число скобок, так и разницу между левыми и правыми скобками.

Если наоборот, для конкретного цикла нельзя доказать поддержку обоих инвариантов
а) и б), то, как минимум, надо искать другие инварианты, из которых можно было бы доказать правильность работы такого цикла.
Или же, такая программа ошибочна, и считает скобки неверно.

Касательно границ массива - существо дела в том, что
если компилятор способен понять, что цикл поддерживает инвариант,
состоящий в том, что текущий индекс в цикле на каждом его шаге
не выходит за границы массива, то, в принципе, он способен отключить
для тела цикла проверку на границы массива.
(конечно, если вообще обучен такому умению).