ayvango1. Итак, есть 2-ядерный процессор и есть цикл 0...1000. Быстрее ли всё будет выполняться, если распределить на циклы 0...499 и 500...1000, каждый из которых выполнялся бы в своём потоке?
Да, будет, но есть масса нюансов. Создание и запуск потоков - довольно дорогие операции. Поэтому суммарное время выполнения маленьких циклов с учётом времени создания потоков может оказаться больше, чем выполнение одного большого цикла.
Кроме того, потоки могут конкурировать за один ресурс, что может привести к ожиданиям, а то и дедлокам.

ayvango2. использую несколько больших массивов, ...
... почему внешний диск начинает использоваться за 300 Мб до полного опустошения оперативки?
Память под массив выделяется одним сплошным куском. Вероятно, память уже фрагментирована, и диспетчер не может найти кусок нужного размера. Поэтому подключается хард. Как-то так.

ayvango3.
Итак, есть цикл
...
Почему Debug-версия резко увеличивает время работы при увеличении числа операций в цикле, а в Release-версии время работы почти не увеличивается?
Возможно, умный компилятор в релиз-версии выкидывает код, результат работы которого нигде не используется. А в дебаге компилирутся всё подряд, даже реально не нужный код.

ayvangoА с ядрами как быть: 2 ядра -- это примерно 2-кратное ускорение, 4 -- 4-кратное и т.д.? Предполагается, что памяти должно хватить.

Закон Амдала