Уважаемые коллеги!

Помогите пожалуйста оптимизировать закачку данных из плоских файлов.
Ситуация следующая: В кубе 7 измерений, два из них достаточно объемные по 3-5 тыс. записей со сложными иерархиями. Все измерения в показателях сделаны как SPARSE.
За каждый месяц приходится закачивать в среднем по 10 млн. записей.

Вопрос: Почему загрузка данных происходит неравномерно?
Например, первые 2-4 млн. записей загружаются за 10-15 мин., а дальше время начинает сильно расти. Так, что загрузка данных за месяц может доходить до 12 часов!
Количество памяти на сервере пока ограничено. Увеличение памяти планируется, но хочется решить этот вопрос другими средствами.

Пробовал следующие ухищрения:
- изменял последовательность индексации измерений в показателях куба;
- изменял количество записей, после которых производил update куба;
- пробовал делать пустой вспомогательный куб, и загружал в него данные частями по 2 млн. записей, после чего экспортировал в eif-файл, очищал куб и далее загружал;
- изменял настройки сервера (MS Server 2003);
- временно добавлял памяти (слегка скорость увеличивается и достаточно стабильно, но пока нет возможности ее добавить сколько необходимо);

Ни один из использованных методов не принес стабильного результата. Хотя были моменты, когда данные за месяц загружались в течение 30 мин. Это был рекорд! Но повторение в точности тех же установок не помогло воспроизвести такую же скорость загрузки.

Отчего же зависит скорость загрузки данных в Oracle Express?

Буду благодарен за все высказанные гипотезы и советы.

-=-
С уважением,
Илья Салов

Спасибо, Bill.

Советы очень полезные. Попробую реализовать по порядку.
Значит никак нельзя стабилизировать скорость загрузки не используя сегменитрование куба?

По поводу некоррелированных измерений не совсем понял, как можно выделить такую пару? На первый взгляд нужны все измерения, и так их количество сократили до минимума. Что значит пары не коррелируют? Или этот алгоритм можно реализовать на любых измерениях? Тогда как это отразится на конечных пользователях?

-=-
С уважением,
Илья Салов

Выражаю глубокую благодарность всем принявшим участие в решении вопроса и, в особенности, давшим добрые и полезные советы!:-)

Из предложенных вариантов опробовал:
- уменьшение кол-ва измерений и дробление на несколько кубов;
- вынос индексации некоторых измерений в DENSE область;

Все использованные варианты не дали значительного результата, так как проблема была в другом. Оказалось, что в части импортируемых данных содержатся записи с неопределенными значениями NULL или просто пустые строчки. Вот на них и происходили заметные снижения скорости загрузки.
Теперь все в порядке. А предложенные советы я приму к сведению в дальнейших проектах.

Еще раз СПАСИБО ВСЕМ!

-=-
С уважением,
Илья Салов