Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Ошибка памяти / 19 сообщений из 19, страница 1 из 1
24.10.2018, 14:51
    #39722172
Mihich
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
Случилась беда(((
Решил перезалить куб данными по кускам. Раз залил, два залил, три ..., а на восьмой эта Г. выдало
Ошибка памяти: Операция не может быть завершена, поскольку квота на выделение памяти (3997 МБ) превышает доступную системную память (3993 МБ).

Ну думаю начну все заново, и ..... на первой же итерации эта ошибка.
Уменьшил объем данных, и... опять ошибка

Через неделю таже фигня на втором кубе.

Убираю пару измерений из куба - работает.
Но мне нужны все измерения которые были.

На вражеском форуме видел совет отключить контроль квот: обработка куба не заканчивается(((
Другие кубы на этом же серваке пока работают.
Сервак работает с 2009 года

Сервер 2003, MS SQL 2008

PS: На этом форуме была такая проблемка, но очень давно и не решена (((
...
Рейтинг: 0 / 0
24.10.2018, 14:53
    #39722174
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
Mihich,

Вы наверняка делаете ProcessFull одну секцию за другой, а нужно ProcessData всех секций одну за другой, а потом ProcessIndex всех секций одну за другой. Попробуйте.
...
Рейтинг: 0 / 0
24.10.2018, 14:54
    #39722177
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
Mihich,

И еще неплохо на момент обработки секций в кубе закомментировать всю секцию Calculations. Если в момент обработки кубом никто больше не пользуется.
...
Рейтинг: 0 / 0
24.10.2018, 14:56
    #39722179
Mihich
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
Andy_OLAPMihich,

Вы наверняка делаете ProcessFull одну секцию за другой, а нужно ProcessData всех секций одну за другой, а потом ProcessIndex всех секций одну за другой. Попробуйте.

Нет. Первый раз Полную обработку, последующие Добавочную обработку
...
Рейтинг: 0 / 0
24.10.2018, 14:59
    #39722184
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
MihichAndy_OLAPMihich,

Вы наверняка делаете ProcessFull одну секцию за другой, а нужно ProcessData всех секций одну за другой, а потом ProcessIndex всех секций одну за другой. Попробуйте.

Нет. Первый раз Полную обработку, последующие Добавочную обработку
Не очень понял - у Вас куб состоит из больших групп мер, каждая из которых нарезана на относительно небольшие секции (версия Enterprise), Вы обрабатываете куб по частям.

Или во view для куба подсовываете все больше строк (сначала select top 100 * from table, затем select top 10000 * from table), при первом запуске делаете ProcessFull на весь куб, затем ProcessAdd на КУБ??
...
Рейтинг: 0 / 0
24.10.2018, 15:01
    #39722185
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
Mihich,

"Добавочная" - это ProcessUpdate для измерений или ProcessAdd для секций куба/групп мер куба?
Вы отсюда взяли дурацкий совет по ProcessAdd для данных в кубе?
...
Рейтинг: 0 / 0
24.10.2018, 15:02
    #39722186
Mihich
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
Еще, если создать новый куб такой же, то ошибка остается
...
Рейтинг: 0 / 0
24.10.2018, 15:06
    #39722193
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
MihichЕще, если создать новый куб такой же, то ошибка остается
Опишите по шагам, что Вы делаете. Сначала ProcessStructure на куб, затем на измерения ProcessAdd или ProcessUpdate и ProcessFull на секциях с новыми данными, которые связаны с новыми элементами измерений?

Не нужно эти русскоязычные "добавочная обработка". Есть же официальные термины - ProcessFull, ProcessUpdate, ProcessAdd, используйте их, а то получается какое-то некошерное косноязычное мычание (без обид, молодой человек, но Вы таки очень непонятно описываете, что именно делаете до возникновения этой ошибки).
...
Рейтинг: 0 / 0
24.10.2018, 15:09
    #39722196
Mihich
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
Анди, MS SQL 2008 rus standart. Секция одна. Сначала я в SQL заливаю данные за 1 период (например 1ые 3 месяца). И делаю Полную обработку куба (естественно обработал измерения). Вычищаю SQL базу, лью второй кусок и обрабатываю Добавочной обработкой куба. И ТД
...
Рейтинг: 0 / 0
24.10.2018, 15:12
    #39722200
Mihich
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
Andy_OLAPMihichЕще, если создать новый куб такой же, то ошибка остается
Опишите по шагам, что Вы делаете. Сначала ProcessStructure на куб, затем на измерения ProcessAdd или ProcessUpdate и ProcessFull на секциях с новыми данными, которые связаны с новыми элементами измерений?

Не нужно эти русскоязычные "добавочная обработка". Есть же официальные термины - ProcessFull, ProcessUpdate, ProcessAdd, используйте их, а то получается какое-то некошерное косноязычное мычание (без обид, молодой человек, но Вы таки очень непонятно описываете, что именно делаете до возникновения этой ошибки).

К сожалению у меня русская версия. В кубах недавно.

ЗЫ: молодая уже давно не молода))) 49
...
Рейтинг: 0 / 0
24.10.2018, 15:16
    #39722204
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
MihichАнди, MS SQL 2008 rus standart. Секция одна. Сначала я в SQL заливаю данные за 1 период (например 1ые 3 месяца). И делаю Полную обработку куба (естественно обработал измерения). Вычищаю SQL базу, лью второй кусок и обрабатываю Добавочной обработкой куба. И ТД
Это неправильный путь. Понимаете, OLAP будет держать в памяти старое содержимое всей секции, затем новое содержимое, затем новое записывать в файл служебный вместо старых значений. Именно потому, что ProcessAdd добавляет новые строки - а они определяются по ВСЕМ ключам ВСЕХ измерений.

У Вас ничего не получится в такой постановке задачи. Ничего. Единственный вариант - переходить на x64 Exnterprise, нарезать группы мер по секциям размером в 1 период (раз 3 месяца, то резать по кварталам), обрабатывать сначала куб ProcessStructure (а ДО этого сделать ProcessFull для тех измерений, которые связаны с ЭТИМ кубом и не связаны с другими кубами и не разу ни обрабатывались), затем одну секцию за другой методом ProcessFull.

Ваш метод подсунуть в одну секцию порциями упирается в то, что на N-й итерации предыдущее содержимое плюс новое содержимое УЖЕ не помещается в оперативную память.

2003-й сервер - скорее всего x86. Не мучайтесь, скажите руководству, что вариантов с существующим ПО - нет.
...
Рейтинг: 0 / 0
24.10.2018, 15:18
    #39722207
Mihich
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
Первый раз обработка куба ProcessFull, остальные ProcessAdd
...
Рейтинг: 0 / 0
24.10.2018, 15:19
    #39722210
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
Mihich,

49 лет - "баба ягодка опять", да? :) Я помню, у Вас куб с показаниями датчиков, старых исходных данных в SQL базе нет, данные только в OLAP кубе, а начальство озарила дикая идея - как бы и новое измерение впихнуть, и данные обработанные не потерять. Нет такого варианта кошерного.

Знаете, когда Иосифа Дикого спросили - кто хуже, правые уклонисты или левые, он пыхнул своей трубкой и задумчиво ответил - "Вах, оба хужэ!"
...
Рейтинг: 0 / 0
24.10.2018, 15:23
    #39722214
Mihich
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
Все 64 разрядное. Лицензия у работодателя только на стандарт((( поменять не даст. Делается как обычно: добавления данных по мере появления новых каждый день, только сейчас не раз в день, а несколько раз в день, ограничен временем между сеансами заливки ежедневного обновления кубов
...
Рейтинг: 0 / 0
24.10.2018, 15:24
    #39722215
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
MihichПервый раз обработка куба ProcessFull, остальные ProcessAdd
ProcessAdd это очень экзотический метод, который для тех разработчиков, которые точно понимают, что нужен именно он и другие методы в конкретной извращенной обстановке не подходят.

Это не Ваш метод. Ваш набор - ProcessFull первый раз для измерения и ProcessUpdate для него и ProcessClear (очистка куба) + ProcessStructure (первый раз и куб уже виден, но без данных) и далее или сразу ProcessFull на группу мер или секцию/порцию из 4 секций внутри группы мер, ну или связка ProcessData + ProcessIndex вместо ProcessFull.

Ну и книжки по OLAP/MDX официальные читайте на англосаксонском языке. OLAP на русском языке - это такая штука, которая потом плохо гуглится.
...
Рейтинг: 0 / 0
24.10.2018, 15:26
    #39722217
Mihich
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
Andy_OLAPMihich,

49 лет - "баба ягодка опять", да? :) Я помню, у Вас куб с показаниями датчиков, старых исходных данных в SQL базе нет, данные только в OLAP кубе, а начальство озарила дикая идея - как бы и новое измерение впихнуть, и данные обработанные не потерять. Нет такого варианта кошерного.

Знаете, когда Иосифа Дикого спросили - кто хуже, правые уклонисты или левые, он пыхнул своей трубкой и задумчиво ответил - "Вах, оба хужэ!"

Именно это сервер сейчас и пилю, только другой куб. Тот победил, все сделал))
...
Рейтинг: 0 / 0
24.10.2018, 15:26
    #39722218
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
MihichВсе 64 разрядное. Лицензия у работодателя только на стандарт((( поменять не даст.
Ну тогда ROLAP изучайте. И работодатель хочет получить из навоза золотую статую - скажите ему, что сказки закончились в дошкольном периоде, а начались суровые трудовые будни и таки проза жизни.
...
Рейтинг: 0 / 0
24.10.2018, 15:31
    #39722226
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
Mihich,

Вот Вам первая ссылка .
И вторая ссылка .

Проверяйте свой файл конфигурации msmdsrv.ini
...
Рейтинг: 0 / 0
24.10.2018, 15:44
    #39722242
Mihich
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ошибка памяти
Спасибо, буду игратся
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Ошибка памяти / 19 сообщений из 19, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]