Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
Народ, что-то вот повадился у меня сервер перегружаться при процессинге одного кубика, не самого большого кстати... на одном и том же месте. SQL и MS AS 2000, sp3a. В журнал пишет следующее сообщение от имени SQLSERVER: Код: plaintext Я вот почему то грешу на распределение памяти между SQL и MS OLAP. Ссылки на TechNEt (тюнинг памяти MS AS и прочего), которые тут в изобилии выкладывались я вроде прочитал и даже понял, но мне что-то не помогает. При старте MS AS отжирает примерно 350 мегов памяти, остальные программы - 220, SQL - около 30. При процессинге куба память растет, я за ней слежу, но НЕ ДОСТИГАЕТ установленных мной настроек ни для олап, ни для скул. И молча перегружается... Беда какая-то прям. Я уж эти памятные настройки во все стороны повертел. Где еще посмотреть, почему он может так некрасиво себя вести? ;-\ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.04.2004, 20:03 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
Вы по подробнее изложите, тогда может что и подскажем. Железо? ОС? Сколько БД в MS AS? Что за кубики (размеры таблицы фактов, колическтво измерений, размеры главных измерений, степень аггрегации) Что значит перегружается сервер? (Компьютер, SQL Server, MS AS?) Кто из трех. Вы куб процессируете через DSO или из Analysis Manager? Есть ли частные измерения в кубах, или все измерения shared? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2004, 03:51 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
Был тоже такой куб, ну... не совсем. Просто в момент процессинга AS умирал, после подымался и через какое то время (1-2 мин) опять умирал, и так по кругу. Пересоздал куб и помогло. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2004, 12:04 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
Вот вот у меня те же проблемы. Архивирую куб на рабочем сервере востанавливаю на новом (sp3a) а он при процессинге вылетает с ошибкой, что дескать потеряно соеденение с сервером. И олаповский сервер входит в цикл то стартует, то остановливается с интервалом секунд в 30. Даже не знаю что ему сделать. Все перепробывал. Пойти что ли бубен купить... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2004, 13:43 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
Перегружается сервер - это я имел в виду, что перегружается сама машина! :-) А машина такая - 2-х процессорный ксеон, 5 рэйд, 2 гига памяти, Windows Server 2000 SP4. Кубов на сервере всего около 30, измерений порядка 40-50, все Molap, все Shared. Как я уже писал при загрузке олап-сервера, сразу съедается 300-350 метров памяти. Я так думаю, что основная часть из этого - измерения, которые как известно при старте сервера сразу все грузятся в память. Куб, при котором машина перегружается такой - таблица фактов 20 млн. записей, 10 измерений, 5 мер. Из них самое тяжелое имзерение - клиент, там порядка 38 тысяч записей. Потом есть 3 измерения по 50-60 записей, остальные - мелкие. Агрегации я уже сделал HOLAP (85%), хотя изначально было MOLAP. Что странно - У меня имеются кубы и потяжелее, и со 100-тысячными имзерениями... Но вот перегружается сервак только на этом... какое-то сочетание факторов происходит, видимо...;-\ Как я заметил перегружается в тот момент, когда SQL-запрос уже завершен, и MS AS начинает рассчитывать агрегации... Процешшу куб из AM. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.04.2004, 14:13 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
A chto OS pishet po povodu restarta v systemlog? U vas stoit "restart" pri "system failure" v svoistvah komputera? Obval kakogo libo prilozheniya, pust eto dazhe SQL ili OLAP server, ne dolzhen privodit k restartu mashini. Ochen ya podozrevyayu, chto u vas cto-to s RAM ne v poryadke. Ya podobnoe perezhil kak-to. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.04.2004, 01:16 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
Да, в настройках стоит перезагрузка при сбое. Сейчас еще добавил писать малый дамп памяти, может че там увижу :) Чтобы RAM глючило, не хочется в это верить очень :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.04.2004, 12:06 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
а почему не хочеться, у меня до перезагрузки не доходило правда, но комп просто в ступоре был (зависал) именно на процессинге, самого большого куба. Избавился так, место на диске с темпами больше сделал и память поменял полностью. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.04.2004, 12:24 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
А если перезагрузку при сбое выключите - что будите иметь? Правильно. Синий экран. А это уже хирургический диагноз в 90% - "таблетками и шептаниями не отделаешься". Копайтесь в железе. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.04.2004, 13:54 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
Подобный глюки бывают. В смысле смотрится как аппратный сбой, а дело в девелоперской части. Любопытно, что подобное отмечается часто на дисках с SATA (особенно с новым "хищником" от WD). Вероятно не успевает писаться агрегация в диск. Другой теории у меня нет. Пробуйте следующее. 1) Перейти на Lazy Aggregation. Вероятно уже глюк уйдет. 2) На всех измерениях поставить Custom Aggregation. На мало используемых измерениях Top Level Only, на часто используемых отключить агрегирование последнего уровня. 3) Понизить % агрегации. 15-20% для обычных кубов, 2-5% для Distinct Count (DC это правда отдельная песня) Если это не поможет, наверное действительно дело в железе. Обратите внимание, что не смотря на снижение агрегации ваш куб скорее всего будет работать быстрее. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.04.2004, 15:12 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
В смысле смотрится как аппратный сбой, а дело в девелоперской части. Мы уже давно не в ДОС и даже не под Win 3.1. И программируемм не на Ассемблере ни на С, а посему "Ошибочные" или неоптимальные действия прикладника не могут завлить ОС. За счет "послаблений" в MS AS снизится нагрузка на компьтер и вы не дойдете до синего экрана. От того что асматика не заставят бежать марафон в тропической жаре и влажности он не перестанет быть асматиком, просто он не умрет. :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.04.2004, 15:41 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
Спасибо, надо попробовать все. Отключить перезагрузку, убедиться, что будет синий экран, попялиться в него, поиграться с агрегациями :). Диски у меня SCSI, 4 штуки в пятом рэйде... По поводу уменьшения процента агрегаций... я не очень понимаю ,как кубы могут начать работать быстрее... Сейчас размеры кубов и производительность сервера позволяют мне делать все кубы 100% агрегаций и MOLAP. Я так считаю, что это самый быстрый вариант для получения отчетов. Разве не так? P.S. А где это - "перейти на Lazy Aggregation"? Кажется, я таких настроек нигде не встречал... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.04.2004, 20:59 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
100% не есть самоцель. попробуйте проаггрегировать ваш кубик на 30% на 60% и на 90% сравните время построения аггрегаций, время процессига кубов и временя отклика на тестовые запросы. Для размышлений почитайте http://msdn.microsoft.com/library/default.asp?url=/library/en-us/dnsql2k/html/olapunisys.asp ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.04.2004, 22:10 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
2backfire. Вы все шумите, а ваши ответы показывают ваш ограниченный опыт в MS AS. Не люблю я халявных советов, но у Павла действительно проблема, поэтому отойду от правила. 1) Надо знать, что серьезные транзакционные системы Microsoft при записи информации на диски используют низкоуровневый доступ почти в обход ОС. Это нужно для транзакционной целостности и записи chekpoint мимо кеша ОС. Из-за незнания этого погорела масса админов. Microsoft c MS SQL 6.5 всем без устали твердит об этом и просит либо отключить собственный кеш RAID, либо на худой конец поставить туда батарейку. В противном случае ни кто вам не гарантирует востановимость БД в случае аварии. Точнее мне как минимум 1 раз в год приходится с Сергеем Быковым склеивать из секторов убитую БД для MS SQL. Однако эта работа уже делается на фоне уволенного админа и стоит эта чертова работа весьма не дешево. Если говорить об MS AS иногда видны сбои в стиле "Connection to MSSQL broken", "I\O Error". Все это часто возникает в тот момент, когда на SATA серверу MS AS надо записать 100-200M, а процессор занят расчетом агрегатов и не успевает отдавать время шине SATA. В результате все высыпается на системных таймаутах. Правда на SCSI такого еще не встречал. Все сказанное моя интерпретация сообщения об ошибках. Обычно в таких случаях я снимаю пиковую нагрузку на SATA через переход к отложенной агрегации (Lazy Aggregation). Эта опция переключается в параметрах куба. Еще плюс этой опции быстрое завершение процесирования и быстрая готовность куба к работе. 2) Агрегации на 60% и 90% как правило бессмысленны. Есть известное правило агрегации "1/3". Фактически всегда победит 30%. Дело в том, что накладные расходы на чтение агрегатов с диска будут больше чем их расчет on-fly, особенно на горячем кеше. Поэтому почти всегда лучше 30% и затем разогрев кеша MDX-запросами в DTS-пакете. Плюс большой выигрыш на процессировании, плюс экономия места на дисках. Агрегаты свыше 30% лучше добавлять вручную по Usage Base Optimization (включите в опциях MS AS регистрацию всех query'й) или через DSO, но не "везде" как делает мастер Design Storage. Самая типовая проблема тормозов MS AS у новичков это "переагрегация". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.04.2004, 23:19 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
2задний_огонь. :) Хотите убедиться что MS AS манипулирует с дисками на низком уровне? Сделайте такой тест. 1) Создайте таблицу фактов примерно 200 тыс. 2) Создайте измерение из 100 тыс элементов. 3) Копируя измерение сделайте 40 таких измерений 4) Закажите куб из 40 таких измерений и попросите 50% агрегатов. 5) Пока будет строится MOLAP подождите минут 30 и нажмите Cancel. Если бы я был злой человек, я бы не сказал, что произойдет. Скорее всего сервер погиб. Повезло вам если отделаетесь сносом MS AS. Догадайтесь почему. 2Моша. Надеюсь вы прочтете это сообщение и повторите этот тест в лабе Microsoft. На моих тестовых серверах я получал весьма разрушительный эффект. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.04.2004, 23:47 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.04.2004, 01:45 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
Иванову. Пашка же сказал, что у него RAID на SCSI и 2 Процессора, вообщем все как у людей, причем же тут SATA? Тем более если SCSI вы сами такого не видели, чего о SATA рассказывать. Я никогда и никому не советую ставить MS SQL и MS AS на IDE(SATA в том числе), даже если это IDE RAID. если у вас от моего шума уши закладывает - не слушайте. О моей квалификации судить моему заказчику, работодателю, а так же посетителям форума если кому я помог добрым советом - по вашему "на-халяву". Но у я человек не алчный в отличие от вас. Пускай Пашка нас и рассудит - чьи советы были ему больше помогли. По второму пункту. - я и не говорил, что 90% лучше(не лучше), чем 60% или 30%, я просто предложил Пашке самому в этом убедиться. То что вы умеете цитировать своими словами на русском статьи MSDN - тоже хорошо, но если вам незнаком перевод значения backfire - то это простительно. По поводу crash-testa. Зделал я по вашим инструкциям, таблички, кубик и 40 измерений по 100к эдементов, как вы посоветовали. В окошке процессирования куба не оказалось кнопки Cancel, только Stop - пришлось жать на нее. И то со второго захода, у меня кубик процесировался всего 6 минут, так что я в первый раз прозевал. Посему нажал на Stop при втором процессинге, сознательно заказав полный процессинг куба. Ничего плохого не произошло. И это все на домашнем PC, не на лабораторном сервере. Ничего плохого не произошло. Нормальный отбой процессинга и откат. Вывод: Не скупитесь на железе. Дороже всего обходятся консультанты, дающие за кругленькую сумму "левые" советы. Так что нечего мэтра Мошу такими пустяками отвлекать - пускай лучше Юконом спокойно занимается :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.04.2004, 02:04 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
Иванову Для того чтобы убедиться манипулирует MS AS (в отличие от MS SQL) c дисками на низком уровне или нет - можно еще долго гадать на кофейной вашими методами. Проще всего спросить людей с MSFT они в этом секрета делать не будут. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.04.2004, 02:25 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
2задний огонь. Да будет вам шуметь. На самом деле интересно почему вас пронесло. Вы подождали хотя бы 30 мин? Вероятно вы прервали процесс сразу и MS AS смог откатиться. Для креша нужно прервать БОЛЬШУЮ транзакцию MS AS в процессе и когда довольно много сделано. В результате MS AS сваливается с катушек. Любопытно, что перегрузка сервера проблему не лечит, MS AS мертв. Если все равно нормально, можно спецификацию на софт и хард вашей станции? Сервер с двумя ксеонами и SCSI RAID5 валится. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.04.2004, 14:58 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
Иногда возникает подозрение, что проблемы, как вирусы, распростроняются через прочтение о наличии таковых. Сразу на чём: MSSQL Ent SP3a; MS AS SP3a; Win2000 Adv; CPU P4x2; Mem 2Gb; HDD SCSI (не RAID :(( ) Как обычно было всё шоколадно, пока не посоветовал... началось... Изменил shared dim - добавил member properties. При следующем (по графику) процессе все падает и начинает бится в конвульсиях. Переписываю из архива этот dim, стартую и все вроде налаживается. Но к сожалению не надолго. На следующий день служба слетает при процессе в момент записи агрегаций, на одном из кубов. Слава Богу без дальнейших конвульсий. По изложенному тут совету поставил Lazy Aggregation. Самое смешное - помогло не знаю надолго ли. По поводу процентов агрегации: в кубе несколько par-child dim's-ов. Большенство из них не содержит All Level, и как я не извращаюсь Aggregation=0 и все тут. Что скажете по этому поводу? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.04.2004, 15:57 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
Да вот ещё. При слете создается минидамп файл. Может кто посоветовать - эта штука может быть полезной? При беглом просмотре неясно. Может оттуда можно вытянуть причину слёта? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.04.2004, 16:07 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
2Alex Fox. Ну вот видете хоть кому-то помог. Ленивые агрегаты вам будут помогать до тех пор, пока у вас не будет 20 млн. фактов. За этой чертой стратегия оптимизации меняется. 2backfire. Я не внимательно прочел ваш репорт о тесте. В говорите что куб построился за ШЕСТЬ минут? Вы понимаете, что был заказан куб с пространством 100 тыс в 40ковой стенени? При 50% агрегации результатом должно быть гигантское MOLAP-хранилище! Если за "шесть минут" у вас все вышло пошлите мне по почте архив вашей MOLAP-базы. Я буду очень благодарен ivanov-soft@inbox.ru К слову, интересное наблюдение SATA с WD Raptor против SCSI RAID5. Два сервера один под SATA однопроцессорный для тестов, другой новье на двух ксеонах с дорогими дисками. Разница в цене платформ 6 раз. Однако платформа под SATA отстает на процессировании только на 50% и на MDX-запросах только на 30%. Правда это все после наших оптимизаций. До этого решение под SATA просто валилось. Выводы такие 1) Хороший девелопер всегда лучше хорошего сервера 2) Новые SATA диски на 10 тыс весьма перспективны и потеснят SCSI в нише малых и средних решений. Заметим также что текущие чипсеты пока еще не поддерживают новые очереди SATA. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.04.2004, 16:23 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
Иванову. Я же ясно написал - суммарное время процессинга куба 6 минут. О каком ожидании в пол часа может быть речь. Если не затруднит, и не жалко, пришлите пожалуйста вашу crash базу (не процесстрованную, естественно :-)) и скрипты по созданию и заполнению источеника данных (SQL DB). Тогда мы 100% будем говорить об одном. Я со своей стороны сделал все как вы указали в http://]www.sql.ru/forum/actualpost.aspx?bid=26&tid=85416&mid=0&p=1#622213 А машинка ничего особенного - P4 2.6, 1Gb RAM, HDD IDE Barracuda (120 Gb). тест проводился пол Windows Server 2003 Standard + SQL 2000 Developer Edition. p.s. немного English backfire - встречный огонь, ответный огонь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.04.2004, 16:23 |
|
||
|
И опять про распределение памяти MS AS и SQL... никак не получается..;-) Может кто сталкивался...
|
|||
|---|---|---|---|
|
#18+
2Alex Fox. Для анализа причин слета включите логи на MS AS и DTS пакетах. Там все будет написано. Логи включаются в опциях MS AS и опциях DTS пакета. 2backfire. У меня не осталось креш базы. Я делал тест на 2х серверах результат примерно одинаковый сходный с взрывом атомной бомбы. В результате гибнет репозитарий MS AS и все OLAP-базы теряются. У меня хватило ума в первый раз подобный тест сделать на сервере где мы тестировали базы для 2х клиентов. Весьма сексуальное было занятие по ручному восстановлению баз (архивов их не было). Если у вас куб спросировался за 6 минут он не может быть большим, что говорит о другом проведении теста. Если можно пошлите его почтой или выложите на Web. Очень интересно посмотреть. Мне креш базу надо восстанавливать, но если вы все делали правильно, я легко ее сделаю из вашей базы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.04.2004, 16:50 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=32473379&tid=1872690]: |
0ms |
get settings: |
7ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
31ms |
get topic data: |
8ms |
get forum data: |
3ms |
get page messages: |
70ms |
get tp. blocked users: |
1ms |
| others: | 225ms |
| total: | 367ms |

| 0 / 0 |
