Гость
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Большой размер базы данных / 25 сообщений из 35, страница 1 из 2
22.02.2005, 10:34
    #32927717
best-just
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
Подскажите, пожалуйста, что надо проверить или это в порядке вещей.

Не сложная структура БД
суммарно по всем таблицам около 1млн записей.
В самой "жирной" таблице размер записи не очень большой ( 4-ID(Longint) + 2-DateTime + Varchar(150) ) + толпа index'ов
В результате получаю БД размером около 40 Г ...

Основная проблема не размер (ещё гигов 200 есть) - запросы на ней несмотря на кучу индексов дохнут.

Машинка P4 - 3,2Г 2гб IDE винты

Буду крайне признателен.
...
Рейтинг: 0 / 0
22.02.2005, 10:58
    #32927796
ggv
ggv
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
случайно не восьмая версия базы и не используються ли MDC ?
...
Рейтинг: 0 / 0
22.02.2005, 11:03
    #32927811
nkulikov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
Дорогой друг, best-just

Перед тем как создавать кучу индексов посоветуйся с db2advis. В принципе и сейчас можешь с ним посоветоваться, он тебе скажет какие индексы ты зря создал.
...
Рейтинг: 0 / 0
22.02.2005, 11:24
    #32927894
ggv
ggv
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
замечательный совет для начинающего db2-шника
К тому же есть интересные статьи на тему почему один большой индекс с точки зрения db2 лучше чем куча маленьких
...
Рейтинг: 0 / 0
22.02.2005, 12:10
    #32928078
best-just
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
>>случайно не восьмая версия базы и не используються ли MDC ?

насчёт MDC не уверен :) что это такое.

>>замечательный совет для начинающего db2-шника
>>К тому же есть интересные статьи на тему почему один большой индекс с
>>точки зрения db2 лучше чем куча маленьких
Индексы есть разные ... в основном по 2-3 полям ...
Я уже и запросы с разными индексами просматривал ...
План запроса выбрал оптимальный, ибо "перестановок" в комбинациях полей для индексов не очень много.

>>Перед тем как создавать кучу индексов посоветуйся с db2advis.
Уже советовался ... это не суть важно ...
База большая и без индексов.

Я уже готов ставить оракл чтоб удостовериться что всё работает нормально.

Буду рад если ответы будут по существу.
...
Рейтинг: 0 / 0
22.02.2005, 12:13
    #32928090
best-just
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
Виноват подумал, но не написал.

DB2 версия 8.2
...
Рейтинг: 0 / 0
22.02.2005, 12:17
    #32928108
gardenman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
а интересно, сколько табличек в одном запросе связываешь?
...
Рейтинг: 0 / 0
22.02.2005, 12:23
    #32928134
ggv
ggv
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
Ответ по существу, всё остальное от лукавого - начинай читать доку и не думай что db2 работает так же как oracle и оракловые знания помогут.
Без понимания как всё работает в вашей базе может быть наворочено всё что угодно. Начиная с ошибочных параметров для tablespace (для вашей задачи ошибочных)
...
Рейтинг: 0 / 0
22.02.2005, 12:25
    #32928144
gardenman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
ничто так не поднимает производительность как перепроектирование))
...
Рейтинг: 0 / 0
22.02.2005, 12:27
    #32928148
ASCRUS
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
Я вот в этой истории до сих пор не могу понять, как миллион записей может весить 40 гигов даже с толпой индексов. Может автору стоит выложить все таки скрипт создания самых жирных таблиц, индексов и запросов, на которых все "дохнет", уж больно интересно посмотреть как это у автора получилось так сделать :)
...
Рейтинг: 0 / 0
22.02.2005, 12:35
    #32928186
nkulikov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
Да еще в студию
db2pd -dbmcfg
db2pd -dbcfg -db <dbname>
db2pd -bufferpools -db <dbname>
db2pd -tablespaces -db <dbname>
db2pd -agents -db <dbname>
db2pd -locks -db <dbname>
...
Рейтинг: 0 / 0
22.02.2005, 12:39
    #32928200
best-just
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
>>уж больно интересно посмотреть как это у автора получилось так сделать :)

Автор по свойму гениален :)) ...
и безмерно офигевает от размеров БД :(
Я попозже (2-3 часа) выложу скрипт и запросы.
У меня щас нет доступа к серваку.

Заранее безмерно (прибл на 40 гигов) благодарен всем, кто поможет. :)
...
Рейтинг: 0 / 0
22.02.2005, 13:12
    #32928303
ggv
ggv
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
gardenman - respect
...
Рейтинг: 0 / 0
22.02.2005, 14:16
    #32928497
best-just
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
SELECT a1.USERS_ID as ID,
a1.ATTR_TYPE_ID as TYPE_ID,
asv1.ATTR_STORAGE_VALUES_VALUE as VALUE
from (select a1.USERS_ID
from FEARLESS.ATTRS a1
where (a1.ATTRS_ACTIVE = 1)
AND (a1.ATTR_TYPE_ID = AttrType )
AND (a1.ATTR_STORAGE_VALUES_ID = FilterParams) ) u
,FEARLESS.ATTRS a1
,FEARLESS.ATTR_STORAGE_VALUES asv1"
WHERE
(a1.USERS_ID = u.USERS_ID)"
AND (a1.ATTRS_ACTIVE = 1)"
AND (a1.ATTR_TYPE_ID in "+DB2prop.FId+","+DB2prop.IId+","+DB2prop.OId+","+DB2prop.FackId+","+DB2prop.KursId+","+DB2prop.GroupId+"))"
AND (a1.ATTR_STORAGE_VALUES_ID = asv1.ATTR_STORAGE_VALUES_ID)
ORDER BY a1.USERS_ID, a1.ATTR_TYPE_ID";
...
Рейтинг: 0 / 0
22.02.2005, 14:35
    #32928549
gardenman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
Ну очень прикольно... только за одно это:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
CREATE TABLE "FEARLESS"."ATTRS"  (
		  "USERS_ID" BIGINT NOT NULL , 
		  "ATTR_TYPE_ID" INTEGER NOT NULL , 
		  "ATTR_STORAGE_VALUES_ID" BIGINT , 
		  "ATTRS_BEGIN" TIMESTAMP NOT NULL , 
		  "ATTRS_END" TIMESTAMP NOT NULL , 
		  "ATTRS_ACTIVE" SMALLINT )   
		 IN "ATTRS" INDEX IN "INDEXES"  
		 ORGANIZE BY ( 
		  ( "ATTRS_BEGIN" , 
		    "ATTRS_END" ) ) 
нужно проектировщика расстрелять на месте....
Разве можно по timestamp создавать измерение MDC- таблички?
Проектировщику нужно основательно проштудировать инфу об MDC
...
Рейтинг: 0 / 0
22.02.2005, 14:52
    #32928588
best-just
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
MDC всё равно не используется.

И там много лишнего, надо будет перекапывать.
...
Рейтинг: 0 / 0
22.02.2005, 14:56
    #32928604
ggv
ggv
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
Блин, ну я же не просто так спросил про MDC........
НЕ МОЖЕТ не использоваться MDC если в create table используеться ORGANIZED BY
Туту кроме чтения доки НИЧЕГО не поможет.
Блин.....
Ну хоть книгу купите.
Если уж online читать лень
...
Рейтинг: 0 / 0
22.02.2005, 14:58
    #32928611
ggv
ggv
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
у вас на КАЖДУЮ запись (!) выделяеться extent пространства в tablespace !!!
Вы хоть I/O на сервере смотрите???
Ну нету у вас DBA, это ясно, но sysadmin ведь должен быть?? Или тоже нету?!
...
Рейтинг: 0 / 0
22.02.2005, 15:01
    #32928618
ggv
ggv
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
вместо timestamp можно организовать таблицу по сгенерированному полю со значением день, неделя, месяц, или год, в зависимости от приложения. Этов доке тоже упоминаеться - generated fields в разделе где описываеться MDC
...
Рейтинг: 0 / 0
22.02.2005, 16:05
    #32928784
best-just
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
>>у вас на КАЖДУЮ запись (!) выделяеться extent пространства в tablespace !!!

Звучит плохо и объёмно ...
А что это значит??? :) ...
Можно цитату из кода. ПЛС.

>>Вы хоть I/O на сервере смотрите???
>>Ну нету у вас DBA, это ясно, но sysadmin ведь должен быть?? Или тоже нету?!

Считай что никого нет ... почти как дома ...
...
Рейтинг: 0 / 0
22.02.2005, 16:28
    #32928837
ggv
ggv
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
нету DBA - стань им.
если уж так лень искать здесь, в форуме, то начни с http://publib.boulder.ibm.com/infocenter/db2help/index.jsp
На эти грабли не только у вас наступили
MDC хорошо разрекламировали, неплохо описали, но забыли жирным красным шрифтом написать - ВНИМАНИЕ блин!!! ОПАСТНОСТЬ неразумного использования!!
естть статья также на developerworks и db2mag
...
Рейтинг: 0 / 0
22.02.2005, 16:40
    #32928887
gardenman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
я точно не знаю что у вас за задача, но мне кажется что MDC в вашем случае нужна как финской бане лыжи...(( от так вот...
...
Рейтинг: 0 / 0
22.02.2005, 17:06
    #32928954
best-just
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
>>"MDC в вашем случае нужна как финской бане лыжи" ...

"MDC" мне не нужна ...
На данный момент мне передомной стоит задача просто поднять базу ...
а в таком виде она не дееспособна.

На данный момент от неё требуется просто выполнение не хитрых запросов ...
Разбираться я буду через пол месяца, тогда буду задавать более интересные вопросы, если чего не найду в доке ....

а сейчас огромная просьба прсто объясните что надо убрать чтоб снизить размер (с 40 ГБ ) ... и повысить (получить) производительность ...

в выше приведённом запросе ... у меня у Explorer'а истекает время отклика от Веб-сервера
...
Рейтинг: 0 / 0
22.02.2005, 17:29
    #32929021
gardenman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
просто перелить эту таблицу в другую, такую же, но не MDC, убить старую и переименовать новую в старую а что касается индексов - просто построить
create index hhhh1 on .... ( "ATTRS_BEGIN" , "ATTRS_END" ) allow reverse scans
create index hhhh2 on .... ( "ATTRS_END" , "ATTRS_BEGIN" ) allow reverse scans
этого хватит на первое время...
...
Рейтинг: 0 / 0
22.02.2005, 17:29
    #32929026
gardenman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Большой размер базы данных
Да...)) предварительно бэкап сделать....гы....
...
Рейтинг: 0 / 0
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Большой размер базы данных / 25 сообщений из 35, страница 1 из 2
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]