Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / MDC+partitioning+compression / 15 сообщений из 15, страница 1 из 1
15.09.2006, 09:52
    #33989223
mitek
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MDC+partitioning+compression
Здравствуйте.

Пытаю viper на предмет сабжевой связки.

1. Создал две одинаковых партицированных mdc-таблицы (каждая в своем DMS табличном пространстве). Одну с COMPRESS YES, другую без оного.

2. Загрузил лоадом в обе по 3,6 млн записей.

3. После загрузки на компрессной сделал REORG TABLE ... RESETDICTIONARY

в результате компрессная ВЫРОСЛА ровно в 2 раза.

вопрос : где мог накосячить ?
...
Рейтинг: 0 / 0
15.09.2006, 11:49
    #33989649
mitek
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MDC+partitioning+compression
В добавок

Создал третью таблицу такой же структуры просто MDC (непартицированную и некомпрессную). Влил те же 3,6 млн записей. Размер файла пространства 122 мб!

Итого картина :

1. МDC - 122 мб
2. MDC+partitioning - 1340 мб
3. MDC+partitioning+compression - 2680 мб.

я в недоумении. есть у кого мысли ?
...
Рейтинг: 0 / 0
15.09.2006, 12:53
    #33989972
ппм
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MDC+partitioning+compression
откуда же мыслЯм взяться, когда структура таблицы засекречена????
Вы инженер, или где?
Как результат повторить??? А как думать??
...
Рейтинг: 0 / 0
15.09.2006, 13:09
    #33990040
mitek
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MDC+partitioning+compression
Пришел ggv и построил :)

DDLи таковы :

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
CONNECT TO viperdb  USER gexadm USING *******;

CREATE TABLESPACE TSMDC
PAGESIZE 4K 
MANAGED BY DATABASE
USING (FILE 'F:\VIPERDB\tsmdc'  10  M )
AUTORESIZE YES
INCREASESIZE  10  M 
MAXSIZE NONE;

CREATE TABLESPACE TSMDCPART
PAGESIZE 4K 
MANAGED BY DATABASE
USING (FILE 'F:\VIPERDB\tsmdcpart'  10  M )
AUTORESIZE YES
INCREASESIZE  10  M 
MAXSIZE NONE;

CREATE TABLESPACE TSMDCPARTCOMP
PAGESIZE 4K 
MANAGED BY DATABASE
USING (FILE 'F:\VIPERDB\tsmdcpartcomp'  10  M )
AUTORESIZE YES
INCREASESIZE  10  M 
MAXSIZE NONE;

CREATE TABLE VIPER.TAB_MDC
 (NOD         DECIMAL( 3 ,  0 ),
  ROAD        DECIMAL( 3 ,  0 ),
  CARS        DECIMAL( 7 ,  0 ),
  RPS         DECIMAL( 3 ,  0 ),
  DATEMODIFY  DATE
 )
 IN TSMDC
 ORGANIZE BY DIMENSIONS (NOD,ROAD); 

CREATE TABLE VIPER.TAB_MDC_PART
 (NOD         DECIMAL( 3 ,  0 ),
  ROAD        DECIMAL( 3 ,  0 ),
  CARS        DECIMAL( 7 ,  0 ),
  RPS         DECIMAL( 3 ,  0 ),
  DATEMODIFY  DATE
 )
 IN TSMDCPART
 PARTITION BY RANGE (DATEMODIFY)
   (STARTING '2002-12-01' ENDING '2006-09-30' EVERY  1  MONTH)
 ORGANIZE BY DIMENSIONS (NOD,ROAD);  

CREATE TABLE VIPER.TAB_MDC_PART_COMP
 (NOD         DECIMAL( 3 ,  0 ),
  ROAD        DECIMAL( 3 ,  0 ),
  CARS        DECIMAL( 7 ,  0 ),
  RPS         DECIMAL( 3 ,  0 ),
  DATEMODIFY  DATE
 )
 IN TSMDCPARTCOMP
 PARTITION BY RANGE (DATEMODIFY)
   (STARTING '2002-12-01' ENDING '2006-09-30' EVERY  1  MONTH)
 ORGANIZE BY DIMENSIONS (NOD,ROAD)
 COMPRESS YES; 

LOAD FROM viper.test.del OF del MESSAGES tab_mdc.IMP 
INSERT INTO VIPER.TAB_MDC;

LOAD FROM viper.test.del OF del MESSAGES tab_mdc_part.IMP 
INSERT INTO VIPER.TAB_MDC_PART;

LOAD FROM viper.test.del OF del MESSAGES tab_mdc_part_comp.IMP 
INSERT INTO VIPER.TAB_MDC_PART_COMP;                      

REORG TABLE VIPER.TAB_MDC_PART_COMP RESETDICTIONARY;
 
...
Рейтинг: 0 / 0
15.09.2006, 14:11
    #33990346
ggv
ggv
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MDC+partitioning+compression
данные можно самому сгенерировать - randomly ?
Мне кажется, от данных сильно зависит будет.
Ну если , как оно называется, повторяемость значений, например, будет низкая - много уникальных сочетаний полей, подавляющее большинство, то результат сжатия будет один, ежели наоборот, много повторяющихся сочетаний - то другой.
...
Рейтинг: 0 / 0
15.09.2006, 14:54
    #33990505
mitek
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MDC+partitioning+compression
cardinality по полям примерно следующий

nod - 6
road - 38
rps - 13
cars - это как раз randomly

Мне другое непонятно.
С какого перепугу REORG вызывает ровно двукратное УВЕЛИЧЕНИЕ вместо ожидаемого уменьшения объема таблицы. Я понимаю, если бы от степени этой самой cardinality уменьшался или увеличивался бы процент компрессии. Она (компрессия) таки СЖИМАТЬ должна :)
И откуда берется такая дикая разница (1340-122=1218 МБ)
между MDC и partitioned MDC

Может есть какие рекомендации от IBM на предмет скрещивания всех этих фичей в одной таблице ?
...
Рейтинг: 0 / 0
15.09.2006, 16:34
    #33990920
ппм
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MDC+partitioning+compression
по разнице MDC-partitioned MDC надо разбираться, по компресси - а от чего же ей и не увеличится - словарь построили, а внем на одну запись таблицы - одна запись словаря, грубо говоря. Как раз двухкратный рост.
Рекомендации есть, видел - но теперича уже до понедельника -- в деревню! к тетке! в глушь! в саратов!
а тм ни интернета, ни компьютеров - красота! Экологическая :)
...
Рейтинг: 0 / 0
19.09.2006, 05:58
    #33995551
kmike
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MDC+partitioning+compression
Не знаю, как насчёт MDC+partitioning, но при сжатии таблицы даже с довольно случайными данными, оно каким-то образом сжимается на 30%, а тут-увеличилось вдвое, как-то странно...

Кстати, такой вопрос- а можно ли в DB2 сжать одну секцию таблицы? Или только всю целиком?
...
Рейтинг: 0 / 0
19.09.2006, 08:01
    #33995608
mitek
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MDC+partitioning+compression
Вот у меня на простой таблице

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
CREATE TABLE VIPER.TAB_COMP
 (NOD         DECIMAL( 3 ,  0 ),
  ROAD        DECIMAL( 3 ,  0 ),
  CARS        DECIMAL( 7 ,  0 ),
  RPS         DECIMAL( 3 ,  0 ),
  DATEMODIFY  DATE
 )
 IN TSCOMP
 COMPRESS YES;  

после загрузки данных размер таблицы 112 мб
после применения к ней реорга, 194 мб :(
...
Рейтинг: 0 / 0
19.09.2006, 11:08
    #33996000
ппм
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MDC+partitioning+compression
я попробую проверить, но только чуть позже.
...
Рейтинг: 0 / 0
20.09.2006, 21:09
    #34001397
kmike
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MDC+partitioning+compression
mitek,
стесняюсь спросить - а что говорит INSPECT ROWCOMPESTIMATE
на тему Compression dictionary size и Expansion dictionary size?
...
Рейтинг: 0 / 0
21.09.2006, 08:00
    #34001724
mitek
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MDC+partitioning+compression
INSPECT говорит следующее :

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
DATABASE: VIPERDB                                                             
VERSION : SQL09010                                                            
 2006 - 09 - 21 - 08 . 28 . 11 . 671000                                                     
                                                                              

Action: ROWCOMPESTIMATE TABLE
Schema name: VIPER   
Table name: TAB_COMP
Tablespace ID:  9   Object ID:  4 
Result file name: vipercomp
 
    Table phase start (ID Signed:  4 , Unsigned:  4 ; Tablespace ID:  9 ) : VIPER.TAB_COMP
     
      Data phase start. Object:  4   Tablespace:  9 
      Row compression estimate results:
      Percentage of pages saved from compression:  36 
      Percentage of bytes saved from compression:  36 
      Percentage of rows ineligible for compression due to small row size:  0 
      Compression dictionary size:  57088  bytes.
      Expansion dictionary size:  32768  bytes.
      Data phase end.
    Table phase end.
Processing has completed.  2006 - 09 - 21 - 08 . 28 . 25 . 156000 
...
Рейтинг: 0 / 0
19.10.2006, 11:08
    #34065809
ggv
ggv
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MDC+partitioning+compression
mitek - если еще актуально, дай мыло
...
Рейтинг: 0 / 0
19.10.2006, 11:11
    #34065821
ggv
ggv
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MDC+partitioning+compression
или можно из profile взять?
...
Рейтинг: 0 / 0
19.10.2006, 11:57
    #34066013
mitek
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MDC+partitioning+compression
очень актуально :)
мыло в профайле валидное
...
Рейтинг: 0 / 0
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / MDC+partitioning+compression / 15 сообщений из 15, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]