|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
Подскажите, пожалуйста, что надо проверить или это в порядке вещей. Не сложная структура БД суммарно по всем таблицам около 1млн записей. В самой "жирной" таблице размер записи не очень большой ( 4-ID(Longint) + 2-DateTime + Varchar(150) ) + толпа index'ов В результате получаю БД размером около 40 Г ... Основная проблема не размер (ещё гигов 200 есть) - запросы на ней несмотря на кучу индексов дохнут. Машинка P4 - 3,2Г 2гб IDE винты Буду крайне признателен. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 10:34 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
случайно не восьмая версия базы и не используються ли MDC ? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 10:58 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
Дорогой друг, best-just Перед тем как создавать кучу индексов посоветуйся с db2advis. В принципе и сейчас можешь с ним посоветоваться, он тебе скажет какие индексы ты зря создал. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 11:03 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
замечательный совет для начинающего db2-шника К тому же есть интересные статьи на тему почему один большой индекс с точки зрения db2 лучше чем куча маленьких ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 11:24 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
>>случайно не восьмая версия базы и не используються ли MDC ? насчёт MDC не уверен :) что это такое. >>замечательный совет для начинающего db2-шника >>К тому же есть интересные статьи на тему почему один большой индекс с >>точки зрения db2 лучше чем куча маленьких Индексы есть разные ... в основном по 2-3 полям ... Я уже и запросы с разными индексами просматривал ... План запроса выбрал оптимальный, ибо "перестановок" в комбинациях полей для индексов не очень много. >>Перед тем как создавать кучу индексов посоветуйся с db2advis. Уже советовался ... это не суть важно ... База большая и без индексов. Я уже готов ставить оракл чтоб удостовериться что всё работает нормально. Буду рад если ответы будут по существу. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 12:10 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
Виноват подумал, но не написал. DB2 версия 8.2 ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 12:13 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
а интересно, сколько табличек в одном запросе связываешь? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 12:17 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
Ответ по существу, всё остальное от лукавого - начинай читать доку и не думай что db2 работает так же как oracle и оракловые знания помогут. Без понимания как всё работает в вашей базе может быть наворочено всё что угодно. Начиная с ошибочных параметров для tablespace (для вашей задачи ошибочных) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 12:23 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
ничто так не поднимает производительность как перепроектирование)) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 12:25 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
Я вот в этой истории до сих пор не могу понять, как миллион записей может весить 40 гигов даже с толпой индексов. Может автору стоит выложить все таки скрипт создания самых жирных таблиц, индексов и запросов, на которых все "дохнет", уж больно интересно посмотреть как это у автора получилось так сделать :) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 12:27 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
Да еще в студию db2pd -dbmcfg db2pd -dbcfg -db <dbname> db2pd -bufferpools -db <dbname> db2pd -tablespaces -db <dbname> db2pd -agents -db <dbname> db2pd -locks -db <dbname> ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 12:35 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
>>уж больно интересно посмотреть как это у автора получилось так сделать :) Автор по свойму гениален :)) ... и безмерно офигевает от размеров БД :( Я попозже (2-3 часа) выложу скрипт и запросы. У меня щас нет доступа к серваку. Заранее безмерно (прибл на 40 гигов) благодарен всем, кто поможет. :) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 12:39 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
gardenman - respect ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 13:12 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
SELECT a1.USERS_ID as ID, a1.ATTR_TYPE_ID as TYPE_ID, asv1.ATTR_STORAGE_VALUES_VALUE as VALUE from (select a1.USERS_ID from FEARLESS.ATTRS a1 where (a1.ATTRS_ACTIVE = 1) AND (a1.ATTR_TYPE_ID = AttrType ) AND (a1.ATTR_STORAGE_VALUES_ID = FilterParams) ) u ,FEARLESS.ATTRS a1 ,FEARLESS.ATTR_STORAGE_VALUES asv1" WHERE (a1.USERS_ID = u.USERS_ID)" AND (a1.ATTRS_ACTIVE = 1)" AND (a1.ATTR_TYPE_ID in "+DB2prop.FId+","+DB2prop.IId+","+DB2prop.OId+","+DB2prop.FackId+","+DB2prop.KursId+","+DB2prop.GroupId+"))" AND (a1.ATTR_STORAGE_VALUES_ID = asv1.ATTR_STORAGE_VALUES_ID) ORDER BY a1.USERS_ID, a1.ATTR_TYPE_ID"; ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 14:16 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
Ну очень прикольно... только за одно это: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11.
Разве можно по timestamp создавать измерение MDC- таблички? Проектировщику нужно основательно проштудировать инфу об MDC ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 14:35 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
MDC всё равно не используется. И там много лишнего, надо будет перекапывать. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 14:52 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
Блин, ну я же не просто так спросил про MDC........ НЕ МОЖЕТ не использоваться MDC если в create table используеться ORGANIZED BY Туту кроме чтения доки НИЧЕГО не поможет. Блин..... Ну хоть книгу купите. Если уж online читать лень ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 14:56 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
у вас на КАЖДУЮ запись (!) выделяеться extent пространства в tablespace !!! Вы хоть I/O на сервере смотрите??? Ну нету у вас DBA, это ясно, но sysadmin ведь должен быть?? Или тоже нету?! ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 14:58 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
вместо timestamp можно организовать таблицу по сгенерированному полю со значением день, неделя, месяц, или год, в зависимости от приложения. Этов доке тоже упоминаеться - generated fields в разделе где описываеться MDC ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 15:01 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
>>у вас на КАЖДУЮ запись (!) выделяеться extent пространства в tablespace !!! Звучит плохо и объёмно ... А что это значит??? :) ... Можно цитату из кода. ПЛС. >>Вы хоть I/O на сервере смотрите??? >>Ну нету у вас DBA, это ясно, но sysadmin ведь должен быть?? Или тоже нету?! Считай что никого нет ... почти как дома ... ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 16:05 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
нету DBA - стань им. если уж так лень искать здесь, в форуме, то начни с http://publib.boulder.ibm.com/infocenter/db2help/index.jsp На эти грабли не только у вас наступили MDC хорошо разрекламировали, неплохо описали, но забыли жирным красным шрифтом написать - ВНИМАНИЕ блин!!! ОПАСТНОСТЬ неразумного использования!! естть статья также на developerworks и db2mag ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 16:28 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
я точно не знаю что у вас за задача, но мне кажется что MDC в вашем случае нужна как финской бане лыжи...(( от так вот... ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 16:40 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
>>"MDC в вашем случае нужна как финской бане лыжи" ... "MDC" мне не нужна ... На данный момент мне передомной стоит задача просто поднять базу ... а в таком виде она не дееспособна. На данный момент от неё требуется просто выполнение не хитрых запросов ... Разбираться я буду через пол месяца, тогда буду задавать более интересные вопросы, если чего не найду в доке .... а сейчас огромная просьба прсто объясните что надо убрать чтоб снизить размер (с 40 ГБ ) ... и повысить (получить) производительность ... в выше приведённом запросе ... у меня у Explorer'а истекает время отклика от Веб-сервера ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 17:06 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
просто перелить эту таблицу в другую, такую же, но не MDC, убить старую и переименовать новую в старую а что касается индексов - просто построить create index hhhh1 on .... ( "ATTRS_BEGIN" , "ATTRS_END" ) allow reverse scans create index hhhh2 on .... ( "ATTRS_END" , "ATTRS_BEGIN" ) allow reverse scans этого хватит на первое время... ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 17:29 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
Да...)) предварительно бэкап сделать....гы.... ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 17:29 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
мне нравиться ход ваших мыслей. Типа, сделайте за меня мою работу..... Я уже и ссылку на доку дал... Вот я щас скажу что делать - и получу еще кучу вопросов о том как это сделать.... На до выгрузить данные из таблицы, удалить таблицуб создать ее без organize by, залить данные опять ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 17:33 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
>>Да...)) предварительно бэкап сделать....гы.... Эт не проблема ... :) ... Спаибо Агромное ... а уж если это заработает ... вааще респект ... в Четверг отпишусь, и если всё будет пучком, топик в аут, полную радость в штаны. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 17:42 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
>>у вас на КАЖДУЮ запись (!) выделяеться extent пространства в tablespace !!! посл на сегодня тупой вопрос (надеюсь). что это значит как это убрать и как это влияет на БД ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 17:44 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
на пока на это можно забить если учесть что MDC не нужен. А когда будет нужен я таки надеюсь вы про него всё прочитаете. Если и после этого будут вопросы - welcome ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 17:45 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
кажется у вас табличное пространство - 16 страниц по 16 кб. Наверняка почти в каждой записи - два поля с таймстэмпами представляют собой уникальную комбинацию. Таким образом получаем 16*16 КБ будет занимать 1 запись = 256 К.... это слишком.... ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 17:48 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
имел в виду экстенты) ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 17:49 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
ну а если коротко - db2 list tablespaces show detail взять extent и умножить на page size, умножить на кол-во строк в таблице - вот это и будет реальный размер который занимают данные на диске. Ежели я ничего не путаю. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.02.2005, 17:50 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
Спасиб огромное Ктоб мог подумать что с 40 гигов база уместится в 100 с небольшим метров. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.02.2005, 15:37 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
кто доки читает тот и мог подумать ... |
|||
:
Нравится:
Не нравится:
|
|||
24.02.2005, 15:49 |
|
Большой размер базы данных
|
|||
---|---|---|---|
#18+
если база давно существует и обильно обновляется, логи проверь (архивные или циклические). у нас подобная ситуация была, смотрят, большая база, нашли папку в которой куча файлов... ну в течении года раз в неделю стирали файлы, оставляя недельные... как-то что-то сбойнуло... база не стартует... вызвали, по логам вижу, не может восстановиться. само собой, бакап год назад делали. вот я тогда то помучался, пришлось данные на 19 Гб из TS вытягивать... настроил им циклические логи дык щас они раз в неделю бакап снимают, соответсвенно старый мона тереть, но помоему они три последних оставляют... а бакапы гораздо меньше места занимают, а RAR еще в 6 раз зажимает... :) ... |
|||
:
Нравится:
Не нравится:
|
|||
02.03.2005, 23:20 |
|
|
start [/forum/topic.php?all=1&fid=43&tid=1605981]: |
0ms |
get settings: |
9ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
41ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
62ms |
get tp. blocked users: |
1ms |
others: | 13ms |
total: | 164ms |
0 / 0 |