powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Влияние размера базы на скорость запросов
25 сообщений из 55, страница 1 из 3
Влияние размера базы на скорость запросов
    #39974153
Dimkas
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день!

Возник странный вопрос, хочется посоветоваться с сообществом.
Опишу ситуацию - есть небольшая база на Oracle 11.2, в базе 100-150 таблиц, десятки тысяч строк в основных 15-20 таблицах, остальное справочники. Суммарный размер дампа базы около 100 гигабайт, но в основном он набрал блобами Word-документов.

Есть запрос (вьюшка), которые собирает данные из 20-30 таблиц.
Скорость работы запроса недавно внезапно упала в несколько раз - было 5-7 секунд, стало около 25 секунд.

В ходе выяснения причины оказалось, что на тестовой копии базы запрос выполняется за 2-3 секунды,
то есть даже быстрее чем раньше было в рабочей базе, хотя тестовый сервер сильно слабее.

Начали искать отличия - и оказалось, что в тест не перенесены данные самой большой таблицы -
бинарные данные (блобы) хранимых в системе документов, которые составляют более 98% размера дампа базы.

В результате выяснили, что если перенести в тест все таблицы с данными, кроме одной, которая содержит 300 тысяч блобов,
то всё летает. А потом добавляем в базу данные блобов (100 гигабайт) и запрос начинает тормозить, хотя в нём нет обращения к этим блобам. После удаления из базы таблицы с блобами запрос опять начинает работать быстро.

Собственно вопрос - чтоб это было? может ли физический размер табличных пространств/дата-файлов влиять на скорость выполнения запросов? почему таблица с блобами влияет на запрос, в котором никак не участвует?

с уважением,
Дмитрий Жучков
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974161
oragraf
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimkas,

select * ?
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974166
Dimkas
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
oragraf,
все поля явно указаны и проименованы, вьюшка же
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974182
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimkas,

а как блобы определены?
и какова вообще длина записи (в байтах) в этой таблице?
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974187
Dimkas
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Надфиль,
структура таблицы с блобами грубо говоря такая:
Код: plsql
1.
2.
3.
4.
5.
6.
CREATE TABLE BLOBS (
  GUID VARCHAR2(32),
  DATA BLOB,
  COMMENT VARCHAR2(256),
  HASH VARCHAR2(36)
)


никаких особенностей хранения таблица не имеет, всё параметры по умолчанию,

длина записи в самой таблице или средняя длина блоба?
в самой таблице - байт 400 от силы,
блобы в среднем по 30килобайт - вордовские документы на 5-10 страниц.
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974190
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimkas

блобы в среднем по 30килобайт - вордовские документы на 5-10 страниц.

я имел ввиду нет ли интересных опций хранения блобов
ENABLE STORAGE IN ROW
basefile или secure?

хотя тут вроде с такими объемами и тормозить нечему.
если, конечно, пару декартовых произведений не вкорячить куда нибудь)
ЗЫ:
Проверить индексы, собрать статистику, включить трассировку и конкретно посмотреть что делает запрос? это вес пройденные этапы?
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974191
Dimkas
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Надфиль,

да, все перечисленные этапы пройдены -
проблема в том, что эта таблица с блобами никаким образом не связана с запросом,
который начал тормозить.
ее можно переименовать, можно удалить - запрос работает, только время отклика меняется
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974194
Dimkas
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
грубо говоря картина такая - есть база на 100 таблиц,
в ней есть достаточно сложный запрос, который выполняется за 2-3 секунды и все этим временем довольны,

в базу добавляется 101-я таблица, которая раздувает размер базы на диске в 100 раз,
это практически реальные цифры - наша база без блобов 1.3 гига, с блобами 124 гига.

новая таблица никак не участвует в запросе, он работал еще когда ее не было в базе,
и продолжает работать, но после добавления новой таблицы запрос тормозится в несколько раз
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974198
S_e_r_j
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimkas
в базу добавляется 101-я таблица, которая раздувает размер базы на диске в 100 раз,
это практически реальные цифры - наша база без блобов 1.3 гига, с блобами 124 гига.

новая таблица никак не участвует в запросе, он работал еще когда ее не было в базе,
и продолжает работать, но после добавления новой таблицы запрос тормозится в несколько раз
- сферическая какая то фиговина в вакуме описывается, может как-то уже пример запроса с планом привести?
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974200
Фотография кит северных морей
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
планы сравнивали? одинаковые? если да - на что конкретно тратится время "медленного" запроса? каких событий ждёт?
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974207
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimkas

новая таблица никак не участвует в запросе, он работал еще когда ее не было в базе,
и продолжает работать, но после добавления новой таблицы запрос тормозится в несколько раз

сказки какие то)
ну или баги.
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974209
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А с таблицей в эти моменты другие сессии не работают?
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974212
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
landy
А с таблицей в эти моменты другие сессии не работают?

ну это если только совсем слабый сервер.
я лично добавлял/перемещал/импортировал и удалял по полтеррабайта за день, и никакого влияния не было на основной функционал.
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974217
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Дорогие учёные. У меня который год в подполе происходит подземный стук. Объясните, пожалуйста, как он происходит» ( С )
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974224
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль

ну это если только совсем слабый сервер.

Что значит слабый?
Если у ТС, извините за выражение, говенная подсистема ввода/вывода - хоть забей сотней процессоров ее - все равно будет тормозить.
Без понимания на чем у ТС все крутится - сейчас гадание на кофейной гуще.
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974239
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
landy

Что значит слабый?

да вот примерно это)
landy
говенная подсистема ввода/вывода
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974263
Synoptic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Blob в том же tablespace?
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974270
Dimkas
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
S_e_r_j
сферическая какая то фиговина в вакуме описывается, может как-то уже пример запроса с планом привести?

полный запрос это многие сотни строк, таблица с блобами в нём не участвует ни разу и никак вообще

Надфиль,
тестовый сервер не просто слабый, а очень слабый - фактически это обычная персоналка, чуть мощнее среднего,
система небольшая, умещается... рабочий сервер больше конечно, но речь про тестовый

landy
А с таблицей в эти моменты другие сессии не работают?

других сессий нет - тестовая система однопользовательская

Synoptic
Blob в том же tablespace?

да, одно табличное пространство, одна схема, один диск, один процессор на сервер, только дата-файлов 6 штук и ядер у процессора 4

кит северных морей
планы сравнивали? одинаковые? если да - на что конкретно тратится время "медленного" запроса? каких событий ждёт?

планы одинаковые, трассировку на тестовом и именно во время этого эффекта не делали и сегодня уже не сделать
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974271
Dimkas
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
пожалуй, не буду больше занимать ваше время, спасибо за озвученные идеи

я так понял, что явление массовым и общеизвестным не является
и причины эффекта скорее всего находятся за пределами Oracle

самоизоляция, сотни пользователей на удалёнке (включая всех участников тестов),
нагрузка на сервера и сети... где-то там будем искать
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974329
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimkas
я так понял, что явление массовым и общеизвестным не является

Вы соединяете 30 таблиц.
К каждой из которых потенциально может быть с десяток методов доступа.
И по три разных способа присоединения каждой из.
Посчитайте количество перестановок таблиц, помножите количество возможных соединений и путей доступа и примерно оцените количество вариаций, которые должен рассмотреть оптимизатор в процессе поиска решения Вашей задачи.
Ну и как думаете, предложенный к обсуждению сферический конь в вакууме действительно должен вызвать ажиотаж в теме?

Обсуждать имеет смысл конкретику.
Конкретный план исполнения конкретного запроса в конкретной схеме с конкретной статистикой таблиц/индексов, с конкретной статистикой исполнения...
Или сравнительный анализ планов/статистик с двух систем (хорошо vs плохо).
Запрос у Вас сложный, задача оптимизации/траблшутинга не тривиальная.
Если вменяемый тесткейс сделать не получается и собственной квалификации для решения недостаточно - имеет смысл рассмотреть вопрос найма специалиста, способного разобрать Ваш случай в деталях, выявить причину неудовлетворительного поведения и выдать действенные рекомендации.
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974362
alex-ls
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimkas
планы одинаковые, трассировку на тестовом и именно во время этого эффекта не делали и сегодня уже не сделать

а нам и не надо сегодня, сделайте когда сможете, тогда и приходите. зачем гадать, когда все можно посмотреть?
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974366
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimkas
Собственно вопрос - чтоб это было?

Это кара за грех двузвенного блобоугодия. Какие 100 гб блобов в базу? Зачем это нужно? Сделайте по-людски, сложите всё куда-нибудь, а в базу ссылки.
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974395
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
crutchmaster
Какие 100 гб блобов в базу?

ни вижу никаких проблем.
почему, интересно, это "вредно" для здоровья?
crutchmaster
Сделайте по-людски, сложите всё куда-нибудь, а в базу ссылки.

ага и получи нервный срыв пытаясь это администрировать)))
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974430
alex-ls
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
crutchmaster
Dimkas
Собственно вопрос - чтоб это было?

Это кара за грех двузвенного блобоугодия.


четкий троллинг
...
Рейтинг: 0 / 0
Влияние размера базы на скорость запросов
    #39974455
Фотография crutchmaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Надфиль
ни вижу никаких проблем.

Это странно. Вроде как ТС их уже обозначил.
Надфиль
ага и получи нервный срыв пытаясь это администрировать)))

Что там админить? Файлы лежат себе спокойно на http сервачке и никого не трогают. С кучей файлов всяко легче справиться, чем с постоянно растущим блобом. Поди как обычно, базу проектировали под дельфи фронтэнд.
...
Рейтинг: 0 / 0
25 сообщений из 55, страница 1 из 3
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Влияние размера базы на скорость запросов
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]