ReSQL.ru
     
powered by simpleCommunicator - 2.0.52     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Производительность update FB на SSD
25 сообщений из 135, страница 1 из 6
  1  все
Производительность update FB на SSD
    #39491857
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
По поводу производительности, что бы далеко не ходить, и не быть голословным. Запрос на копирование данных таблицы из одного поля в другое, записей несколько десятков миллионов, база 8 гиг, память 16 гиг, проц i7 8 ядер, база лежит на ssd. Сервер 2.5.7. Процессор занят на 1%. 1%, Карл! Естественно, запрос выполняется час. Когда проц будет занят (опционально, ини) на 100%, и запрос ускорится раз 20 хотя бы, тогда я скажу, что слелали всё, что смогли. Попробую ради интереса 3.0 ещё.
...
Рейтинг: 0 / 0
19.07.2017, 20:47
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39491878
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
makhaon> Запрос на копирование данных таблицы из одного поля в другое
makhaon> Процессор занят на 1%. 1%, Карл!

А на сколько и чем должен быть занят процессор в данном случае?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
19.07.2017, 22:01
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39491887
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
makhaon,

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
update orders set o_ol_cnt = o_w_id

Plan
PLAN (ORDERS NATURAL)

13857553 record(s) was(were) updated in ORDERS

------ Performance info ------
Prepare time = 0ms
Execute time = 1m 4s 990ms
Current memory = 1 153 834 056
Max memory = 1 159 717 512
Memory buffers = 128 000
Reads from disk to cache = 117 675
Writes from cache to disk = 45 149
Fetches from cache = 103 939 473
БД 16GB, RAM 16GB, i7 4790, SSD, Win7

достаточно не голословно ?

makhaonтогда я скажу, что слелали всё, что смоглиСначала научись её готовить, критик
...
Рейтинг: 0 / 0
19.07.2017, 22:33
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39491899
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
А где там CPU ?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
19.07.2017, 22:59
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39491932
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
makhaonКогда проц будет занят (опционально, ини) на 100%, и запрос ускорится раз 20 хотя бы
надо изучать азы железа. Дисковые операции невозможно переложить на проц, и наоборот.
Пример - я как-то поменял видеокарту на компе, а fps в игре не вырос совершенно. Выяснилось, что игра уперлась в проц. Обновил проц - и fps вырос. А на старом проце игра и так видеокарту по возможному максимуму использовала.
А вот если бы вначале поменял проц, игра бы уперлась в видеокарту.

Копирование данных - это диск. Надо смотреть, сколько там было чтений, записи, сколько индексов на целевой таблице, триггеров, и т.д. Только после этого можно быть "не голословным".
...
Рейтинг: 0 / 0
20.07.2017, 00:34
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39491935
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
kdv,

индексов и триггеров было ноль. исходное поле - блоб, приёмник - варчар.

запрос: update images set image_path_temp = image_path

авторДисковые операции невозможно переложить на проц, и наоборот.

Так ссд же :) Откуда там дисковые операции? 8 гиг можно закачать в память за несколько секунд (что, к слову, почти и было сделано - сервер занял около 6 ти гиг памяти в пике, 64 бита, 32х просто упал).
И еще за чуть дольше записать. Остальное - чисто процессорные операции.

авторСначала научись её готовить, критик

Давай, великий оптимизатор баз и запросов, соптимизурешь - заплачу.
...
Рейтинг: 0 / 0
20.07.2017, 00:49
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39491936
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rdb_dev
Участник
makhaonПо поводу производительности, что бы далеко не ходить, и не быть голословным. Запрос на копирование данных таблицы из одного поля в другое, записей несколько десятков миллионов, база 8 гиг, память 16 гиг, проц i7 8 ядер, база лежит на ssd. Сервер 2.5.7. Процессор занят на 1%. 1%, Карл! Естественно, запрос выполняется час. Когда проц будет занят (опционально, ини) на 100%, и запрос ускорится раз 20 хотя бы, тогда я скажу, что слелали всё, что смогли. Попробую ради интереса 3.0 ещё.Точную спецификацию железа в студию, пжст. Вплоть до модели материнки, проца и ssd накопителей.
...
Рейтинг: 0 / 0
20.07.2017, 00:52
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39491945
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
rdb_dev,

Ноутбук Dell SPX 9550, чипсет Intel HM170, проц i7-6700HQ 2.60 GHz, память 16 гиг, производителя могу посмотреть, NVMe PM951 Samsung 256 Gb, Win 10 Pro 64.
...
Рейтинг: 0 / 0
20.07.2017, 01:32
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492004
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
makhaonТак ссд же :) Откуда там дисковые операции? 8 гиг можно закачать в память за несколько секунд
то есть, ssd это такая волшебная хрень, которая эквивалентна по скорости RAM? нет же.
А дисковые операции там ОТТУДА. Меня умиляют люди, которые пытаются рассуждать о производительности, при этом не умеют смотреть ни в perfmon, ни еще куда-то.
8 гиг в память можно быстро закачать, если качать блоками. В данном случае - копирование ЗАПИСЕЙ, "несколько десятков миллионов".
Запрос мы не видим, статистики по нему не видим, ddl тоже нет, одни только жалобы.
makhaonДавай, великий оптимизатор баз и запросов, соптимизурешь - заплачу.
то есть, один из главных разработчиков Firebird - дурак?
...
Рейтинг: 0 / 0
20.07.2017, 09:09
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492014
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
makhaon,

воспроизводимый пример где ?

PS И не нужно флудить в этой теме, она для другого
...
Рейтинг: 0 / 0
20.07.2017, 09:17
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492036
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rdb_dev
Участник
makhaonrdb_dev,

Ноутбук Dell SPX 9550, чипсет Intel HM170, проц i7-6700HQ 2.60 GHz, память 16 гиг, производителя могу посмотреть, NVMe PM951 Samsung 256 Gb, Win 10 Pro 64.Надеюсь, ты поменял ему профиль питания на максимальную производительность и проводил тесты без с включенным питанием и удаленным антивирусом?
...
Рейтинг: 0 / 0
20.07.2017, 09:32
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492052
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
makhaon,

если это не одноразовая задача могу только посочувствовать. Это надо было умудрить для пути к картинки выбрать тип BLOB.
...
Рейтинг: 0 / 0
20.07.2017, 09:39
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492068
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Ладно, всё, молчу ) Я кругом виноват. Фб белый, пушистый, в нем всё оптимизировано по максимуму. Тему можно было вообще не открывать, если никто ничего слушать не хочет. На том и закончим. Питание, само собой, от сети, производительность максимальная, антивирус - встроенный Windows.
...
Рейтинг: 0 / 0
20.07.2017, 09:56
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492079
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
makhaon,

во-первых тему ты начал не там. Надо было отдельный топик создать.
Во-вторых ты не привел никаких сведений для воспроизведения проблемы.
Где DDL таблицы?
Где статистика выполнения запроса?
Где сведения о том что ты менял в конфигурационном файле?
Где статистика по базе данных и по таблице собранная gstat?

Пока очевидно что ты сам не хочешь разобраться в вопросе. Проще всё свалить на Firebird.

З.Ы. Модераторы перенесите эту тему в отдельную ветку.
...
Рейтинг: 0 / 0
20.07.2017, 10:08
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492083
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rdb_dev
Участник
makhaon, в профиле питания отключи управление питанием для PCI-E и гоняй ФБ только с подключенным питанием от сети.
...
Рейтинг: 0 / 0
20.07.2017, 10:09
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492185
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
makhaon,

я тут опыт поставил на своём ноуте. Он по сравнению с твоим дохлый CPU Celeron B800 2х ядерный, 4Гб оперативы и SSD в нём нет.
Firebird 3.0.1 SS. Размер страницы 8K

Код: sql
1.
2.
3.
4.
5.
6.
CREATE TABLE IMAGES (
  ID BIGINT GENERATED BY DEFAULT AS IDENTITY,
  IMAGE_PATH BLOB SUB_TYPE TEXT,
  IMAGE_PATH_TEMP VARCHAR(280),
  CONSTRAINT PK_IMAGE PRIMARY KEY (ID)
);



 
скрипт заполнения таблицы
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
EXECUTE BLOCK
AS
DECLARE VARIABLE I INTEGER = 30000000;
BEGIN
  WHILE (I > 0) DO
  BEGIN
    I = I - 1;
    INSERT INTO IMAGES(IMAGE_PATH)
    VALUES(RPAD('A', 249, 'A') || :I);
  END
END




Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
30000000 record(s) was(were) inserted into IMAGES

------ Performance info ------
Prepare time = 109ms
Execute time = 24m 15s 69ms
Current memory = 76 011 072
Max memory = 89 441 432
Memory buffers = 8 192
Reads from disk to cache = 3
Writes from cache to disk = 1 523 423
Fetches from cache = 308 304 381


База данных стала размером 10.5 Гб

Ну а теперь выполняем твой запрос

Код: sql
1.
update images set image_path_temp = image_path



Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
Plan
PLAN (IMAGES NATURAL)

30000000 record(s) was(were) updated in IMAGES

------ Performance info ------
Prepare time = 63ms
Execute time = 20m 48s 975ms
Current memory = 81 635 488
Max memory = 95 066 496
Memory buffers = 8 192
Reads from disk to cache = 1 390 725
Writes from cache to disk = 433 079
Fetches from cache = 445 192 174

Transaction commited... (1030 ms)

База данных стала размером 13.1 Гб

Долго конечно но не час. В процессе выполнения одно ядро проца было загружено постоянно как минимум на 60-80%. А вот диск использовался активно. Если чтение было не из BLOB то всё было бы ещё быстрее.
...
Рейтинг: 0 / 0
20.07.2017, 11:28
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492193
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Симонов Денис,

с кешем на временную базу я сжадничал. Надо было выставить 32-50K. Ну да ладно повторять тест лень.
...
Рейтинг: 0 / 0
20.07.2017, 11:34
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492225
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rdb_dev
Участник
makhaonФб белый, пушистый, в нем всё оптимизировано по максимуму .Ты передергиваешь.
...
Рейтинг: 0 / 0
20.07.2017, 12:08
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492302
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Сбор информации занимает время. Да и так работы хватает, не базой единой. Пытаюсь сделать бакап-рестор, возможно это ускорит запрос. Конфиги по умолчанию исходя из этого:
авторДа работает он на самом деле "из коробки" и вполне прилично даже на довольно напряжных задачах. Лезть в конфиг имеет смысл когда что-то начинает беспокоить
Или это не правда? Тогда повторю хотелку - либо утилиту оптимизации конфигов, либо инсталлятор, оптимизирующий конфиги исходя из железа и каких-то опций.
Такие операции, к счастью, не частые. Но, как говорится - редко, но метко. Около 30 млн записей по бакапу вижу.
авторто есть, один из главных разработчиков Firebird - дурак?
Извини, малиновые штаны не признал.
...
Рейтинг: 0 / 0
20.07.2017, 13:01
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492312
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
20.07.2017 13:01, makhaon пишет:
> Тогда повторю хотелку - либо утилиту оптимизации конфигов, либо инсталлятор, оптимизирующий конфиги исходя из железа и каких-то опций.

одмин нужен.
одной кнопки "для дурака" мало.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.07.2017, 13:08
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492322
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
makhaon,

я вот тебе тест сделал на обычном ноутбуке дохлом. Как видишь у меня быстрее получилось.
А утилита такая нафиг не сдалась. Тут админ грамотный должен быть который способен проанализировать запросы, их планы, статистику выполнения, посмотреть в счётчики производительности и понять где узкое место.
...
Рейтинг: 0 / 0
20.07.2017, 13:17
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492323
FireMops
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FireMops
Участник
Симонов Денисmakhaon,

я вот тебе тест сделал на обычном ноутбуке дохлом. Как видишь у меня быстрее получилось.
А утилита такая нафиг не сдалась. Тут админ грамотный должен быть который способен проанализировать запросы, их планы, статистику выполнения, посмотреть в счётчики производительности и понять где узкое место.И много грамотных админов для ФБ? Или они все в Оракакел сбежали?
...
Рейтинг: 0 / 0
20.07.2017, 13:19
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492333
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
20.07.2017 13:19, FireMops пишет:
> И много грамотных админов для ФБ?

не.
дураков и школьников гораздо больше.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.07.2017, 13:28
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492590
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Первые результаты.

Plan
PLAN (IMAGES NATURAL)

33838204 record(s) was(were) updated in IMAGES

------ Performance info ------
Prepare time = 0ms
Execute time = 54m 8s 110ms
Current memory = 35 496 168
Max memory = 71 640 920
Memory buffers = 2 048
Reads from disk to cache = 671 825
Writes from cache to disk = 672 158
Fetches from cache = 587 869 946

Запрос:

Код: sql
1.
update images set image_path_temp = image_path



DDL

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
CREATE TABLE IMAGES (
    IMAGE_NUMBER        INTEGER,
    IMAGE_NAME          BLOB SUB_TYPE 1 SEGMENT SIZE 255,
    IMAGE_PATH          BLOB SUB_TYPE 1 SEGMENT SIZE 255,
    IMAGE_FILE_LENGTH   DOUBLE PRECISION,
    IMAGE_UID           INTEGER NOT NULL,
    SERIES_UID          INTEGER,
    SHARE_UID           INTEGER,
    IMAGES_UID_IN_FILE  CHAR(64),
    IMAGE_THUMBNAIL     BLOB SUB_TYPE 0 SEGMENT SIZE 1024,
    IMAGE_PATH_TEMP     VARCHAR(2000)

ALTER TABLE IMAGES ADD CONSTRAINT PK_IMAGES PRIMARY KEY (IMAGE_UID);
);



Других участвующих индексов и триггеров нет.
33838204 неиндексированных чтения и записи.
База после b/r, страница 16 кб, конфиги дефолтные, Firebird-2.5.6.27020_0_x64, железо написал, схема 'высокая производительность', энергосбережение PCI-E отключено, питание от сети.
...
Рейтинг: 0 / 0
20.07.2017, 18:05
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492594
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
20.07.2017 18:05, makhaon пишет:
> IMAGE_PATH BLOB SUB_TYPE 1 SEGMENT SIZE 255,

крассавчег!
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.07.2017, 18:09
| Ответить | Цитировать | Написать  
25 сообщений из 135, страница 1 из 6
  1  все
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Производительность update FB на SSD
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=40&fpage=43&tid=1561483]:
 0ms
get settings:
 10ms
get forum list:
 14ms
check forum access:
 5ms
check topic access:
 5ms
track hit:
 46ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 94ms
get tp. blocked users:
 2ms
others: 301ms
total:  493ms
созд. / загр.: 493ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]