ReSQL.ru
     
powered by simpleCommunicator - 2.0.52     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Производительность update FB на SSD
135 сообщений из 135, показаны все 6 страниц
  все  
Производительность update FB на SSD
    #39491857
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
По поводу производительности, что бы далеко не ходить, и не быть голословным. Запрос на копирование данных таблицы из одного поля в другое, записей несколько десятков миллионов, база 8 гиг, память 16 гиг, проц i7 8 ядер, база лежит на ssd. Сервер 2.5.7. Процессор занят на 1%. 1%, Карл! Естественно, запрос выполняется час. Когда проц будет занят (опционально, ини) на 100%, и запрос ускорится раз 20 хотя бы, тогда я скажу, что слелали всё, что смогли. Попробую ради интереса 3.0 ещё.
...
Рейтинг: 0 / 0
19.07.2017, 20:47
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39491878
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
makhaon> Запрос на копирование данных таблицы из одного поля в другое
makhaon> Процессор занят на 1%. 1%, Карл!

А на сколько и чем должен быть занят процессор в данном случае?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
19.07.2017, 22:01
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39491887
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
makhaon,

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
update orders set o_ol_cnt = o_w_id

Plan
PLAN (ORDERS NATURAL)

13857553 record(s) was(were) updated in ORDERS

------ Performance info ------
Prepare time = 0ms
Execute time = 1m 4s 990ms
Current memory = 1 153 834 056
Max memory = 1 159 717 512
Memory buffers = 128 000
Reads from disk to cache = 117 675
Writes from cache to disk = 45 149
Fetches from cache = 103 939 473
БД 16GB, RAM 16GB, i7 4790, SSD, Win7

достаточно не голословно ?

makhaonтогда я скажу, что слелали всё, что смоглиСначала научись её готовить, критик
...
Рейтинг: 0 / 0
19.07.2017, 22:33
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39491899
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
А где там CPU ?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
19.07.2017, 22:59
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39491932
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
makhaonКогда проц будет занят (опционально, ини) на 100%, и запрос ускорится раз 20 хотя бы
надо изучать азы железа. Дисковые операции невозможно переложить на проц, и наоборот.
Пример - я как-то поменял видеокарту на компе, а fps в игре не вырос совершенно. Выяснилось, что игра уперлась в проц. Обновил проц - и fps вырос. А на старом проце игра и так видеокарту по возможному максимуму использовала.
А вот если бы вначале поменял проц, игра бы уперлась в видеокарту.

Копирование данных - это диск. Надо смотреть, сколько там было чтений, записи, сколько индексов на целевой таблице, триггеров, и т.д. Только после этого можно быть "не голословным".
...
Рейтинг: 0 / 0
20.07.2017, 00:34
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39491935
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
kdv,

индексов и триггеров было ноль. исходное поле - блоб, приёмник - варчар.

запрос: update images set image_path_temp = image_path

авторДисковые операции невозможно переложить на проц, и наоборот.

Так ссд же :) Откуда там дисковые операции? 8 гиг можно закачать в память за несколько секунд (что, к слову, почти и было сделано - сервер занял около 6 ти гиг памяти в пике, 64 бита, 32х просто упал).
И еще за чуть дольше записать. Остальное - чисто процессорные операции.

авторСначала научись её готовить, критик

Давай, великий оптимизатор баз и запросов, соптимизурешь - заплачу.
...
Рейтинг: 0 / 0
20.07.2017, 00:49
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39491936
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rdb_dev
Участник
makhaonПо поводу производительности, что бы далеко не ходить, и не быть голословным. Запрос на копирование данных таблицы из одного поля в другое, записей несколько десятков миллионов, база 8 гиг, память 16 гиг, проц i7 8 ядер, база лежит на ssd. Сервер 2.5.7. Процессор занят на 1%. 1%, Карл! Естественно, запрос выполняется час. Когда проц будет занят (опционально, ини) на 100%, и запрос ускорится раз 20 хотя бы, тогда я скажу, что слелали всё, что смогли. Попробую ради интереса 3.0 ещё.Точную спецификацию железа в студию, пжст. Вплоть до модели материнки, проца и ssd накопителей.
...
Рейтинг: 0 / 0
20.07.2017, 00:52
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39491945
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
rdb_dev,

Ноутбук Dell SPX 9550, чипсет Intel HM170, проц i7-6700HQ 2.60 GHz, память 16 гиг, производителя могу посмотреть, NVMe PM951 Samsung 256 Gb, Win 10 Pro 64.
...
Рейтинг: 0 / 0
20.07.2017, 01:32
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492004
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
makhaonТак ссд же :) Откуда там дисковые операции? 8 гиг можно закачать в память за несколько секунд
то есть, ssd это такая волшебная хрень, которая эквивалентна по скорости RAM? нет же.
А дисковые операции там ОТТУДА. Меня умиляют люди, которые пытаются рассуждать о производительности, при этом не умеют смотреть ни в perfmon, ни еще куда-то.
8 гиг в память можно быстро закачать, если качать блоками. В данном случае - копирование ЗАПИСЕЙ, "несколько десятков миллионов".
Запрос мы не видим, статистики по нему не видим, ddl тоже нет, одни только жалобы.
makhaonДавай, великий оптимизатор баз и запросов, соптимизурешь - заплачу.
то есть, один из главных разработчиков Firebird - дурак?
...
Рейтинг: 0 / 0
20.07.2017, 09:09
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492014
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
makhaon,

воспроизводимый пример где ?

PS И не нужно флудить в этой теме, она для другого
...
Рейтинг: 0 / 0
20.07.2017, 09:17
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492036
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rdb_dev
Участник
makhaonrdb_dev,

Ноутбук Dell SPX 9550, чипсет Intel HM170, проц i7-6700HQ 2.60 GHz, память 16 гиг, производителя могу посмотреть, NVMe PM951 Samsung 256 Gb, Win 10 Pro 64.Надеюсь, ты поменял ему профиль питания на максимальную производительность и проводил тесты без с включенным питанием и удаленным антивирусом?
...
Рейтинг: 0 / 0
20.07.2017, 09:32
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492052
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
makhaon,

если это не одноразовая задача могу только посочувствовать. Это надо было умудрить для пути к картинки выбрать тип BLOB.
...
Рейтинг: 0 / 0
20.07.2017, 09:39
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492068
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Ладно, всё, молчу ) Я кругом виноват. Фб белый, пушистый, в нем всё оптимизировано по максимуму. Тему можно было вообще не открывать, если никто ничего слушать не хочет. На том и закончим. Питание, само собой, от сети, производительность максимальная, антивирус - встроенный Windows.
...
Рейтинг: 0 / 0
20.07.2017, 09:56
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492079
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
makhaon,

во-первых тему ты начал не там. Надо было отдельный топик создать.
Во-вторых ты не привел никаких сведений для воспроизведения проблемы.
Где DDL таблицы?
Где статистика выполнения запроса?
Где сведения о том что ты менял в конфигурационном файле?
Где статистика по базе данных и по таблице собранная gstat?

Пока очевидно что ты сам не хочешь разобраться в вопросе. Проще всё свалить на Firebird.

З.Ы. Модераторы перенесите эту тему в отдельную ветку.
...
Рейтинг: 0 / 0
20.07.2017, 10:08
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492083
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rdb_dev
Участник
makhaon, в профиле питания отключи управление питанием для PCI-E и гоняй ФБ только с подключенным питанием от сети.
...
Рейтинг: 0 / 0
20.07.2017, 10:09
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492185
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
makhaon,

я тут опыт поставил на своём ноуте. Он по сравнению с твоим дохлый CPU Celeron B800 2х ядерный, 4Гб оперативы и SSD в нём нет.
Firebird 3.0.1 SS. Размер страницы 8K

Код: sql
1.
2.
3.
4.
5.
6.
CREATE TABLE IMAGES (
  ID BIGINT GENERATED BY DEFAULT AS IDENTITY,
  IMAGE_PATH BLOB SUB_TYPE TEXT,
  IMAGE_PATH_TEMP VARCHAR(280),
  CONSTRAINT PK_IMAGE PRIMARY KEY (ID)
);



 
скрипт заполнения таблицы
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
EXECUTE BLOCK
AS
DECLARE VARIABLE I INTEGER = 30000000;
BEGIN
  WHILE (I > 0) DO
  BEGIN
    I = I - 1;
    INSERT INTO IMAGES(IMAGE_PATH)
    VALUES(RPAD('A', 249, 'A') || :I);
  END
END




Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
30000000 record(s) was(were) inserted into IMAGES

------ Performance info ------
Prepare time = 109ms
Execute time = 24m 15s 69ms
Current memory = 76 011 072
Max memory = 89 441 432
Memory buffers = 8 192
Reads from disk to cache = 3
Writes from cache to disk = 1 523 423
Fetches from cache = 308 304 381


База данных стала размером 10.5 Гб

Ну а теперь выполняем твой запрос

Код: sql
1.
update images set image_path_temp = image_path



Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
Plan
PLAN (IMAGES NATURAL)

30000000 record(s) was(were) updated in IMAGES

------ Performance info ------
Prepare time = 63ms
Execute time = 20m 48s 975ms
Current memory = 81 635 488
Max memory = 95 066 496
Memory buffers = 8 192
Reads from disk to cache = 1 390 725
Writes from cache to disk = 433 079
Fetches from cache = 445 192 174

Transaction commited... (1030 ms)

База данных стала размером 13.1 Гб

Долго конечно но не час. В процессе выполнения одно ядро проца было загружено постоянно как минимум на 60-80%. А вот диск использовался активно. Если чтение было не из BLOB то всё было бы ещё быстрее.
...
Рейтинг: 0 / 0
20.07.2017, 11:28
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492193
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Симонов Денис,

с кешем на временную базу я сжадничал. Надо было выставить 32-50K. Ну да ладно повторять тест лень.
...
Рейтинг: 0 / 0
20.07.2017, 11:34
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492225
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rdb_dev
Участник
makhaonФб белый, пушистый, в нем всё оптимизировано по максимуму .Ты передергиваешь.
...
Рейтинг: 0 / 0
20.07.2017, 12:08
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492302
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Сбор информации занимает время. Да и так работы хватает, не базой единой. Пытаюсь сделать бакап-рестор, возможно это ускорит запрос. Конфиги по умолчанию исходя из этого:
авторДа работает он на самом деле "из коробки" и вполне прилично даже на довольно напряжных задачах. Лезть в конфиг имеет смысл когда что-то начинает беспокоить
Или это не правда? Тогда повторю хотелку - либо утилиту оптимизации конфигов, либо инсталлятор, оптимизирующий конфиги исходя из железа и каких-то опций.
Такие операции, к счастью, не частые. Но, как говорится - редко, но метко. Около 30 млн записей по бакапу вижу.
авторто есть, один из главных разработчиков Firebird - дурак?
Извини, малиновые штаны не признал.
...
Рейтинг: 0 / 0
20.07.2017, 13:01
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492312
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
20.07.2017 13:01, makhaon пишет:
> Тогда повторю хотелку - либо утилиту оптимизации конфигов, либо инсталлятор, оптимизирующий конфиги исходя из железа и каких-то опций.

одмин нужен.
одной кнопки "для дурака" мало.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.07.2017, 13:08
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492322
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
makhaon,

я вот тебе тест сделал на обычном ноутбуке дохлом. Как видишь у меня быстрее получилось.
А утилита такая нафиг не сдалась. Тут админ грамотный должен быть который способен проанализировать запросы, их планы, статистику выполнения, посмотреть в счётчики производительности и понять где узкое место.
...
Рейтинг: 0 / 0
20.07.2017, 13:17
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492323
FireMops
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FireMops
Участник
Симонов Денисmakhaon,

я вот тебе тест сделал на обычном ноутбуке дохлом. Как видишь у меня быстрее получилось.
А утилита такая нафиг не сдалась. Тут админ грамотный должен быть который способен проанализировать запросы, их планы, статистику выполнения, посмотреть в счётчики производительности и понять где узкое место.И много грамотных админов для ФБ? Или они все в Оракакел сбежали?
...
Рейтинг: 0 / 0
20.07.2017, 13:19
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492333
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
20.07.2017 13:19, FireMops пишет:
> И много грамотных админов для ФБ?

не.
дураков и школьников гораздо больше.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.07.2017, 13:28
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492590
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Первые результаты.

Plan
PLAN (IMAGES NATURAL)

33838204 record(s) was(were) updated in IMAGES

------ Performance info ------
Prepare time = 0ms
Execute time = 54m 8s 110ms
Current memory = 35 496 168
Max memory = 71 640 920
Memory buffers = 2 048
Reads from disk to cache = 671 825
Writes from cache to disk = 672 158
Fetches from cache = 587 869 946

Запрос:

Код: sql
1.
update images set image_path_temp = image_path



DDL

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
CREATE TABLE IMAGES (
    IMAGE_NUMBER        INTEGER,
    IMAGE_NAME          BLOB SUB_TYPE 1 SEGMENT SIZE 255,
    IMAGE_PATH          BLOB SUB_TYPE 1 SEGMENT SIZE 255,
    IMAGE_FILE_LENGTH   DOUBLE PRECISION,
    IMAGE_UID           INTEGER NOT NULL,
    SERIES_UID          INTEGER,
    SHARE_UID           INTEGER,
    IMAGES_UID_IN_FILE  CHAR(64),
    IMAGE_THUMBNAIL     BLOB SUB_TYPE 0 SEGMENT SIZE 1024,
    IMAGE_PATH_TEMP     VARCHAR(2000)

ALTER TABLE IMAGES ADD CONSTRAINT PK_IMAGES PRIMARY KEY (IMAGE_UID);
);



Других участвующих индексов и триггеров нет.
33838204 неиндексированных чтения и записи.
База после b/r, страница 16 кб, конфиги дефолтные, Firebird-2.5.6.27020_0_x64, железо написал, схема 'высокая производительность', энергосбережение PCI-E отключено, питание от сети.
...
Рейтинг: 0 / 0
20.07.2017, 18:05
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492594
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
20.07.2017 18:05, makhaon пишет:
> IMAGE_PATH BLOB SUB_TYPE 1 SEGMENT SIZE 255,

крассавчег!
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.07.2017, 18:09
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492595
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Результаты "gstat -r -t IMAGES" - В СТУДИЮ!!!
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.07.2017, 18:10
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492600
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Гаджимурадов РустамОдни про Ивана, другие про болвана. Одни про конфиг и параметры
для конкретных условий (размер БД, ОЗУ, кол-во коннектов и пр.),

Для этого никаких утилит не нужно. Достаточно калькулятора.
А вот посмотреть что надо увеличить в работающей системе где происходят затыки совсем другая задача
...
Рейтинг: 0 / 0
20.07.2017, 18:16
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492602
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
makhaon,

я так понимаю блобы для имени картинки и пути к ней здесь по ошибке понатыканы. Или лень было размер строки прикинуть?

makhaonIMAGE_PATH_TEMP VARCHAR(2000)

не многовато ли для путей 2000 символов?

SuperServer? Тогда попробуй 3.0.2 и сделай там нормальный кеш, например, 50K страниц.
...
Рейтинг: 0 / 0
20.07.2017, 18:23
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492609
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
Симонов Денис> Для этого никаких утилит не нужно. Достаточно калькулятора.

Страшно далеки они от народа. (с)


> А вот посмотреть что надо увеличить в работающей
> системе где происходят затыки совсем другая задача

С этим кто-то спорит? Кто-то просит для этого утилиту?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.07.2017, 18:35
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492612
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Симонов Денис,

авторя так понимаю блобы для имени картинки и пути к ней здесь по ошибке понатыканы. Или лень было размер строки прикинуть?

Дело было давнее :) Такому формату лет 10, сейчас постепенно приводим к нормальному виду. Впрочем - базы вполне нормально отработали эти 10 лет с такой структурой.

авторне многовато ли для путей 2000 символов?

Насколько я знаю - от варчара база не 'пухнет' - зачем жалеть? Мы изредка сталкиваемся с длинными путями, пришлось в софте специальную обработку для длинных файлов делать (добавляя '\\?\').
...
Рейтинг: 0 / 0
20.07.2017, 18:36
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492618
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
makhaonДело было давнее :) Такому формату лет 10, сейчас постепенно приводим к нормальному виду.

ну раз это одноразовая задача можно забить. Если я правильно понимаю потом поле с блобом пойдёт под снос, IMAGE_PATH_TEMP будет переименовано в IMAGE_PATH.
...
Рейтинг: 0 / 0
20.07.2017, 18:44
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492622
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Симонов Денис,

Да, всё верно. Мы то забиваем, но осадочек то остаётся. Да и поле не одно такое.
...
Рейтинг: 0 / 0
20.07.2017, 18:50
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492623
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
makhaonPage size 16384

Мнда... Только избранные знают, что на таком размере страницы производительность проседает.

makhaonaverage fill: 98%
Вставляли записи малой длины, апдейтили на большую. Сами себя загнали в жуткую
фрагментацию. От этого любая СУБД сдохнет, кроме, разве что, колоночных.

В сочетании со статистикой выше, дисковая система выдаёт 6 мб/с. Дай угадаю: ноутбучный
SSD на 90% забит коллекцией порнушки?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.07.2017, 18:53
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492627
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
makhaon,

для начала, сравниваем с данными Симонова. У него
 
Reads from disk to cache = 1 390 725
Writes from cache to disk = 433 079
Fetches from cache = 445 192 174


у тебя
 
Reads from disk to cache = 671 825
Writes from cache to disk = 672 158
Fetches from cache = 587 869 946


В целом все похоже, но у тебя 54 минуты, у него 20 минут. Вроде повод задуматься. Дальше.

671825 страниц считано, по 16к это 10 гиг. 10 гиг прочитать, и 10 гиг записать на один и тот же диск. 20 гиг. за 54 минуты.
Это чистый обмен с диском со скоростью 6 мегабайт в секунду . А у Дениса Симонова - 10 мегабайт в секунду.
Казалось бы, ssd должен дать 200мб в секунду, не меньше. Но... это же создание 33 миллионов версий.

И я бы еще посмотрел в perfmon в процессе, что там происходит.
...
Рейтинг: 0 / 0
20.07.2017, 18:58
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492629
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Dimitry Sibiryakov,

Могу попробовать размер поднять.

авторДай угадаю: ноутбучный SSD на 90% забит коллекцией порнушки

Не стоит по себе обо всех судить :) Вынь + делфи + десяток программ, ничего больше, 150 гиг свободно из 256-ти.
...
Рейтинг: 0 / 0
20.07.2017, 19:01
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492636
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
автор671825 страниц считано, по 16к это 10 гиг. 10 гиг прочитать, и 10 гиг записать на один и тот же диск. 20 гиг. за 54 минуты.
Это чистый обмен с диском со скоростью 6 мегабайт в секунду. А у Дениса Симонова - 10 мегабайт в секунду.
Казалось бы, ssd должен дать 200мб в секунду, не меньше. Но... это же создание 33 миллионов версий.


Господа, при всём уважении ко всем. Винчестер не прогружен, процессор не прогружен. Я сам довольно плотно занимаюсь многопоточными системами, сотни потоков на серверах, не верю, что ничего сделать больше нельзя.
Попробую ради интереса еще fb3 и размер страницы увеличу.
...
Рейтинг: 0 / 0
20.07.2017, 19:11
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492637
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
makhaonПопробую ради интереса еще fb3 и размер страницы увеличу.

Эва... Ну, как увеличишь - сообщи. А то народ-то наивно считает, что 16к это предел.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.07.2017, 19:14
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492646
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
makhaon,

при чем тут "потоки"??? Ты не теми категориями мыслишь, из-за чего тебе кажется что "тут все просто".
makhaonне верю, что ничего сделать больше нельзя.
кое-что сделать, конечно, можно, но не сильно много. Кроме того, абсолютно однозначно, что если вычистить из кода ФБ весь код, обеспечивающий "многопользовательность", то будет гораздо быстрее.
...
Рейтинг: 0 / 0
20.07.2017, 19:48
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492656
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
kdv> если вычистить ... код ..., то будет гораздо быстрее.

Зря ты это сказал...
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.07.2017, 20:35
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492664
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
makhaon,

тут фишка в блобах. А хранятся блобы весьма интересно. В твоём случае это маленькие блобы которые конкретно фрагментируют страницу. Почитать об этом можно здесь http://www.ibase.ru/tablefrag/

И кстати в моём тесте страница меньше - 8K, а не 16.
...
Рейтинг: 0 / 0
20.07.2017, 21:11
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492668
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
makhaon,

повторил тест Дениса. 20660684

У меня - hdd raid 1 из двух Seagate ST2000DM001-1CH164 по 2 тб.
Проц AMD FX-8350, 8 ядер, 16 гиг RAM
Firebird 3.0.2, SS.
Базу не "прогревал", коннект и update (поэтому prepare time 4с).
Правда, тест не совсем кошерный, потому что для упрощения я сгенерил базу, а потом копировал ее с одного хдд на другой. Так что по факту выходило, что база прошла через кэш ОС (rammap подтвердил 5 гиг базы в кэше после копирования).
Получилось вот что

FW=ON
 
Plan
PLAN (IMAGES NATURAL)

30000000 record(s) was(were) updated in IMAGES

------ Performance info ------
Prepare time = 4s 87ms
Execute time = 10m 31s 944ms
Current memory = 23 278 480
Max memory = 34 823 888
Memory buffers = 2 048
Reads from disk to cache = 1 354 088
Writes from cache to disk = 392 231
Fetches from cache = 352 187 455
Почему меньше чтений, записи и фетчей – не знаю, тест повторил в точности, с размером страницы 8к.
У меня получилась суммарная скорость те же 10 мегабайт в секунду, что и у Дениса, но запрос выполнился в 2 раза быстрее.
Повторный тест -
Execute time = 9m 28s 686ms
по идее, это и есть результат кэша 5 гиг при копировании.
Впрочем, проверил еще раз, с no_auto_undo, вышло
Execute time = 10m 11s 461ms


FW=OFF
 
ФБ загрузил 1 ядро полностью (12% загрузки проца), скорость чтения выросла до 25мб сек, скорость записи упала до 4мб сек.
Но в сумме - быстрее fw=on на 2 минуты.
Plan
PLAN (IMAGES NATURAL)

30000000 record(s) was(were) updated in IMAGES

------ Performance info ------
Prepare time = 2s 621ms
Execute time = 8m 0s 764ms
Current memory = 23 276 000
Max memory = 34 821 288
Memory buffers = 2 048
Reads from disk to cache = 1 354 088
Writes from cache to disk = 392 275
Fetches from cache = 352 187 455


Какие тут можно сделать выводы... комп и ssd - дерьмо :-). Еще, раз у меня и у Дениса ядро грузилось на 60-80%, а на том компе "Процессор занят на 1%. 1%, Карл!", то явно какой-то софт мешает, или кэширование записи у диска вообще выключено. Ну и
makhaonКогда проц будет занят (опционально, ини) на 100%
не будет у такого запроса распараллеливания по ядрам. Не будет (даже в Оракле). Говоришь, с тредами работаешь? Не похоже.
...
Рейтинг: 0 / 0
20.07.2017, 21:30
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492672
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
С этим можно что-то сделать?

авторgbak: ERROR:Page size specified (32768) greater than limit (16384 bytes)
...
Рейтинг: 0 / 0
20.07.2017, 21:38
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492675
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
makhaon,

нет. Размер страницы 32K поддерживается начиная с Firebird 4.0. И увеличение размера страницы не поможет.
...
Рейтинг: 0 / 0
20.07.2017, 21:41
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492685
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
makhaon> С этим можно что-то сделать?

Конечно, можно. Не пытаться задавать
размер страницы выше максимального.

И может хватит уже топик про идеи
засорять - создай отдельный топик
"как ускорить копирование BLOB-ов".
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.07.2017, 22:11
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492709
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
пока я повторяю тест на 2.5, возникает интересный вопрос.
Вот тут идет разговор про "программу для настроек ФБ на конкретное железо".
При этом, у автора запрос выполняется за 54 минуты, у Дениса за 24 минуты, у меня за 10 минут (ладно, у нас с Денисом не совсем точный повтор, но все-таки).
При этом у меня и Дениса 1 ядро проца загружено на ~70%, а у автора, с его слов - 1% 8ядерного проца, то есть 8% одного ядра.
Все это на ДЕФОЛТНОЙ конфигурации ФБ (у Дениса кэш 8к страниц, но тут оно не помогает). И в целом, думаю, даже коню понятно, что конкретный update никакими параметрами конфига не ускорить.
И?

дождался результата на 2.5.6, FW=ON
 
Plan
PLAN (IMAGES NATURAL)

30000000 record(s) was(were) updated in IMAGES

------ Performance info ------
Prepare time = 3s 307ms
Execute time = 15m 43s 603ms
Current memory = 17 830 228
Max memory = 51 340 964
Memory buffers = 2 048
Reads from disk to cache = 1 472 655
Writes from cache to disk = 1 473 345
Fetches from cache = 491 311 540
чтение 11.5мб сек, запись 14.5мб сек. Загрузка 1 ядра около 60%. При этом очередь диска 1.5, хотя на ФБ 3.0 было 0.5-0.7.
Видно что и записи больше в 4 раза, и фетчей больше

15 минут вместо 10 минут на ФБ 3. Я удивлен. Первоначальные тесты 3.0 показывали, что она медленнее 2.5 на "однопользовательских" операциях.
Вот и оптимизация, кстати.
...
Рейтинг: 0 / 0
20.07.2017, 22:54
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492730
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гаджимурадов Рустам
Участник
kdv> конкретный update никакими параметрами конфига не ускорить.

Не факт, но не суть.

> И?

В чем вопрос? Кто-то просил утилиту для ускорения этого запроса?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.07.2017, 23:46
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39492755
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
kdv,

в 3.0.2 дополнительный кеш PP на таблицу вводили, который позволяет уменьшить количество фетчей.
Хотя не думаю что оно сильно повлияло
...
Рейтинг: 0 / 0
21.07.2017, 08:34
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494184
Arioch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Arioch
Участник
Симонов ДенисВ процессе выполнения одно ядро проца было загружено постоянно как минимум на 60-80%.

а вот тут бы в принципе интересно было бы посмотреть, каким процессом загружено

самим ФБ либо "ядром системы" (драйвера+антивирус)
...
Рейтинг: 0 / 0
24.07.2017, 19:54
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494210
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Arioch,

насколько я помню, чтение шло через систему, а запись - из ФБ. У меня дрвеб, голый антивир, без firewall, ему расширения баз отключены для скана.
...
Рейтинг: 0 / 0
24.07.2017, 20:29
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494217
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Еще несколько слов. Этот запрос не так важен. Он показан только как пример.

Я понимаю, что многопользовательские 'навороты' скорее всего достаточно сильно снижают общую производительность бд. И что убрать или отключить их невозможно.

Запросы вылизаны насколько возможно и известно. Не нравится то, что железо сервером fb прогружается слабо. И память, и жесткий, и процессор. Конфиги крутили, немного становится лучше, но не принципиально.

Пока что fb, в целом, устраивает но остаётся главным узким местом. Было бы хорошо какую-то другую бд найти, что бы она работала в пределах одного-двух локальных приложений без много-пользовательской обвзяки. Но уже не буду офтопить тут, что бы модераторам опять топик не чистить.
...
Рейтинг: 0 / 0
24.07.2017, 21:00
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494229
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
makhaonНе нравится то, что железо сервером fb прогружается слабо. И память, и жесткий, и процессор.
пока мы вроде выяснили, что у вас там или железо в 3-5 раз медленнее чем у меня и Дениса, или какой-то софт все замедляет.
Мне странно, почему этот момент игнорируется - можно же у себя повторить тест Дениса 20660684 , чтобы уж совсем эквивалентность проверить.

Насчет "процессор" - у нас с Денисом запрос грузит одно ядро на ~70%. Этого мало? Был бы ssd, наверное, было бы еще больше.
И вообще, почему СУБД ДОЛЖНА грузить процессор, я как-то не очень понимаю. Это же не тест перегрева проца, или нагрузки на память, или еще чего.

Потом, "слабо прогружается" - это домыслы. Фактами могли бы быть какие-то сравнения с другими СУБД, в аналогичных условиях, например, без конфигурирования вообще.
...
Рейтинг: 0 / 0
24.07.2017, 21:14
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494252
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
kdv,

авторпока мы вроде выяснили, что у вас там или железо в 3-5 раз медленнее чем у меня и Дениса, или какой-то софт все замедляет.

Если бы это на одном компьютере было и один раз :) На трёх минимум, разные операционки, разное железо. У меня как раз таки быстрее всех обновилось.

авторПотом, "слабо прогружается" - это домыслы. Фактами могли бы быть какие-то сравнения с другими СУБД, в аналогичных условиях, например, без конфигурирования вообще.

Фактов сравнения у меня, увы, на данный момент нет.
...
Рейтинг: 0 / 0
24.07.2017, 22:36
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494259
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
makhaon,

на каких разных компьютерах? У вас ежедневно обновляется десятки миллионов записей и везде блобы понатыканы? Ну тогда вам можно только посочувствовать, а архитектора сей системы расстрелять
...
Рейтинг: 0 / 0
24.07.2017, 22:50
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494269
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Симонов Денис,

На трех разных - тестировщика, саппорта и моём.

автора архитектора сей системы расстрелять

Экий ты скорый на расправу :)
...
Рейтинг: 0 / 0
24.07.2017, 23:32
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494270
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
kdvmakhaonНе нравится то, что железо сервером fb прогружается слабо. И память, и жесткий, и процессор.
пока мы вроде выяснили, что у вас там или железо в 3-5 раз медленнее чем у меня и Дениса, или какой-то софт все замедляет.
Мне странно, почему этот момент игнорируется - можно же у себя повторить тест Дениса 20660684 , чтобы уж совсем эквивалентность проверить.

Насчет "процессор" - у нас с Денисом запрос грузит одно ядро на ~70%. Этого мало? Был бы ssd, наверное, было бы еще больше.
И вообще, почему СУБД ДОЛЖНА грузить процессор, я как-то не очень понимаю. Это же не тест перегрева проца, или нагрузки на память, или еще чего.

Потом, "слабо прогружается" - это домыслы. Фактами могли бы быть какие-то сравнения с другими СУБД, в аналогичных условиях, например, без конфигурирования вообще.
Что то вы странно сравниваете - тест Дениса 20660684 с гораздо более простой структурой чем у ТС 20662458

И про производительность блобов тут уже всплывали заморочки. Но нет смысла рыть, если есть конкретный пример.
...
Рейтинг: 0 / 0
24.07.2017, 23:32
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494274
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Siemargl,

то что с блобами есть определённые проблемы всем давно известно. Но далеко не каждый день встречаешь описанный у ТС пример на практике. Ну не предназначены блобы для массового чтения (по 10 лямов).
Я понимаю задачу поменять тип поля в процессе рефакторинга. Ну да это долго, но можно и подождать. Но если это у него периодически встречается, то это заставляет задуматься.
...
Рейтинг: 0 / 0
24.07.2017, 23:43
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494287
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Симонов ДенисНу да это долго, но можно и подождать.

Причём в его конкретном случае select-insert + delete будет быстрее. Гораздо быстрее.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
25.07.2017, 00:17
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494360
nda
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
nda
Гость
makhaon,

вам сложно будет сделать базу только с одной этой табличкой и обфусцированными данными? Это сразу всё решит.
...
Рейтинг: 0 / 0
25.07.2017, 09:08
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494460
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Это, увы, мало что решит. Я показываю обстановку в реальных условиях.

авторПричём в его конкретном случае select-insert + delete будет быстрее. Гораздо быстрее.

Как сделать? ХП пробежать по всем записям?
...
Рейтинг: 0 / 0
25.07.2017, 11:32
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494471
fraks
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fraks
Участник
makhaonЭто, увы, мало что решит. Я показываю обстановку в реальных условиях.

Это решит то что покажет - дело в ваших реальных условиях или в сервере или в программе.
...
Рейтинг: 0 / 0
25.07.2017, 11:43
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494481
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
makhaon,

в новую таблицу правильной формы переливай, сказали же выше
...
Рейтинг: 0 / 0
25.07.2017, 12:03
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494671
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Евгений Килин
Участник
makhaonЕсли бы это на одном компьютере было и один раз :) На трёх минимум, разные операционки, разное железо. У меня как раз таки быстрее всех обновилось.
А точно на "разное железо" разные ССД стоят?
...
Рейтинг: 0 / 0
25.07.2017, 15:45
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494695
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
SiemarglЧто то вы странно сравниваете - тест Дениса 20660684 с гораздо более простой структурой чем у ТС 20662458
я предложил автору вопроса воспроизвести тест Дениса. Желания пока не видно.
makhaonФактов сравнения у меня, увы, на данный момент нет.
повторить тест Дениса очень легко. У меня на первый запуск ушло с пол-часа. Потом еще часа полтора-два на дополнительные проверки.
Даже если рабочий день занят - ткнул кнопку и пошел на обед, пришел, посмотрел результат.
...
Рейтинг: 0 / 0
25.07.2017, 16:07
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494701
чччД
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
чччД
Участник
"Запустил тест на ночь. К утру сдох ssd" - (c).
...
Рейтинг: 0 / 0
25.07.2017, 16:12
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494714
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
кстати, если кто хочет повторить тест 20660684 на чем угодно - hdd, ssd, FB 2.5, 3.0 - запустите и дайте результаты. Можно даже только с fw=on, без повторов.
...
Рейтинг: 0 / 0
25.07.2017, 16:32
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494729
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
kdv,

Сделаю тест.

авторА точно на "разное железо" разные ССД стоят?

ССД у меня только.

Новые данные на моём компьютере. Поднял базу из бакапа еще раз, 8 кб страница, железо и окружение то же:

Plan
PLAN (IMAGES NATURAL)

33838204 record(s) was(were) updated in IMAGES

------ Performance info ------
Prepare time = 31ms
Execute time = 1h 57m 53s 500ms
Current memory = 18 819 296
Max memory = 62 392 944
Memory buffers = 2 048
Reads from disk to cache = 1 344 775
Writes from cache to disk = 1 345 327
Fetches from cache = 583 073 369
...
Рейтинг: 0 / 0
25.07.2017, 16:49
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494739
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
makhaonНовые данные на моём компьютере.

Данные gstat снять до и после операции, конечно же, ты не догадался.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
25.07.2017, 16:58
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494746
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Dimitry Sibiryakov,

раз он "поднял базу из бэкапа", то по идее, никаких версий там нет, все чистенько. Только вот почему-то все в 2 раза дольше, чем было раньше. И загрузки проца хотя бы приблизительно тоже нет.
...
Рейтинг: 0 / 0
25.07.2017, 17:01
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494767
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
kdvраз он "поднял базу из бэкапа", то по идее, никаких версий там нет, все чистенько.

Не в версиях дело, а в fill ratio.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
25.07.2017, 17:14
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494829
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Евгений Килин
Участник
makhaonавторА точно на "разное железо" разные ССД стоят?

ССД у меня только.
У меня как раз таки быстрее всех обновилось.

Иными словами на других железяках железные винты и на сколько они медленнее оказались?

makhaonНовые данные на моём компьютере. Поднял базу из бакапа еще раз, 8 кб страница, железо и окружение то же:

Execute time = 1h 57m 53s 500ms
Reads from disk to cache = 1 344 775
Writes from cache to disk = 1 345 327

Хм, увеличил количество дисковых операций в два раза - увеличил и время выполнения в два раза.
...
Рейтинг: 0 / 0
25.07.2017, 18:43
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494835
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Евгений Килин
Участник
makhaon
Ноутбук Dell SPX 9550, чипсет Intel HM170, проц i7-6700HQ 2.60 GHz, память 16 гиг, производителя могу посмотреть, NVMe PM951 Samsung 256 Gb, Win 10 Pro 64.
Мб имеет смысл гуглануть что-то типа такого?
http://forum.notebookreview.com/threads/dell-xps-9350-9550-owners-poor-writing-performance-with-pm951-ssd.783605
...
Рейтинг: 0 / 0
25.07.2017, 18:54
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494884
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Евгений Килин,

Грубо померял фаром, скорость чтения порядка 1 гб/с, запись около 250 мб/с.
...
Рейтинг: 0 / 0
25.07.2017, 20:57
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494898
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Евгений Килин
Участник
makhaonЕвгений Килин,

Грубо померял фаром, скорость чтения порядка 1 гб/с, запись около 250 мб/с.
Ну грубо вроде правильно померял. Осталось теперь не грубо, а максимально близко к реальности:
http://forum.notebookreview.com/attachments/as-ssd-bench-nvme-pm951-nvme-5-22-2016-11-09-50-am-png.135467/
...
Рейтинг: 0 / 0
25.07.2017, 21:25
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494903
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
makhaon,

не сходится. По тестам у этого диска чистое и чтение и запись где-то 1.1-1.4 гиг в секунду. Это если он M2. Если копировать файл, то на одном диске по идее должно быть примерно 500 мб-сек чтение и 500мб-запись. Запись 250мб - это явный перекос.
Собственно, большинство результатов тестов (тестовых программ) - это ориентировочные данные. Как оно на самом деле, можно понять или IOmeter, или если тест делает многопоточное чтение/запись блоками 4-8к.
...
Рейтинг: 0 / 0
25.07.2017, 21:29
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494941
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Повторил запрос, опять почти 2 часа, кидаю данные статистики.
...
Рейтинг: 0 / 0
25.07.2017, 23:17
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494947
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
makhaon,

не надо "повторять запрос". повторите тест Дениса, хоть какая-то возможность сравнения появится.
Кроме того, по блобам в статистике до 3.0 ничего нет.
...
Рейтинг: 0 / 0
25.07.2017, 23:28
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494960
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
makhaonкидаю данные статистики.

Это после. А перед?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
26.07.2017, 00:19
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494962
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
kdvКроме того, по блобам в статистике до 3.0 ничего нет.

Пофиг. Считай на пальцах: 251 запись размера 141 байт на страницу. К одной первичной
странице у него прилагаются как минимум четыре страницы фрагментов. И апдейтом всё это
счастье перелопачивается на каждую запись. В морг.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
26.07.2017, 00:28
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494966
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry SibiryakovК одной первичной странице у него прилагаются как минимум четыре страницы фрагментовС какой стати ?
...
Рейтинг: 0 / 0
26.07.2017, 00:31
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495009
nda
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
nda
Гость
makhaon,

если вы выложите бд с этой табличкой, то все заинтересованные смогут протестировать у себя. И скорей всего сразу станет видно что и где не так. У вас же цель решить проблему?
...
Рейтинг: 0 / 0
26.07.2017, 08:02
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495039
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
nda,

Медицинская информация, увы. У себя не храню даже - сразу стираю, как только не нужно, что бы случайно не утекло. Пока что разбираюсь.
...
Рейтинг: 0 / 0
26.07.2017, 09:08
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495111
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
В общем нашел проблему. SSD всё таки был виноват.
После того, как удалось поставить драйвер на контроллер ssd, скорость существенно выросла (страница 8 кб):

Plan
PLAN (IMAGES NATURAL)

33838204 record(s) was(were) updated in IMAGES

------ Performance info ------
Prepare time = 0ms
Execute time = 7m 43s 500ms
Current memory = 18 819 008
Max memory = 62 407 424
Memory buffers = 2 048
Reads from disk to cache = 1 344 775
Writes from cache to disk = 1 345 329
Fetches from cache = 583 073 369

Запустил тест, по тестам была сильная просадка на записи/чтении 4 кб, как по ссылке.
Я так понимаю, что 64 кб страница решила бы проблему до какой-то степени. Сервер видимо активно мелкими кусками пишет на жесткий. Процессор стал занят на 17%.
...
Рейтинг: 0 / 0
26.07.2017, 11:20
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495113
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
makhaonЯ так понимаю, что 64 кб страница решила бы проблему до какой-то степени.
пока по разным тестам страница 32к хуже чем 16к. А 64к будет еще хуже.
...
Рейтинг: 0 / 0
26.07.2017, 11:22
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495118
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Евгений Килин
Участник
kdvкстати, если кто хочет повторить тест 20660684 на чем угодно - hdd, ssd, FB 2.5, 3.0 - запустите и дайте результаты. Можно даже только с fw=on, без повторов.
Firebird-2.5.8.27062-0_x64 SS Win, конфиг дефолтный, диск ССД, оперативки 16Г, размер страницы 8К, fw=on, база всегда холодная.
Plan
PLAN (IMAGES NATURAL)

30000000 record(s) was(were) updated in IMAGES

Execute time = 4m 31s 332ms
Memory buffers = 2 048
Reads from disk to cache = 1 472 655
Writes from cache to disk = 1 473 350
Fetches from cache = 491 311 526

Execute time = 4m 39s 694ms
Memory buffers = 50 000
Reads from disk to cache = 1 472 372
Writes from cache to disk = 1 472 560
Fetches from cache = 491 311 526

Execute time = 5m 56s 712ms
Memory buffers = 100 000
Reads from disk to cache = 1 472 349
Writes from cache to disk = 1 472 560
Fetches from cache = 491 311 526

На Memory buffers = 100 000 замедление перепроверил два раза.
Либо столько ставить нельзя, либо еще что-то где-то крутить надо :)
...
Рейтинг: 0 / 0
26.07.2017, 11:28
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495123
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Евгений КилинНа Memory buffers = 100 000 замедление перепроверил два раза.
Либо столько ставить нельзя, либо еще что-то где-то крутить надо :)FileSystemCacheThreshold
...
Рейтинг: 0 / 0
26.07.2017, 11:33
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495125
FireMops
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FireMops
Участник
makhaon,

Ну и где выполнение обещания?
...
Рейтинг: 0 / 0
26.07.2017, 11:35
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495134
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Евгений Килин
Участник
hvladFileSystemCacheThreshold
Точно! Про него то я и забыл :)
...
Рейтинг: 0 / 0
26.07.2017, 11:46
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495136
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
hvladFileSystemCacheThreshold
люди про него массово забывают, или не знают. Я сам напоролся, но одного раза хватило, чтобы исправить склероз :-)
Евгений КилинНа Memory buffers = 100 000 замедление перепроверил два раза.
Либо столько ставить нельзя, либо еще что-то где-то крутить надо
См. выше про параметр.
И на этой вырожденной задаче (как на бэкап-ресторе и т.п.) размер кэша ФБ влиять не будет. Польза будет только если другой запрос прочитает данные, попавшие в кэш. Смысл кэша именно в этом.
...
Рейтинг: 0 / 0
26.07.2017, 11:48
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495149
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladС какой стати ?
Арифметика: 32к с гаком данных не влазят на страницу в 8к. Вопрос: сколько надо страниц
чтобы они вместились?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
26.07.2017, 11:59
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495152
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Евгений Килин
Участник
kdvлюди про него массово забывают, или не знают. Я сам напоролся, но одного раза хватило, чтобы исправить склероз :-)

А я уже ходил давно по этим граблям и на боевом сервере 1М выставлен, но в данном случае склероз победил :)

kdvИ на этой вырожденной задаче (как на бэкап-ресторе и т.п.) размер кэша ФБ влиять не будет. Польза будет только если другой запрос прочитает данные, попавшие в кэш. Смысл кэша именно в этом.
Я в этом до конца не уверен, тк статистика у Дениса на 3-ке интересная:
Memory buffers = 8 192
Reads from disk to cache = 1 390 725
Writes from cache to disk = 433 079
...
Рейтинг: 0 / 0
26.07.2017, 11:59
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495195
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Евгений КилинЯ в этом до конца не уверен, тк статистика у Дениса на 3-ке интересная:
у меня она такая же, потому что мы проверяли на ФБ 3, и таблица и данные были чуть другими, чем в оригинале.

Насчет "не уверен" - конкретный update читает и пишет записи по очереди. Повторного чтения страниц там не возникает (кроме обработки записей с одной страницы). Так что разницы с дефолтным кэшем в 2048 страниц не будет.
Кроме того,
Memory buffers = 2 048
Reads from disk to cache = 1 472 655

Memory buffers = 50 000
Reads from disk to cache = 1 472 372

Memory buffers = 100 000
Reads from disk to cache = 1 472 349

никакой существенной разницы тут вообще нет, особенно между 2048 и 50000. Что могло попасть в кэш и повторно использоваться - так это pointer pages, которые были считаны при prepare.
Чтобы уж совсем убедиться - рекомендую gstat -r, и посмотреть на количество страниц таблицы. В данном случае оно как раз будет почти равно Reads from disk to cache.
...
Рейтинг: 0 / 0
26.07.2017, 12:23
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495207
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry SibiryakovhvladС какой стати ?
Арифметика: 32к с гаком данных не влазят на страницу в 8к. Вопрос: сколько надо страниц
чтобы они вместились?Сначала нужно почитать код на предмет собственно фрагментации - что это такое и когда возникает.
PS Откуда ты взял размер записи 32К ?
...
Рейтинг: 0 / 0
26.07.2017, 12:36
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495232
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
hvlad,

Сибиряков какие-то странные вычисления делает. У автора размер записи средний 141 байт, и он делает update - переносит данные из блобов в
IMAGE_PATH_TEMP VARCHAR(2000)
По идее, на страницу 8к влезает 58 "старых" записей, а в приведенной статистике 123.txt там влазит 25 записей на страницу. Но в этой же статистике
Average version length: 9.00, total versions: 32405118, max versions: 1
то есть, статистика снята после update. И 25 записей на страницу говорит о том, что фрагментов как бы нет...
...
Рейтинг: 0 / 0
26.07.2017, 13:01
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495243
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
hvladPS Откуда ты взял размер записи 32К ?

Задачка по арифметике для начальной школы:
Дано: 33838204 записей лежат на 1343507 странице. Вопрос: сколько записей приходится в
среднем на страницу?
Дано: средняя длина записи 141 байт. Вопрос: каков общий размер записей, лежащих на одной
странице?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
26.07.2017, 13:10
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495249
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Dimitry Sibiryakov сколько записей приходится в среднем на страницу?
25.18647391

при странице 8192 байт получается средний размер записи 325.253945.

Для хранения 33млн записей по 141 байт надо 582420 страниц (со 100% заполнением), т.е. в 3 раза меньше, чем получилось после update.
...
Рейтинг: 0 / 0
26.07.2017, 13:17
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495251
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry Sibiryakov,

ты опять говоришь о том, в чём не разбираешься, и лезешь в бутылку.
...
Рейтинг: 0 / 0
26.07.2017, 13:22
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495258
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_shats
Участник
kdv,

Люблю всякие тесты :)
На ноутбуке i7-2630QM / 16GB DDR3-1333 / SSD SATA 3G (Intel S320), Firebird 3.0.2 x64 "искаропки", каталог с данными сжат средствами NTFS :
 

EXECUTE BLOCK
AS
DECLARE VARIABLE I INTEGER = 30000000;
BEGIN
WHILE (I > 0) DO
BEGIN
I = I - 1;
INSERT INTO IMAGES(IMAGE_PATH)
VALUES(RPAD('A', 249, 'A') || :I);
END
END

30000000 record(s) was(were) inserted into IMAGES

------ Performance info ------
Prepare time = 0ms
Execute time = 37m 31s 531ms
Current memory = 6 897 696
Max memory = 18 503 296
Memory buffers = 256
Reads from disk to cache = 410
Writes from cache to disk = 739 726
Fetches from cache = 272 795 676

update images set image_path_temp = image_path

Plan
PLAN (IMAGES NATURAL)

30000000 record(s) was(were) updated in IMAGES

------ Performance info ------
Prepare time = 47ms
Execute time = 1h 21m 45s 436ms
Current memory = 15 312 816
Max memory = 1 229 173 104
Memory buffers = 256
Reads from disk to cache = 671 658
Writes from cache to disk = 135 682
Fetches from cache = 210 543 154


Загрузка процессорных ядер от слова никакая, я, собственно, запустил - и не замечал работы этой дрянья.
И полностью согласен с написанным в этой теме - одному потоку (от одной сессии) без предварительного "прогрева" кэша (и сам кэш нужен большой) ничего не поможет, нужно как-то иначе это делать. Расколбасить частями по нескольким сессиям (по числу доступных процессорных ядер), например.
...
Рейтинг: 0 / 0
26.07.2017, 13:30
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495261
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
kdv25.18647391

Чорт. Я где-то ошибся на порядок при вбивании чисел в калькулятор.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
26.07.2017, 13:33
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495266
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
a_shatsЛюблю всякие тесты :)
размер страницы 8к, товарищ! :-)
но тест показательный, видно, что SSD или не фонтан, или тоже "драйвера". Полтора часа на ssd вместо 10 минут на HDD SATA 3 - это, конечно, апофеоз.
...
Рейтинг: 0 / 0
26.07.2017, 13:40
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495269
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Dimitry SibiryakovЯ где-то ошибся на порядок при вбивании чисел в калькулятор.
ну в чем-то ты все равно прав. Страниц-то в 3 раза больше, "чем могло". Конечно, еще надо реальное заполнение учесть.
...
Рейтинг: 0 / 0
26.07.2017, 13:42
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495274
alekcvp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alekcvp
Участник
kdv SSD или не фонтан, или тоже "драйвера".
NTFS сжатие же. Откуда там скорость, если он каждое обращение к диску пакует-распаковывает.
...
Рейтинг: 0 / 0
26.07.2017, 13:48
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495276
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_shats
Участник
kdv,

Так тут же ругались на 16К :) Я и сделал меньше. Могу перетестить с 16К, не вопрос.
Собственно, основное подозрение на сжатие NTFS - оно, бывает, вполне себе беспочвенно тормозит.
И его уберу :)
...
Рейтинг: 0 / 0
26.07.2017, 13:49
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495281
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Евгений Килин
Участник
kdvНасчет "не уверен" - конкретный update читает и пишет записи по очереди. Повторного чтения страниц там не возникает (кроме обработки записей с одной страницы). Так что разницы с дефолтным кэшем в 2048 страниц не будет.
Ну есть к примеру еще индексы и честно я попросту не знаю как идет работа с ними на физическом уровне при апдейтах.
И если в тесте всего один индекс, то у ТС судя по статистике их вроде как чуть больше и в тч присутствует один из моих "любимых":
Index RDB$FOREIGN13 (3)
Depth: 3, leaf buckets: 24523, nodes: 33838204
Average data length: 0.00, total dup: 33838202, max dup: 33836508
kdvникакой существенной разницы тут вообще нет, особенно между 2048 и 50000. Что могло попасть в кэш и повторно использоваться - так это pointer pages, которые были считаны при prepare.
Чтобы уж совсем убедиться - рекомендую gstat -r, и посмотреть на количество страниц таблицы. В данном случае оно как раз будет почти равно Reads from disk to cache.
Я с твоего позволения все в лоб проверил и да ты прав никакой существенной разницы нет:
Firebird-3.0.3.32794-0_x64, FileSystemCacheThreshold = 1M

Memory buffers = 2 048
Reads from disk to cache = 1 354 088
Writes from cache to disk = 392 254

Memory buffers = 50 000
Reads from disk to cache = 1 353 807
Writes from cache to disk = 379 380

Memory buffers = 100 000
Reads from disk to cache = 1 353 777
Writes from cache to disk = 366 333
...
Рейтинг: 0 / 0
26.07.2017, 13:51
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495284
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
a_shatsкаталог с данными сжат средствами NTFSOMG
...
Рейтинг: 0 / 0
26.07.2017, 13:54
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495285
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
a_shats,

у тебя классик или суперклассик?
потому что для супера Memory buffers = 256 это не из "коробки"
...
Рейтинг: 0 / 0
26.07.2017, 13:56
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495287
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
kdvСтраниц-то в 3 раза больше, "чем могло". Конечно, еще надо реальное заполнение учесть.Ну да - бекверсии, заголовки записей, записи о блобах - этого всего просто не существует.
 

PS Зачем об этом думать - найдётся кто-то, кто мне всё расскажет (ц)
...
Рейтинг: 0 / 0
26.07.2017, 13:57
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495292
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Евгений Килинстатистика у Дениса на 3-ке интересная:
Memory buffers = 8 192
Reads from disk to cache = 1 390 725
Writes from cache to disk = 433 079Я думаю, что gstat показал бы около 420000 - 430000 страниц, занятых первичными версиями.
Остальное - блобы, много (их объём тоже можно увидеть), и немножко бекверсий.
Т.к. блобы не перезаписываются этим апдейтом, то и страницы, где (только) они лежат, не трогаются
...
Рейтинг: 0 / 0
26.07.2017, 14:02
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495294
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Евгений Килин,

да блин. Ну посмотрите сколько чтений с диска сделается.

Memory buffers = 100 000
Reads from disk to cache = 1 353 777

Не увидите вы толку от увеличения кеша пока не выставите его больше этой величины. Т.е. кеш должен быть 1.5M страниц. А чтобы файловый кеш не отрубился FileSystemCacheThreshold ещё больше ставить надо. Но это как по мне уже перебор
...
Рейтинг: 0 / 0
26.07.2017, 14:03
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495297
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
a_shatsТак тут же ругались на 16К :) Я и сделал меньше. Могу перетестить с 16К, не вопрос.
секундочку.
в нашем с Денисом тесте, на 8к
Reads from disk to cache = 1 390 725
Reads from disk to cache = 1 354 088

тут в тесте
Reads from disk to cache = 671 658

то есть, при той же структуре и количестве записей явно страница 16к, а не 8к.
...
Рейтинг: 0 / 0
26.07.2017, 14:07
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495298
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Симонов ДенисНе увидите вы толку от увеличения кеша пока не выставите его больше этой величиныВообще говоря, это не совсем так.
В данном тесте - это совсем не так, ибо повторных чтений практически нет.
В общем случае - всё зависит от наличия и кол-ва повторных чтений страниц.
Просто помни, что reads не показывает кол-во уникальных прочитанных страниц.
...
Рейтинг: 0 / 0
26.07.2017, 14:07
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495301
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Симонов ДенисНе увидите вы толку от увеличения кеша пока не выставите его
толку от кэша не будет пока не будет повторных чтений :-)
...
Рейтинг: 0 / 0
26.07.2017, 14:10
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495306
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
hvlad,

ну значит его и вовсе бесполезно увеличивать дальше, если только мы не будем выполнять этот апдейт несколько раз подряд
...
Рейтинг: 0 / 0
26.07.2017, 14:12
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495331
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Евгений Килин
Участник
hvladЯ думаю, что gstat показал бы около 420000 - 430000 страниц, занятых первичными версиями.
Остальное - блобы, много (их объём тоже можно увидеть), и немножко бекверсий.
Т.к. блобы не перезаписываются этим апдейтом, то и страницы, где (только) они лежат, не трогаются
После апдейта:

IMAGES (128)
Primary pointer page: 180, Index root page: 181
Total formats: 1, used formats: 1
Average record length: 31.78, total records: 30000000
Average version length: 17.00, total versions: 27129644, max versions: 1
Average fragment length: 11.61, total fragments: 15860970, max fragments: 1
Average unpacked length: 306.00, compression ratio: 9.63
Pointer pages: 921, data page slots: 1502504
Data pages: 1502504, average fill: 95%
Primary pages: 241910, secondary pages: 1260594, swept pages: 23116
Empty pages: 6, full pages: 1468260
Blobs: 30000000, total length: 7698888890, blob pages: 0
Level 0: 30000000, Level 1: 0, Level 2: 0
Fill distribution:
0 - 19% = 7
20 - 39% = 0
40 - 59% = 25973
60 - 79% = 23116
80 - 99% = 1453408
...
Рейтинг: 0 / 0
26.07.2017, 14:47
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495343
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
FireMopsmakhaon,

Ну и где выполнение обещания?

Основная причина тормозов обнаружена. Есть ли смысл выполнять синтетические тесты?
...
Рейтинг: 0 / 0
26.07.2017, 15:03
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495353
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rdb_dev
Участник
makhaonОсновная причина тормозов обнаружена.И в чем же заключается основная причина тормозов?
...
Рейтинг: 0 / 0
26.07.2017, 15:12
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495354
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Евгений Килин
Участник
makhaonОсновная причина тормозов обнаружена. Есть ли смысл выполнять синтетические тесты?
Ну выполнять синтетические тесты наверное нет смысла, но изначально было сказано:
"По поводу производительности, что бы далеко не ходить, и не быть голословным...".
Соответственно любопытно услышать подробности про "Основная причина тормозов" :)
...
Рейтинг: 0 / 0
26.07.2017, 15:12
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495360
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Евгений Килин,

20675748
...
Рейтинг: 0 / 0
26.07.2017, 15:14
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495364
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Евгений Килин
Участник
Симонов Денис,

Тьфу, пропустил это сообщение :( Спасибо!
...
Рейтинг: 0 / 0
26.07.2017, 15:21
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495371
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_shats
Участник
kdv,

Есть, однако, забавное насчет кэша.
Увеличил DefaultDbCachePages до 8192, MaxUnflushedWrites до 1000 - и производительность даже при первичном заполнении таблицы вдруг подросла вдвое: было 6-7 МБайт/с 500-600 IOps, стало 20 МБайт/с 1300+ IOps.
То бишь "искаропки" FB в такое не может, всё ж руками крутить надо...
Я не хочу сказать, что это плохо - просто под конкретные нагрузки нужны конкретные настройки, только и всего.

Возможно, имело бы смысл напилить дюжину готовых вариаций firebird.conf и какой-нибудь твикер с парой ползунков ЗДЕЛОТЬ ЗБС дать Firebird столько-то ОЗУ и столько-то процессорных ядер :)
...
Рейтинг: 0 / 0
26.07.2017, 15:33
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495373
FireMops
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
FireMops
Участник
a_shatsВозможно, имело бы смысл напилить дюжину готовых вариаций firebird.conf и какой-нибудь твикер с парой ползунков ЗДЕЛОТЬ ЗБС дать Firebird столько-то ОЗУ и столько-то процессорных ядер :)Щаз вас тухлыми помидорами закидают.
...
Рейтинг: 0 / 0
26.07.2017, 15:37
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495381
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
a_shatsMaxUnflushedWrites до 1000

Это случай когда крутим незнамо что. Ты бы хоть коммент к этому параметру прочитал

firebird.confHow often the pages are flushed on disk
(for databases with ForcedWrites=Off only)

Из коробки говоришь? Ты ничего насчёт ForcedWrites=Off не говорил, отсюда вывод что ты крутишь то что не действует.
...
Рейтинг: 0 / 0
26.07.2017, 15:45
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495384
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
a_shatsУвеличил DefaultDbCachePages до 8192, MaxUnflushedWrites до 1000
1. на тестах никогда не крути больше одного параметра зараз
2. с кэшем вы уже замучили, честное слово. В этом тесте практически нет повторных чтений, поэтому что 1024 страницы, что миллион - по барабану.
a_shatsимело бы смысл напилить дюжину готовых вариаций firebird.conf
уже давно. https://ib-aid.com/en/optimized-firebird-configuration/
a_shats дать Firebird столько-то ОЗУ и столько-то процессорных ядер
насчет ядер - редко кто оставляет пару ядер из 12-ти или 24х для каких-то специальных задач. Так что выставить это руками не проблема. А насчет ОЗУ - слишком много факторов: размер базы, количество пользователей, чего они делают, размер сортировок, и т.д. Процесс тут такой - поменял-протестил-поменял-протестил и т.д. Причем "протестил" - на реальном работающем сервере.
Так что "ползунок" тут не поможет. Все эти параметры и так в голове должны быть, и сохранены где-то как замеры.
...
Рейтинг: 0 / 0
26.07.2017, 15:50
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495398
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rdb_dev
Участник
a_shatsВозможно, имело бы смысл напилить дюжину готовых вариаций firebird.conf и какой-нибудь твикер с парой ползунков ЗДЕЛОТЬ ЗБС дать Firebird столько-то ОЗУ и столько-то процессорных ядер :)Таки в чем проблема? Берешь Windows Server, развёртываешь Windows System Resource Manager и получаешь все свои хотелки.
...
Рейтинг: 0 / 0
26.07.2017, 16:08
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495404
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_shats
Участник
Симонов Денис,

Про ForcedWrites - понял, окай.

kdv
В задаче ТС действительно содержимому кэша взяться неоткуда. А в тесте, который приведен - при заполнении базы неужто ничего в кэш не попадет ? Если не рестартовать FB между заполнением и апдейтом, ессно.

За тынц спс, по FB сильно отстал от жизни, сильно редко его вижу в эксплуатации.
kdvПроцесс тут такой - поменял-протестил-поменял-протестил и т.д.
Я знаю (с).
Но это сильно много времени ест, а пуск "хоть-как-нибудь-стартанем-настроим-потом" приводит к падению сервиса посреди рабочего дня обычно :)
...
Рейтинг: 0 / 0
26.07.2017, 16:15
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495405
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_shats
Участник
a_shats,

А, по ядрам забыл.
Бывает разумно отвязать сервер БД от нулевого ядра, чтобы ОС было где и чем жить во время, когда СУБД упорота каким-нибудь зверским запросом.
...
Рейтинг: 0 / 0
26.07.2017, 16:17
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495407
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_shats
Участник
rdb_dev,

Это немного другая история.
...
Рейтинг: 0 / 0
26.07.2017, 16:18
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495409
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
a_shats А в тесте, который приведен - при заполнении базы неужто ничего в кэш не попадет ? Если не рестартовать FB между заполнением и апдейтом, ессно.
в наших тестах между заполнением и апдейтом - дисконнект, так что речь про кэш может идти только в отношении файловой системы.
a_shatsНо это сильно много времени ест, а пуск "хоть-как-нибудь-стартанем-настроим-потом" приводит к падению сервиса посреди рабочего дня обычно
с чего бы серверу падать с дефолтными настройками? Что-то "упасть" может разве только если процесс фб 32битный, и памяти пережрет. А в остальных случаях - или просто медленнее будет, или у ОС память кончится.

И, исходя из того, что мало кто читает вот это
http://www.ibase.ru/files/firebird/Firebird_Hardware_Guide_2015_rus.pdf
а так бы было понятно, что дофига настроек оттуда, откуда их "программа" знать никак не может.
...
Рейтинг: 0 / 0
26.07.2017, 16:22
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495410
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_shats
Участник
kdv,

Сорри за мультипостинг - оно наконец доехало:
 

EXECUTE BLOCK
AS
DECLARE VARIABLE I INTEGER = 30000000;
BEGIN
WHILE (I > 0) DO
BEGIN
I = I - 1;
INSERT INTO IMAGES(IMAGE_PATH)
VALUES(RPAD('A', 249, 'A') || :I);
END
END

30000000 record(s) was(were) inserted into IMAGES

------ Performance info ------
Prepare time = 0ms
Execute time = 26m 11s 367ms
Current memory = 143 986 040
Max memory = 155 591 640
Memory buffers = 8 192
Reads from disk to cache = 3
Writes from cache to disk = 731 623
Fetches from cache = 272 831 184


update images set image_path_temp = image_path

Plan
PLAN (IMAGES NATURAL)

30000000 record(s) was(were) updated in IMAGES

------ Performance info ------
Prepare time = 0ms
Execute time = 29m 40s 533ms
Current memory = 146 625 296
Max memory = 158 234 936
Memory buffers = 8 192
Reads from disk to cache = 671 730
Writes from cache to disk = 208 182
Fetches from cache = 351 172 183


Кэш таки да :)
...
Рейтинг: 0 / 0
26.07.2017, 16:22
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495412
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_shats
Участник
kdv,
авторс чего бы серверу падать с дефолтными настройками?
Упоротый запрос, Connection time-out, все дела...
авторИ, исходя из того, что мало кто читает вот это
Там ужасы местами :(
...
Рейтинг: 0 / 0
26.07.2017, 16:25
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495422
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
a_shatsТам ужасы местами :(
ну например? если страшно, можно мне на email.
a_shatsКэш таки да :)
я не спорю, что кэш помогает при ПОВТОРНЫХ чтениях. Суть того теста-то не в скорости заливки плюс скорость апдейта, а в голом апдейте. А голый апдейт по чтению это то же самое что бэкап, что select count, и т.д. И если ДО этих операций чтения данных не было, то эффекта от кэша любой размерности НЕ будет.
Я вообще не понимаю, где тут спорить. Кстати, точно так же кэш не влияет на заливку данных (insert).
...
Рейтинг: 0 / 0
26.07.2017, 16:37
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495427
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_shats
Участник
kdv,
авторну например?
Про SSD и RAID10 например.
авторСуть того теста-то не в скорости заливки плюс скорость апдейта, а в голом апдейте.
C этим я даже и не спорил :)
Изначально предлагал побить апдейт на части и стартовать их одновременно в разных сессиях.
...
Рейтинг: 0 / 0
26.07.2017, 16:44
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495432
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
a_shatsИзначально предлагал побить апдейт на части и стартовать их одновременно в разных сессиях.

сильно сомневаюсь что поможет. Но ты можешь провести такой тест
...
Рейтинг: 0 / 0
26.07.2017, 16:49
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495437
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
a_shatsПро SSD и RAID10 например.
ничего там страшного не написано, и даже все верно. Но согласен, что надо обновить.
...
Рейтинг: 0 / 0
26.07.2017, 16:58
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495452
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_shats
Участник
Симонов Денис,

Могу, кидайте скриптец/батник, сделаю.
...
Рейтинг: 0 / 0
26.07.2017, 17:15
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39495458
a_shats
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_shats
Участник
kdv,

Ах да, отписался на мыло.
...
Рейтинг: 0 / 0
26.07.2017, 17:22
| Ответить | Цитировать | Написать  
135 сообщений из 135, показаны все 6 страниц
  все  
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Производительность update FB на SSD
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=40&tid=1561483]:
 0ms
get settings:
 9ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 152ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 130ms
get tp. blocked users:
 1ms
others: 288ms
total:  615ms
созд. / загр.: 615ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]