ReSQL.ru
     
powered by simpleCommunicator - 2.0.52     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Производительность update FB на SSD
25 сообщений из 135, страница 3 из 6
  3  все
Производительность update FB на SSD
    #39494229
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
makhaonНе нравится то, что железо сервером fb прогружается слабо. И память, и жесткий, и процессор.
пока мы вроде выяснили, что у вас там или железо в 3-5 раз медленнее чем у меня и Дениса, или какой-то софт все замедляет.
Мне странно, почему этот момент игнорируется - можно же у себя повторить тест Дениса 20660684 , чтобы уж совсем эквивалентность проверить.

Насчет "процессор" - у нас с Денисом запрос грузит одно ядро на ~70%. Этого мало? Был бы ssd, наверное, было бы еще больше.
И вообще, почему СУБД ДОЛЖНА грузить процессор, я как-то не очень понимаю. Это же не тест перегрева проца, или нагрузки на память, или еще чего.

Потом, "слабо прогружается" - это домыслы. Фактами могли бы быть какие-то сравнения с другими СУБД, в аналогичных условиях, например, без конфигурирования вообще.
...
Рейтинг: 0 / 0
24.07.2017, 21:14
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494252
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
kdv,

авторпока мы вроде выяснили, что у вас там или железо в 3-5 раз медленнее чем у меня и Дениса, или какой-то софт все замедляет.

Если бы это на одном компьютере было и один раз :) На трёх минимум, разные операционки, разное железо. У меня как раз таки быстрее всех обновилось.

авторПотом, "слабо прогружается" - это домыслы. Фактами могли бы быть какие-то сравнения с другими СУБД, в аналогичных условиях, например, без конфигурирования вообще.

Фактов сравнения у меня, увы, на данный момент нет.
...
Рейтинг: 0 / 0
24.07.2017, 22:36
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494259
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
makhaon,

на каких разных компьютерах? У вас ежедневно обновляется десятки миллионов записей и везде блобы понатыканы? Ну тогда вам можно только посочувствовать, а архитектора сей системы расстрелять
...
Рейтинг: 0 / 0
24.07.2017, 22:50
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494269
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Симонов Денис,

На трех разных - тестировщика, саппорта и моём.

автора архитектора сей системы расстрелять

Экий ты скорый на расправу :)
...
Рейтинг: 0 / 0
24.07.2017, 23:32
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494270
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
kdvmakhaonНе нравится то, что железо сервером fb прогружается слабо. И память, и жесткий, и процессор.
пока мы вроде выяснили, что у вас там или железо в 3-5 раз медленнее чем у меня и Дениса, или какой-то софт все замедляет.
Мне странно, почему этот момент игнорируется - можно же у себя повторить тест Дениса 20660684 , чтобы уж совсем эквивалентность проверить.

Насчет "процессор" - у нас с Денисом запрос грузит одно ядро на ~70%. Этого мало? Был бы ssd, наверное, было бы еще больше.
И вообще, почему СУБД ДОЛЖНА грузить процессор, я как-то не очень понимаю. Это же не тест перегрева проца, или нагрузки на память, или еще чего.

Потом, "слабо прогружается" - это домыслы. Фактами могли бы быть какие-то сравнения с другими СУБД, в аналогичных условиях, например, без конфигурирования вообще.
Что то вы странно сравниваете - тест Дениса 20660684 с гораздо более простой структурой чем у ТС 20662458

И про производительность блобов тут уже всплывали заморочки. Но нет смысла рыть, если есть конкретный пример.
...
Рейтинг: 0 / 0
24.07.2017, 23:32
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494274
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Siemargl,

то что с блобами есть определённые проблемы всем давно известно. Но далеко не каждый день встречаешь описанный у ТС пример на практике. Ну не предназначены блобы для массового чтения (по 10 лямов).
Я понимаю задачу поменять тип поля в процессе рефакторинга. Ну да это долго, но можно и подождать. Но если это у него периодически встречается, то это заставляет задуматься.
...
Рейтинг: 0 / 0
24.07.2017, 23:43
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494287
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Симонов ДенисНу да это долго, но можно и подождать.

Причём в его конкретном случае select-insert + delete будет быстрее. Гораздо быстрее.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
25.07.2017, 00:17
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494360
nda
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
nda
Гость
makhaon,

вам сложно будет сделать базу только с одной этой табличкой и обфусцированными данными? Это сразу всё решит.
...
Рейтинг: 0 / 0
25.07.2017, 09:08
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494460
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Это, увы, мало что решит. Я показываю обстановку в реальных условиях.

авторПричём в его конкретном случае select-insert + delete будет быстрее. Гораздо быстрее.

Как сделать? ХП пробежать по всем записям?
...
Рейтинг: 0 / 0
25.07.2017, 11:32
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494471
fraks
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fraks
Участник
makhaonЭто, увы, мало что решит. Я показываю обстановку в реальных условиях.

Это решит то что покажет - дело в ваших реальных условиях или в сервере или в программе.
...
Рейтинг: 0 / 0
25.07.2017, 11:43
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494481
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
makhaon,

в новую таблицу правильной формы переливай, сказали же выше
...
Рейтинг: 0 / 0
25.07.2017, 12:03
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494671
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Евгений Килин
Участник
makhaonЕсли бы это на одном компьютере было и один раз :) На трёх минимум, разные операционки, разное железо. У меня как раз таки быстрее всех обновилось.
А точно на "разное железо" разные ССД стоят?
...
Рейтинг: 0 / 0
25.07.2017, 15:45
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494695
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
SiemarglЧто то вы странно сравниваете - тест Дениса 20660684 с гораздо более простой структурой чем у ТС 20662458
я предложил автору вопроса воспроизвести тест Дениса. Желания пока не видно.
makhaonФактов сравнения у меня, увы, на данный момент нет.
повторить тест Дениса очень легко. У меня на первый запуск ушло с пол-часа. Потом еще часа полтора-два на дополнительные проверки.
Даже если рабочий день занят - ткнул кнопку и пошел на обед, пришел, посмотрел результат.
...
Рейтинг: 0 / 0
25.07.2017, 16:07
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494701
чччД
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
чччД
Участник
"Запустил тест на ночь. К утру сдох ssd" - (c).
...
Рейтинг: 0 / 0
25.07.2017, 16:12
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494714
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
кстати, если кто хочет повторить тест 20660684 на чем угодно - hdd, ssd, FB 2.5, 3.0 - запустите и дайте результаты. Можно даже только с fw=on, без повторов.
...
Рейтинг: 0 / 0
25.07.2017, 16:32
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494729
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
kdv,

Сделаю тест.

авторА точно на "разное железо" разные ССД стоят?

ССД у меня только.

Новые данные на моём компьютере. Поднял базу из бакапа еще раз, 8 кб страница, железо и окружение то же:

Plan
PLAN (IMAGES NATURAL)

33838204 record(s) was(were) updated in IMAGES

------ Performance info ------
Prepare time = 31ms
Execute time = 1h 57m 53s 500ms
Current memory = 18 819 296
Max memory = 62 392 944
Memory buffers = 2 048
Reads from disk to cache = 1 344 775
Writes from cache to disk = 1 345 327
Fetches from cache = 583 073 369
...
Рейтинг: 0 / 0
25.07.2017, 16:49
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494739
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
makhaonНовые данные на моём компьютере.

Данные gstat снять до и после операции, конечно же, ты не догадался.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
25.07.2017, 16:58
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494746
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Dimitry Sibiryakov,

раз он "поднял базу из бэкапа", то по идее, никаких версий там нет, все чистенько. Только вот почему-то все в 2 раза дольше, чем было раньше. И загрузки проца хотя бы приблизительно тоже нет.
...
Рейтинг: 0 / 0
25.07.2017, 17:01
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494767
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
kdvраз он "поднял базу из бэкапа", то по идее, никаких версий там нет, все чистенько.

Не в версиях дело, а в fill ratio.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
25.07.2017, 17:14
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494829
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Евгений Килин
Участник
makhaonавторА точно на "разное железо" разные ССД стоят?

ССД у меня только.
У меня как раз таки быстрее всех обновилось.

Иными словами на других железяках железные винты и на сколько они медленнее оказались?

makhaonНовые данные на моём компьютере. Поднял базу из бакапа еще раз, 8 кб страница, железо и окружение то же:

Execute time = 1h 57m 53s 500ms
Reads from disk to cache = 1 344 775
Writes from cache to disk = 1 345 327

Хм, увеличил количество дисковых операций в два раза - увеличил и время выполнения в два раза.
...
Рейтинг: 0 / 0
25.07.2017, 18:43
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494835
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Евгений Килин
Участник
makhaon
Ноутбук Dell SPX 9550, чипсет Intel HM170, проц i7-6700HQ 2.60 GHz, память 16 гиг, производителя могу посмотреть, NVMe PM951 Samsung 256 Gb, Win 10 Pro 64.
Мб имеет смысл гуглануть что-то типа такого?
http://forum.notebookreview.com/threads/dell-xps-9350-9550-owners-poor-writing-performance-with-pm951-ssd.783605
...
Рейтинг: 0 / 0
25.07.2017, 18:54
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494884
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Евгений Килин,

Грубо померял фаром, скорость чтения порядка 1 гб/с, запись около 250 мб/с.
...
Рейтинг: 0 / 0
25.07.2017, 20:57
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494898
Евгений Килин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Евгений Килин
Участник
makhaonЕвгений Килин,

Грубо померял фаром, скорость чтения порядка 1 гб/с, запись около 250 мб/с.
Ну грубо вроде правильно померял. Осталось теперь не грубо, а максимально близко к реальности:
http://forum.notebookreview.com/attachments/as-ssd-bench-nvme-pm951-nvme-5-22-2016-11-09-50-am-png.135467/
...
Рейтинг: 0 / 0
25.07.2017, 21:25
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494903
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
makhaon,

не сходится. По тестам у этого диска чистое и чтение и запись где-то 1.1-1.4 гиг в секунду. Это если он M2. Если копировать файл, то на одном диске по идее должно быть примерно 500 мб-сек чтение и 500мб-запись. Запись 250мб - это явный перекос.
Собственно, большинство результатов тестов (тестовых программ) - это ориентировочные данные. Как оно на самом деле, можно понять или IOmeter, или если тест делает многопоточное чтение/запись блоками 4-8к.
...
Рейтинг: 0 / 0
25.07.2017, 21:29
| Ответить | Цитировать | Написать  
Производительность update FB на SSD
    #39494941
Фотография makhaon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
makhaon
Участник
Повторил запрос, опять почти 2 часа, кидаю данные статистики.
...
Рейтинг: 0 / 0
25.07.2017, 23:17
| Ответить | Цитировать | Написать  
25 сообщений из 135, страница 3 из 6
  3  все
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Производительность update FB на SSD
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=40&msg=39494829&tid=1561483]:
 0ms
get settings:
 9ms
get forum list:
 11ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 157ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 57ms
get tp. blocked users:
 1ms
others: 294ms
total:  545ms
созд. / загр.: 545ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]