powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Map
Форумы / Hardware [игнор отключен] [закрыт для гостей] / Nvme медленнее ssd в работе с SQL базой
31 сообщений из 31, показаны все 2 страниц
Nvme медленнее ssd в работе с SQL базой
    #40073045
andreysneg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Есть 4 диска

1. Nvme Samsung 970 evo. . Тут стоит windows. Купил 1 год назад. 3500 чтение. 2500 запись. 300K iops
2. Crucical - 7 лет старый. 95k iops
3. WD blue - 1 год. 95k iops
4. Kinkgstone - только купил. 95k iops

Сервер локальный:

Windows
Openserver
php 7.4
mariadb 10.4

Тест проводился на локалке в wordpress плагином тестом CPU perfomance.

Главный показатель Query test (200 times) - Создает базу и делает тесты INSERT, SELECT, UPDATE, DELETE 200 раз.

Результаты ( чем больше тем лучше ):

1. Nvme - 280
2. Crucical старый - 70
3. WD blue - 330
4. Kingston - 550

Почему 1 Nvme медленнее 3 и 4 ????
По всем тестам в интернете и этот samsung 970 evo в 2-3 раза быстрее ssd.

Во всём остальном nvme - намного быстрее других. и простые тесты диска и загрузка windows и программа по скорости лучше ssd. А вот именно работа с базой - медленнее. WHY ???

Есть небольшой предположение что там windows немного напрягает. но это мелочь.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40073049
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
какая именно СУБД?
какая именно ОСь?
как размечен диск Nvme?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40073057
andreysneg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
какая именно СУБД?

Maria db 10.4 . Также пробовал mariadb 10.2 , 10.3 , mysql 5.7, mysql 8.0 . Результаты разные, но разница осталась также. Nvme медленнее 3 и 4 ss диска.



какая именно ОСь?

Win10


как размечен диск Nvme?

Пробовал
1) 1 раздел на весь диск 512 gb. тамже windows
2) 2 раздела. 400gb и 100 gb . Под сервер отдельный раздел был. никакой разницы
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40073058
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreysneg,

Временный каталог Марии куда указан?
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40073153
andreysneg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
tmpdir = "%dprogdir%\\userdata\\temp"

Тамже где папка сервера.

Сервер Openserver. Просто копируется на нужный drive и оттуда работает.


Поставил

innodb_flush_method = O_DIRECT
innodb_buffer_pool_size = 5GB
и чутка разогнал процессор

Дошло до 300 . А у дешевейшего Kingston ssd 350-450 скачет

Такую статью нашел от Samsung как использовать nvme с sql.
https://www.samsung.com/semiconductor/global.semi.static/best-practices-for-mysql-with-ssds-0.pdf

У них там nvme в раза 2 быстрее ssd

Еще там вычитал что с nvme - процессор узкое место.
У меня Ryzen 5600 - 4.7 скорость в разгоне. как он может быть узким местом.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40073154
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreysneg,

rapid выключен, trim включен?
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40073157
andreysneg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Rapid - не поддерживает
Trim - включен
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40073162
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreysneg,

вот статья с объяснением
https://habr.com/ru/company/selectel/blog/521168/

да, и еще, если там линукс, то что за файловая система, и как настроен barrier. От этого тоже производительность теста такого типа (ins/del/upd) может отличаться в 2-3 раза на одном и том же носителе.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40073312
andreysneg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Это я читал.

Но у меня

1) Windows. где тут fsync ?
2) Все винчестеры простые - не серверные . Kingston - самый дешевый ssd на рынке сейчас. И он обгоняет nvme 970 evo pro в 1.5-2 раза. Только в работе с sql. Во всем остальном nvme быстрее .

Так что это статья ничего не объясняет.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40073452
Sergey Orlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreysneg
Это я читал.
Но у меня
1) Windows. где тут fsync ?
2) Все винчестеры простые - не серверные . Kingston - самый дешевый ssd на рынке сейчас. И он обгоняет nvme 970 evo pro в 1.5-2 раза. Только в работе с sql. Во всем остальном nvme быстрее .
Так что это статья ничего не объясняет.

У вас любая insert/delete/update является атомарной и вызывает модификацию базы на носителе, да сначала она попадет в кеш носителя, а у вашего nvme всего 512 метров, после чего начинает сливаться на носитель и тут уже подключен ли носитель по PCI-e или SATA роли не играет, играет прошивка и кеш носителя, другими словами надо смотреть тест на случайную запись, а iops это так от балды, точнее от HDD... Кстати, если бы у вас был накопитель с терабайтом результат был бы другой...
Попробуйте уменьшить количество тестов, может увидите границу... На старых она должна остаться преженй, а вот на nvme возрасти.
Enterprise это всего лишь надежность...
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40073510
andreysneg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Поставил 10 циклов вместо 200.

На Nvme - без изменений.
На Kingston ssd - стало 600 ( было 400-500 ) тут прогресс

Там даже без тестов. если просто водпресс поставить на nvme , работает заметно медленнее.

Есть версия , что упирается в скорость процессора на 1 ядро. хотя сомнительно.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40073625
Андрей Юниор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Линейные чтения/запись проверяли на Nvme? На паспортные данные похоже?

На некоторых матерях m.2 реализован в параллель с sata-разъёмами. Нужно смотреть, чтобы используемый m.2 был чисто pci-e без соседей. В инструкции к матери это пишут.

Ещё может быть троттлинг Nvme. Неплохо бы помониторить температуру.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40073673
andreysneg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всё я пробовал. Скорость и iops в порядке как заявлено. Перегрев тоже тестил фирменной утилитой. Да. при нагреве за 70, падает скорость в 2-3 раза. Но чтобы так нагреть надо очень постараться со специальными тестами скорости.
Мои же тесты 5 секунд - ничего там не нагревается.

Расположение на матери дурное - под видеокартой. Почти соприкосаются. она его нагревает, но температура 50 градусов считается нормой. Есть радиатор на нем.

Возможно вся сила nvme когда сотни обращений за раз. В сети такие тесты и есть. А в 1 поток ничего хорошего.
Еще у меня 970 evo, а не 970 pro . Это тоже большая разница.

Но проигрывать самому наидешевейшому kingston ssd в 2 раза , это както смешно.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40073676
andreysneg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
При подключении nvme отключается 2а порта sata из 6ти. Както они там связаны.
Может и вправду мать какая-то кривая. Gigabyte Aorus b450.

Через неделю смогу протестировать на другой.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40073690
Sergey Orlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreysneg
При подключении nvme отключается 2а порта sata из 6ти. Както они там связаны.
Может и вправду мать какая-то кривая. Gigabyte Aorus b450.
Через неделю смогу протестировать на другой.

Поскольку там только один разьем M2, и при его задействовании отключаются 2-а SATA порта могу предположить,
что этот разьем подключен не напрямую к процессору, а через чипсет, ну и скорость естественно будет разной...
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40073716
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Sergey Orlov
andreysneg
При подключении nvme отключается 2а порта sata из 6ти. Както они там связаны.
Может и вправду мать какая-то кривая. Gigabyte Aorus b450.
Через неделю смогу протестировать на другой.

Поскольку там только один разьем M2, и при его задействовании отключаются 2-а SATA порта могу предположить,
что этот разьем подключен не напрямую к процессору, а через чипсет, ну и скорость естественно будет разной...
Вы хотите сказать, что SATA подключается напрямую к процессору?
Вопрос автора: почему из 4-х дисков (подключённых, предположим, не напрямую к процессору), NVME оказался самим медленным.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40074006
Sergey Orlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexeyvg,
Я хочу сказать, что у вас подключение не по шине напрямую к процу, а через чипсет, т.е. у вас в моем понимание диск не nvme, а M2... режим другой. У плат на B450 это сплошь и рядом, если есть один M2 разьем, то он обычно подключается через чипсет, я не встречал его подключение к шине, а вот если 2-а, то один через чипсет, то другой к процу... А заявленные параметры диска, это обычно через шину... горлышко разное.
Ну и второе, покупать диск надо большей емкости в той же серии, там и кеш побольше и прошивка оптимизированней, и многоканальный режим задействован... Конечно деньги не те, но и грабли в виде фризов почти отсутствуют
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40074007
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexeyvg
Sergey Orlov
пропущено...

Поскольку там только один разьем M2, и при его задействовании отключаются 2-а SATA порта могу предположить,
что этот разьем подключен не напрямую к процессору, а через чипсет, ну и скорость естественно будет разной...
Вы хотите сказать, что SATA подключается напрямую к процессору?
Вопрос автора: почему из 4-х дисков (подключённых, предположим, не напрямую к процессору), NVME оказался самим медленным.

https://3dnews.ru/973247

Может, чипы крупные и при мелких записях приходится перезаписывать большой блок.

ЗЫ. По моему опыту, АМД это вечно какие-нибудь грабли.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40074008
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreysneg,

innodb_flush_log_at_trx_commit в какое значение установлен?
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40074026
andreysneg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
В ini innodb_flush_log_at_trx_commit нету

Я логу вообще отключил.

general_log = 0


Или нельзя его отключать ? По любому разницы никакой. включен ... выключен ...
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40074041
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreysneg,

Это не про те логи.
Совсем выключить/убрать innodb_flush_log_at_trx_commit невозможно. Просто у него будет значение по умолчанию - 1. А это самый медленный режим из возможных.

Кстати, innodb_flush_method = O_DIRECT - это невалидное значение для Windows.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40074169
andreysneg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Вах ! Это круто.

Поставил innodb_flush_log_at_trx_commit 2 или 0 ( разницы между ними не заметна )

Теперь скорость диска не влияет походу т.к. всё в памяти ? На всех дисках результат теста стал 2000-2200 ( было 70-500 ) . т.е. в 4-10 раз быстрее.

Теперь этот тест не подходит для проверки дисков. Wordpress на nvme всё равно медленее чутка просто на глаз.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40074183
fkfka
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Нихрена в этом не разбираюсь, но, в виде мозгового шторма. Слышал где-то то когда-то, что для NVMe дисков критично выравнивание разделов по определенной границе. И часто то, как они разбиты по умолчанию из-за этого их тормозит. Мне это тоже сейчас вопрос интересный, потому что я собираюсь новый ноут брать с NVMe.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40074203
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Siemargl
при мелких записях приходится перезаписывать большой блок.
Пока что мне это представляется наиболее логичной версией.
При innodb_flush_log_at_trx_commit=1 запись на диск происходит синхронно и очень маленькими порциями - 4 Кбайтовыми страницами. А диску в физических микросхемах приходится перезаписывать намного больший кусок (из-за чего, кстати, и ресурс количества перезаписей расходуется быстрее).
Чтобы сравнивать диски в таком режиме, надо в синтетических тестах смотреть на результаты однопоточной записи одиночными секторами с глубиной очереди (1Q1).

Все это имхо, разумеется.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40075387
andreysneg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Попробовал на другой плате от другой фирмы, но тотже чипсет. MSI 450 pro max. Была Gigabyte Aourus 450.

Чутка подороже плата.

Скорость NVME с SQL не изменилась.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40075502
Sergey Orlov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreysneg
Попробовал на другой плате от другой фирмы, но тотже чипсет. MSI 450 pro max. Была Gigabyte Aourus 450.
Чутка подороже плата.
Скорость NVME с SQL не изменилась.

Вы описание плат почитайте, в принципе они одинаковы...
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40131874
Alew
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
andreysneg
Это я читал.

Но у меня

1) Windows. где тут fsync ?

Так что это статья ничего не объясняет.


базы пишут на диск в режиме небуферизованной записи, эффект как и после fsync. Допускаю, что причина в этом. Так же производитель может имитировать эти режимы не сбрасывая данные в постоянную память, этим может объясняться то, что более дешевые диски работают быстрее, они просто не делают то что их просят. Где то в интернете видел тест, как проверить, делать диск честный fsync или только имитирует.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40131908
petalvik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alew
базы пишут на диск в режиме небуферизованной записи, эффект как и после fsync. Допускаю, что причина в этом. Так же производитель может имитировать эти режимы не сбрасывая данные в постоянную память, этим может объясняться то, что более дешевые диски работают быстрее, они просто не делают то что их просят.

Причина действительно может быть в этом.
В документации sqlite есть пункт про это: Disk drives that do not honor sync requests

P.S. По собственному опыту владения SATA SSD Kingston могу сказать, что он был быстр, как молния.
А про Самсунги неоднократно встречал мнение, что они распиарены, но их производительность не соответствует цене и заявленным характеристикам.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40132120
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а на какой слот nvme m.2 диск (не SATA) подключен?
тот который напрямую к cpu (туда разумней операционку ставить, но там максимум на десктопных х20 т.е. х16 на графику и х4 на nvme) или который на чипсете/pch?
если кеширования и обработки данных нет то отдача в сеть будет быстрее с того который на чипсете
(данные напрямую с диска через чипсет будут идти в lan не загружая dmi, cpu будет только команды передавать что откуда брать и куда кидать)

если есть предварительное кэширование в память или обработка данных (аггрегация и пр.) то тот который подключён к cpu pcie lanes - по идее будет быстрее

попробуй отключить лишние sata - есть гибридные mb где nvme может переключиться со стандартного x4 PCIe в x2 режим если подключено много устройств.
(а иногда прямо в инструкции к mb написано что один nvme х4 а второй x2)

хотя и с графикой тоже иногда чудят и раскидывают по системе на разные концы с данными, потом удивляются почему ниже бенчмарков результаты получаются не задумываяс что сами неправильной конфигурацией запускают данные в лабиринт.
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40133213
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andreysneg
2) Все винчестеры простые - не серверные . Kingston - самый дешевый ssd на рынке сейчас. И он обгоняет nvme 970 evo pro в 1.5-2 раза. Только в работе с sql. Во всем остальном nvme быстрее .


У самого EVO PRO правда SATA. Честно говоря, работа не очень нравится. Все вроде работает, но в последнее время непонятные зависания Chrome при банальном просмотре страниц, при этом чувство, что виснет именно "винт"

Подозреваю, не все IOPS'ы одинаковы и одинаково полезны. Любой софт оптимизируется по какому нибудь параметру и выигрывая в одном, проигрываем в другом. Вполне возможно по дефолту EVO PRO оптимизирована на паттерн "обычного" использования, а нагрузка от СУБД все же должна быть достаточно специфическая. Т.ч. ничего удивительного, а с учетом "все винчестеры простые - не серверные" вроде и притензии предьявлять не к кому

Как я понимаю, EVE PRO по умолчанию отформатировано на полный объем диска. Samsung Magicial предполагает режим с выделением части емкости диска под буффер для записи. Сам я с включением данного режима не разобрался

IMHO
...
Рейтинг: 0 / 0
Nvme медленнее ssd в работе с SQL базой
    #40133328
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Leonid Kudryavtsevс выделением части емкости диска под буффер для записи.
Over provisioning? Это "выравнивание уровня износа". в корпоративных дисках вроде до 28% от общей емкости.
А про торможение при записи - вот статья хоть и 4х летней давности, но всё-таки
https://3dnews.ru/974560/obzor-nvmenakopitelya-transcend-ssd-110s-schastlivaya-gizn-bez-drambufera-vozmogna
Там на первом же графике (последовательная запись) видно что скорость записи при непрерывном процессе падает катастрофически когда заполнено только 20% диска.
Понятно что такое не у всех, но я графики подобного типа вижу не первый раз.
То есть, ssd при непрерывной записи может "захлебываться", и ему надо давать передохнуть.
...
Рейтинг: 0 / 0
31 сообщений из 31, показаны все 2 страниц
Форумы / Hardware [игнор отключен] [закрыт для гостей] / Nvme медленнее ssd в работе с SQL базой
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (1): Анонимы (1)
Читали форум (1): Анонимы (1)
Пользователи онлайн (7): Анонимы (5), Bing Bot, Yandex Bot 2 мин.
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]