С дисками еще посложнее. У них - нелинейных эффектов больше. Механика головок. И различные умные кеши.
Но самое главное - класс устройства. Старый IDE, который стоит на бабушкиных компах. SATA1/2/3.
Размер блинчика. 2.5 или 3.5. И скорость кручения. 5 тыщ. 7 тыщ. 12 тыщ (для серверных).

Flying-homeПредположу, что винчестер при поступлении на него большой очереди запросов на чтение маленькими блоками, оптимизирует порядок их выполнения и выигрывает на чтении фрагментированных файлов.

Вот может это даст какое-то прояснение https://en.wikipedia.org/wiki/Native_Command_Queuing
Я тоже почитаю.

Flying-homeFlying-homeпропущено...

Очень похоже на правду, но.
Вот две ситуации:
1. Я отправляю на винт серию команд на чтение по 64 КБ
2. Я отправляю на винт одну команду на чтение 32 МБ

Почему мы должны думать, что во втором случае NCQ не работает?
В смысле, кучу команд он оптимизирует (как следует из названия технологии), а одну большую команду оптимизировать не будет?
Смотри. В твоём кейсе (копирование большого толстого файла (БТФ)) я считаю что NCQ - бесполезен.
Его основное назначение - соптимизировать хаос команд которые летят на диск когда он под современной
операционкой с кучей фоновых задач бомбит бедный диск операциями (типичная ситуация - прогрев Windows-7
или старт антивируса или индексатора файлов). В этом случае без NCQ блок головок (БГ) будет двигатся хаотично
обслуживая сиюсекундные хотелки всех-всех запущенных процессов. Типичная картинка. Мощный проц. Много
памяти а ОС стартует 15 минут. В случае с NCQ (теоретически это все SATA-шники) движения БГ от рандомного
шума должны подойти к "лесенке вверх" и лесенке вниз (это идеал). В реальности скорее всего NCQ просто
сортирует команды в монотонном порядке cylinders и исполняет их следя за консистенстностью. Ну чтоб
запись не сбила чтение.

Тоесть копированию БТФ - пофиг на NCQ, но если параллельно с этим копированием периодически прилетают
шумящие команды от других процессов то NCQ полезен.

Flying-homemaytonпропущено...

Смотри. В твоём кейсе (копирование большого толстого файла (БТФ)) я считаю что NCQ - бесполезен.
Его основное назначение - соптимизировать хаос команд которые летят на диск когда он под современной
операционкой с кучей фоновых задач бомбит бедный диск операциями (типичная ситуация - прогрев Windows-7
или старт антивируса или индексатора файлов). В этом случае без NCQ блок головок (БГ) будет двигатся хаотично
обслуживая сиюсекундные хотелки всех-всех запущенных процессов. Типичная картинка. Мощный проц. Много
памяти а ОС стартует 15 минут. В случае с NCQ (теоретически это все SATA-шники) движения БГ от рандомного
шума должны подойти к "лесенке вверх" и лесенке вниз (это идеал). В реальности скорее всего NCQ просто
сортирует команды в монотонном порядке cylinders и исполняет их следя за консистенстностью. Ну чтоб
запись не сбила чтение.

Тоесть копированию БТФ - пофиг на NCQ, но если параллельно с этим копированием периодически прилетают
шумящие команды от других процессов то NCQ полезен.
Получается, надо разбить файлы на две группы, например, меньше 8 МБ и больше. Первую группу читать блоками по 64 КБ в надежде на NCQ, вторую - большими блоками в надежде на их нефрагментированность.
Делить файлы на 2 категории - мысль здравая. Плюсую.

По поводу NCQ. Надо курить документацию по дискам и понять какой смысл вкладывается в NCQ-command. Если
это 1 сектор то это одно. Если это цепочка секторов - тогда надо думать по другому.

Flying-homeЕще из моих наблюдений на рэйдах этот NCQ то-ли не работает, то-ли работает как-то не так. С маленькими файлами прироста скорости с уменьшением блока нет. Но там вообще фиг разберешься, что оптимизирует винт, а что - рэйд-контроллер.
Я-ж говорю. Сложное это дело. Если в стеке у нас еще и стоит к примеру RAID-контроллер в зеркале (это кажется режим десятка)
тогда у нас на чтение контроллер будет разбрасывать транзакции на 2 диска равномерно по их готовности.
Это вообще путает все карты! Мы уже тюним 3 устройства в стеке!

Flying-homeИ по сабжу.
Сегодня держал в руках флэшку USB 2.0
На FILE_FLAG_NO_BUFFERING она вообще не реагирует, имеет на борту буфер в 8 МБ. При записи на нее больших файлов она просто принимала в буфер порцию, потом записывала его, как сама считала нужным. И так далее.
Ты обращал внимание что когда втыкаешь новую флешку - то операционка ставит
для нее драйвер? Причем для каждого вендора флешки может быть новый драйвер.
Рискну предположить что флешка - это не просто матрица памяти. Ну... наше понимание
в этом вопросе будет поверхностным если мы флешку будем опускать на такой уровень.

Dima TFlying-homeИ по сабжу.
Сегодня держал в руках флэшку USB 2.0
Уже год не держал флэшку в руках. Отмирают они как дисководы. Сейчас проще через облака всякие перегнать данные, чем использовать флэшку.

Мне кажется ты занимаешься тюнингом паровоза в эпоху электромобилей.
Через неделю я буду заниматься тюнингом своего нового AMD. В основном
в части дележа дисков. Куда чё положить. Короче дисковый пасьянс.

Пока нет. Куплю позже. Щас у меня идея фикс - собрать программное зеркало для хранения
домашних семейных фото-архивов. Почему зеркало? Да достало копии делать. Всё равно
забываешь. И что с..ка характерно. Все винты разного размера. Двушка. единичка. и 0.5 терабайт.

Relic HuntermaytonПока нет. Куплю позже. Щас у меня идея фикс - собрать программное зеркало для хранения
домашних семейных фото-архивов. Почему зеркало? Да достало копии делать. Всё равно
забываешь. И что с..ка характерно. Все винты разного размера. Двушка. единичка. и 0.5 терабайт.

Ну вот, приехали :) Бекап и зеркало это - разные вещи. Оно не защитит ни от усер эррор, ни от шифровальщиков.
У меня узер один. Это я. И шифровать не буду. Кому нужны мои домашние фотки?

Dima TmaytonПока нет. Куплю позже. Щас у меня идея фикс - собрать программное зеркало для хранения
домашних семейных фото-архивов. Почему зеркало? Да достало копии делать. Всё равно
забываешь. И что с..ка характерно. Все винты разного размера. Двушка. единичка. и 0.5 терабайт.
SSD недорогие нынче, достаточно 240 Гб под системный диск. Комп летать будет.
Для бэкапа лучше роутер с HDD и туда сливать. А чтобы не забывать можно по заданию запускать батник, а в нем xcopy или robocopy только новых файлов.
xcopy только новых файлов это не метод. Это я уже проходил. Потом после восстановления
жена тебе скажет - "я же тебя просила удалить эту фотку где я - толстая/больная/или в
некрасивом платье"

Удаление и переименовывание файлов должно накатываться на бэкап именно так-же как
и транзакции в БД.