powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Firebird 2.5 to 3.0
25 сообщений из 52, страница 2 из 3
Firebird 2.5 to 3.0
    #39260364
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rdb_devпроизводить дефрагментацию файловой системы на SSD не только бесполезноОшибаешься
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39260365
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rdb_dev,

Уже давно файл БД расширяется большими кусками, а не постранично. Поэтому дефрагментация файла БД хоть и может быть, но всё таки FB пытается ей противостоять.
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39260377
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денисно всё таки FB пытается ей противостоять.
основная цель расширения файла блоками - ускорить это самое расширение, против "поштучного" добавления страниц к файлу.
Хотя, если ФС будет искать свободный кусок именно размера нового блока, то тогда да, "противостояние фрагментации".
С другой стороны, что окажется на этих страницах, еще неизвестно, так что внутри файла остается "фрагментация" :-)
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39260381
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvС другой стороны, что окажется на этих страницах, еще неизвестно, так что внутри файла остается "фрагментация" :-)Нет смысла противостоять фрагментации внутри файла БД, если сам файл размазан по диску как попало.

Напомню, последовательное чтение всё ещё быстрее случайного, даже для SSD.
И такие задачи как бекап и свип - далеко не экзотика, и заметно выигрывают от возможности последовательного чтения.
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39260385
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladrdb_devпроизводить дефрагментацию файловой системы на SSD не только бесполезно
Ошибаешься

"Windows does not defrag SSDs"
http://www.outsidethebox.ms/17367/
там мораль такая, что МС утверждает, что дефрагментация для ССД не производится, но тем не менее, она все равно срабатывает 1 раз в месяц, "если включено теневое копирование тома.", и включено system restore. Так что, это скорее вынужденное исключение из правил, по совершенно конкретным причинам.

и т.д., можешь сам поискать. В моем понимании дефрагментация SSD это как дефрагментация TIP. Линейно список почти никогда не сканируется, все время идет прямое извлечение состояния транзакции N. Так какая разница, последовательно эти страницы лежат, или нет. Разве что опережающее чтение кэша ФС ОС, но в случае SSD оно опять же не имеет смысла.
А вот и данные по опережающему чтению на SSD
http://www.storimax.ru/articles/reviews/?ID=686#CacheSSD
Примерно 5% ускорения с Read Ahead (в статье почему-то дурацкий вывод про "значительное улучшение").
И это на конкретном диске, на других может быть по другому.
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39260388
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladНапомню, последовательное чтение всё ещё быстрее случайного, даже для SSD.
Сильно зависит от размера блока SSD и размера кластера ФС. Сам SSD у себя может хранить подряд идущие кластеры ФС совсем непоследовательно (зависит от алгоритма контроллера, равномерно распределяющего износ ячеек SSD), так что скорость последовательного чтения больше зависит от кэша опережающего чтения самой ОС.
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39260398
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv"Windows does not defrag SSDs"
http://www.outsidethebox.ms/17367/
там мораль такая, что...то, что не играет роли для ОС, может быть совершенно не так для СУБД

kdvПримерно 5% ускорения с Read AheadПричём тут ReadAhead, если речь о sequential\random IO ?
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39260405
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rdb_dev,

Почитай SSD случайными блоками по 4КБ и по 256КБ, сравни и можешь не рассказывать результаты...
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39260410
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rdb_dev- если записи в таблицах со ссылочной целостностью заполнялись последовательно (сквозное заполнение таблиц по цепочке связей), то при "дефрагментации" БД методом b/r можно даже получить незначительное замедление, так как опережающее чтение ФС файла БД в кэш ОС уже не будет разом последовательно фетчить страницы связанных между собой таблиц, данные с которых необходимы оператору SELECT с JOIN'ами этих таблиц и в этом случае, вероятность промаха кеша выше, что влечет за собой оверхед обращения к подсистеме хранения;

вовсе необязательно. Вся соль в том каким методом будет происходить JOIN. Если NESTED LOOP да ещё и использованием индексов, то возможно ты прав. А вот если с помощью HASH JOIN, то всё будет с точностью до наоборот.
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39260435
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvlad, мне кажется, что ты чего-то не договариваешь. Ты сам производил замеры? Какие вендор и модель SSD? Каков был "родной" размер блока? Кэш ОС для диска был включен или отключен?
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39260437
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денис, HASH JOIN, скорее, исключение, чем правило.
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39260443
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zerooo,

Проверил рестор в мультифайловую БД (бекап из одного файла) - не воспроизводится.
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39260448
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rdb_dev,

прочитай любые тесты любого SSD с однопоточным случайным чтением большими и маленькими блоками.
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39260459
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
rdb_devHASH JOIN, скорее, исключение, чем правило.

это пока так. Просто оптимизатор ещё не достаточно умён чтобы понять когда его применять, а потому применяет лишь когда выхода нет (нету подходящих индексов). Тем более что со временем и NESTED LOOP может поменяться и стать блочным для ряда случаев.

З.Ы. Это просто мои размышления.
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39260539
Фотография DarkMaster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladZerooo,

Проверил рестор в мультифайловую БД (бекап из одного файла) - не воспроизводится.

Ок, спасибо - а то я уже задумался.

P.S. Ну хоть кто-то пытается топик в нужное русло повернуть :)
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39260696
Zerooo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
hvladZerooo,
Проверил рестор в мультифайловую БД (бекап из одного файла) - не воспроизводится.
Тестировал базу? Большая она?
Я дважды пытался с разными размерами файлов - результат один: ошибка на предпоследнем файле :(
А вообще, уже юзаю однофайловый вариант - работа не ждет.
Завтра, если время будет попробую еще…
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39260773
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ZeroooТестировал базу?Нет конечно, а что - надо ? Ой, а как бы это сделать ?

ZeroooБольшая она?Почти 4GB
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39260784
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ZeroooЯ дважды пытался с разными размерами файлов - результат один: ошибка на предпоследнем файле :(Какая ошибка ?
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39261674
Zerooo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
hvladКакая ошибка ?
Читай стартовое сообщение :-)
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39261678
Zerooo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
hvlad,

Снова попробовал на одной (небольшой) базе - аналогично:
из firebird.log:
Tue Jun 07 09:44:25 2016
Database: C:\BASES\STAT_0.FDB
Validation started

Tue Jun 07 09:44:25 2016
I/O error during "ReadFile" operation for file "C:\BASES\STAT_0.FDB"
Error while trying to read from file
Reached the end of the file.

Tue Jun 07 09:44:25 2016
Database: C:\BASES\STAT_0.FDB
Validation aborted
I/O error during "ReadFile" operation for file "C:\BASES\STAT_0.FDB"
Error while trying to read from file
Reached the end of the file.
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39261685
Zerooo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
hvlad,

Fri Jun 24 15:55:49 2016
Database: C:\BASES\MCSAP_0.FDB
Validation started

Fri Jun 24 15:55:49 2016
I/O error during "ReadFile" operation for file "C:\BASES\MCSAP_0.FDB"
Error while trying to read from file
Reached the end of the file.

Fri Jun 24 15:55:49 2016
Database: C:\BASES\MCSAP_0.FDB
Validation aborted
I/O error during "ReadFile" operation for file "C:\BASES\MCSAP_0.FDB"
Error while trying to read from file
Reached the end of the file.

Если есть интерес, то могу бэкап и свои логи тебе дать как-то (здесь похоже лички нет?)
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39261846
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zerooo,

если есть возможность - жми бекап и выкладывай куда-нибудь.
И точно опиши используемые команды
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39262669
Zerooo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
hvlad,
Пожал, выложил. Куда тебе ссылочку прислать?
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39262716
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Zerooo,

hvlad at users sf net


Спасибо
...
Рейтинг: 0 / 0
Firebird 2.5 to 3.0
    #39262744
Zerooo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
hvlad,
Я там не мембер.
Короче, ССЫЛКА УДАЛЕНА
Стянешь - сообщи.
...
Рейтинг: 0 / 0
25 сообщений из 52, страница 2 из 3
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Firebird 2.5 to 3.0
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]