ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Linux + Direct IO
21 сообщений из 21, страница 1 из 1
Linux + Direct IO
    #35129212
Yuri Pudovchenko
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yuri Pudovchenko
Гость
Обнаружилось, что при монтировании файловых систем в Линуксе (например RHEL 4, OEL 5)
нет ключика direct ( типа forcedirectio в Солярисе).
Кто-нибудь в курсе - почему так и чем его заменить?
...
Рейтинг: 0 / 0
13.02.2008, 11:05:51
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35129275
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
в оракле надо делать
например:
http://download-east.oracle.com/docs/html/B10812_06/appendix_c.htm#sthref755
...
Рейтинг: 0 / 0
13.02.2008, 11:20:10
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35129336
Yuri Pudovchenko
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yuri Pudovchenko
Гость
Журавлев Денисв оракле надо делать
например:
http://download-east.oracle.com/docs/html/B10812_06/appendix_c.htm#sthref755

Исключим Оракл,
мне надо смонтировать ФС, чтобы другие программы не использовали кеш ФС.
...
Рейтинг: 0 / 0
13.02.2008, 11:38:04
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35129373
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
Yuri Pudovchenko Журавлев Денисв оракле надо делать
например:
http://download-east.oracle.com/docs/html/B10812_06/appendix_c.htm#sthref755

Исключим Оракл,
мне надо смонтировать ФС, чтобы другие программы не использовали кеш ФС.тогда никак
...
Рейтинг: 0 / 0
13.02.2008, 11:47:45
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35129431
Фотография Adekamer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Adekamer
Участник
никак - поэтому и уществет sync
если хочется поднять скорость работы с ФС то можно конечно поиграться с noatime и опциями монтирования конкретной ФС - но это уже рулетка
ну еше в sysctl можно поиграться с fs.quota.* fs.aio* но сие нетривиальная задача
--------------------------------------------------------------------------
Я освобождаю вас от химеры, называемой совестью
--------------------------------------------------------------------------
...
Рейтинг: 0 / 0
13.02.2008, 12:03:54
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35129446
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
Adekamerникак - поэтому и уществет sync
если хочется поднять скорость работы с ФС то можно конечно поиграться с noatime и опциями монтирования конкретной ФС - но это уже рулетка
ну еше в sysctl можно поиграться с fs.quota.* fs.aio* но сие нетривиальная задача
--------------------------------------------------------------------------
Я освобождаю вас от химеры, называемой совестью
--------------------------------------------------------------------------
--------------------------------------------------------------------------
Я освобождаю вас от химеры, называемой совестью
--------------------------------------------------------------------------
--------------------------------------------------------------------------
Я освобождаю вас от химеры, называемой совестью
--------------------------------------------------------------------------
--------------------------------------------------------------------------
Я освобождаю вас от химеры, называемой совестью
--------------------------------------------------------------------------
Но проблема не в надежности, а в том что тратится время на перекладывание гигабайтов из памяти в память а потом уже на диск, и опятьже кеш выедается.
...
Рейтинг: 0 / 0
13.02.2008, 12:06:29
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35129467
SSukholet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SSukholet
Гость
On Wed, 13 Feb 2008 16:06:29 +0700, Журавлев Денис <nospam@sql.ru>; wrote:

> Автор: Журавлев Денис
> Adekamer
> никак - поэтому и уществет sync

> Но проблема не в надежности, а в том что тратится время на перекладывание
> гигабайтов из памяти в память а потом уже на диск, и опятьже кеш
> выедается.
было что-то про cache policy ?



--
Остаюсь искренне Ваш,
Станислав Сухолёт
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
13.02.2008, 12:12:48
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35129475
Фотография Adekamer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Adekamer
Участник
поэтому и изпользуют RAW в линуксе RAW devices
и опять же подбирать индивидуально sysctl fs.quota.* fs.aio*

--------------------------------------------------------------------------
Я освобождаю вас от химеры, называемой совестью
--------------------------------------------------------------------------
...
Рейтинг: 0 / 0
13.02.2008, 12:14:05
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35129653
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
SSukholet
было что-то про cache policy ?
я в этом не компенгаген. Дайте сцылку?
А вообще кеширование делается разве на уровне фс? в/в на блочные устройсва ведь тоже кешируются?
...
Рейтинг: 0 / 0
13.02.2008, 12:50:44
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35129681
Yuri Pudovchenko
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yuri Pudovchenko
Гость
Печально.
Дело в том, что я тестирую одну программу, которая измеряет кол-во операций IO,
и результаты замеров на линуксовой персоналке с одним диском превосходят
замеры для массива SUN 3510 с 1Гб кешем и 6 SCSI-дисками.
Анекдот.
...
Рейтинг: 0 / 0
13.02.2008, 12:55:48
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35129708
Фотография Adekamer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Adekamer
Участник
а iostat уже не true ?
--------------------------------------------------------------------------
Я освобождаю вас от химеры, называемой совестью
--------------------------------------------------------------------------
...
Рейтинг: 0 / 0
13.02.2008, 13:04:35
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35129927
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
Yuri PudovchenkoПечально.
Дело в том, что я тестирую одну программу, которая измеряет кол-во операций IO,
и результаты замеров на линуксовой персоналке с одним диском превосходят
замеры для массива SUN 3510 с 1Гб кешем и 6 SCSI-дисками.
Анекдот.iozone -I
iometer тоже умеет
...
Рейтинг: 0 / 0
13.02.2008, 13:55:00
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35130238
Yuri Pudovchenko
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yuri Pudovchenko
Гость
Итак, взял файлик 100Мб применил к нему Орион на моей персоналке (винчестер
WesternDigital 80G ttp://www.wdc.com/ru/products/Products.asp?DriveID=83 ):

Получил данные:
Maximum MBPS=376.08
Maximum IOPS=9904
Minimum Latency=0.49


Для 1000Мб файла Орион показал совсем другое :
Maximum MBPS=34.06
Maximum IOPS=220
Minimum Latency=4.54

На сыром устройстве (на котором лежали указанные файлы, т.е. те же самые
цилиндры диска) получаются такие вот значения:

Maximum MBPS=38.33
Maximum IOPS=145
Minimum Latency=7.07

Разница - в 10-40 раз!
...
Рейтинг: 0 / 0
13.02.2008, 15:01:55
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35130250
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
Yuri Pudovchenko
Разница - в 10-40 раз!если кеш массива гиг я делаю тесты на 50гиговых файлах , иначе ..
...
Рейтинг: 0 / 0
13.02.2008, 15:04:44
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35130256
Yuri Pudovchenko
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yuri Pudovchenko
Гость
Вывод: Налицо значительная польза для производительности от файлового кеша ОС.
...
Рейтинг: 0 / 0
13.02.2008, 15:05:57
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35130265
Yuri Pudovchenko
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yuri Pudovchenko
Гость
Журавлев Денис Yuri Pudovchenko
Разница - в 10-40 раз!если кеш массива гиг я делаю тесты на 50гиговых файлах , иначе ..

В данном случае речь идет только о персоналке с одним винчестером, я это явно указал.
Массив стоит в сторонке.
...
Рейтинг: 0 / 0
13.02.2008, 15:07:42
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35130298
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
Yuri PudovchenkoВывод: Налицо значительная польза для производительности от файлового кеша ОС.ага значительно ускоряет orion
...
Рейтинг: 0 / 0
13.02.2008, 15:16:14
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35130316
Yuri Pudovchenko
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Yuri Pudovchenko
Гость
Всем спасибо, пока !
...
Рейтинг: 0 / 0
13.02.2008, 15:20:35
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35131128
вариант
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
вариант
Гость
Yuri PudovchenkoИтак, взял файлик 100Мб применил к нему Орион на моей персоналке (винчестер
WesternDigital 80G ttp://www.wdc.com/ru/products/Products.asp?DriveID=83 ):

Получил данные:
Maximum MBPS=376.08
Maximum IOPS=9904
Minimum Latency=0.49


Для 1000Мб файла Орион показал совсем другое :
Maximum MBPS=34.06
Maximum IOPS=220
Minimum Latency=4.54

На сыром устройстве (на котором лежали указанные файлы, т.е. те же самые
цилиндры диска) получаются такие вот значения:

Maximum MBPS=38.33
Maximum IOPS=145
Minimum Latency=7.07

Разница - в 10-40 раз!

Если это сырой диск из /dev/[h,s]dsk то он не совсем сырой .
Ядро для него тоже использует кеш для IO.

сырой это из /dev/raw

Попробуйте сравнить random access по файлам.
Картина(результат) может коренным образом измениться.
...
Рейтинг: 0 / 0
13.02.2008, 19:49:32
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35131537
SSukholet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SSukholet
Гость
On Wed, 13 Feb 2008 16:50:44 +0700, Журавлев Денис <nospam@sql.ru>; wrote:

> Автор: Журавлев Денис
> SSukholet
>
> было что-то про cache policy ?
> я в этом не компенгаген. Дайте сцылку?

http://www.redhat.com/magazine/001nov04/features/vm/
Ну вот например мне гугл подсказал. Вообще рыться надо в /proc/sys/vm/*

> А вообще кеширование делается разве на уровне фс? в/в на блочные
> устройства ведь тоже кешируются?
Насколько я знаю, именно на ФС.
Поэтому в оракле и пользуются старым хаком - RAW-partitions (без фс)
гарантированно не попадают в кэш файловой системы

--
Остаюсь искренне Ваш,
Станислав Сухолёт
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
14.02.2008, 05:14:38
| Ответить | Цитировать | Написать  
Linux + Direct IO
    #35131632
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
SSukholet
Насколько я знаю, именно на ФС.
Поэтому в оракле и пользуются старым хаком - RAW-partitions (без фс)
гарантированно не попадают в кэш файловой системы
Нет, не так. Не кешируются Raw ( C haracter device) блочные
Код: plaintext
B
lock кешируются

> ll /dev/sda
b rw-r----- 1 root disk 8, 0 2008-01-16 19:47 /dev/sda
это уство-во без файловой системы ввод вывод кешируется

> ll /dev/tty
c rw-rw-rw- 1 root tty 5, 0 2008-02-13 09:36 /dev/tty
это чарактер не кешируется
...
Рейтинг: 0 / 0
14.02.2008, 08:36:59
| Ответить | Цитировать | Написать  
21 сообщений из 21, страница 1 из 1
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Linux + Direct IO
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=25&msg=35130250&tid=1487144]:
 0ms
get settings:
 6ms
get forum list:
 16ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 17ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 57ms
get tp. blocked users:
 1ms
others: 231ms
total:  344ms
созд. / загр.: 344ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]