ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Informix [игнор отключен] [закрыт для гостей] / "RAW device" vs "BLOCK device"
25 сообщений из 66, страница 2 из 3
  2  все
"RAW device" vs "BLOCK device"
    #35255447
onstat-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
onstat-
Участник
Журавлев Денис onstat-Когда производится индексный поиск, база с помощью упреждающего чтения
читает индексное дерево в буфера.
нонсенс.
Мы читаем одну страницу (корневую), далее смотрим что у нее внутри решаем пойти налево, читаем страницу вообще из другого гигабайта, тут не может быть упреждающего чтения, оно только мешает.

То что для индексов используется упреждающее чтение написано в доке,
я когдато уже цитировал .

Хотя могут быть случаи когда оно и не используется.
...
Рейтинг: 0 / 0
15.04.2008, 11:29
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255525
svat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
svat2
Гость
Журавлев Денис
buffers=1000000
2G - получается буфер информикса в тестах с рау, и ~8G при блочных.

Журавлев Денис svat2
В системе - 8G RAM. "Простаивают" из них ~5. Я лично для себя по результатам тестов делаю вывод, что их лучше ИСПОЛЬЗОВАТЬ.Так отдайте их информиксу, увеличте буферс.

vasilis
А что мешает использовать всю доступную память под буферный пул Информикса ?
У вас же 64-разрядная версия.

Та я только за! :)
Вот, отдал почти всю память под Информикс и выполнил тест на RAW-devices:

$ onstat -c | grep BUFFERPOOL
BUFFERPOOL size=2K,buffers=3000000,lrus=128,lru_min_dirty=94.500000,lru_max_dirty=95.000000

$ onstat -
IBM Informix Dynamic Server Version 11.10.FC2TL -- On-Line -- Up 00:04:53 -- 7737844 Kbytes

результаты:
...
Рейтинг: 0 / 0
15.04.2008, 11:46
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255579
onstat-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
onstat-
Участник
svat2


Та я только за! :)
Вот, отдал почти всю память под Информикс и выполнил тест на RAW-devices:

$ onstat -c | grep BUFFERPOOL
BUFFERPOOL size=2K,buffers=3000000,lrus=128,lru_min_dirty=94.500000,lru_max_dirty=95.000000

$ onstat -
IBM Informix Dynamic Server Version 11.10.FC2TL -- On-Line -- Up 00:04:53 -- 7737844 Kbytes

результаты:

Крутите упреждающее чтение в Informix и скорость посторйки индексов на raw сильно увеличится,
Также будут использоваться ресурсы процессора для сортировки, которые раньше уходили
на переброску данных между кешами в случае с блочными девайсами .

Еще хорошо бы sar -ud увидеть для всех вариантов особенно на постройке индексов.
...
Рейтинг: 0 / 0
15.04.2008, 11:57
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255681
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
> onstat -c |grep -i direct_io
DIRECT_IO       0       # Use direct I/O for chunks (Yes = 1, No = 0)
informix@nag:~> onstat -g glo

Individual virtual processors:
 vp    pid       class       usercpu   syscpu    total   
 1     2444      cpu         2.52      0.39      2.91    
 2     2445      adm         0.00      0.00      0.00    
 3     2446      lio         0.00      0.00      0.00    
 4     2447      pio         0.00      0.00      0.00    
 5     2448      aio         0.00      0.00      0.00    
 6     2449      msc         0.00      0.00      0.00    
 7     2450      aio         0.00      0.00      0.00    
 8     2451      aio         0.00      0.00      0.00    
 9     2452      aio         0.00      0.00      0.00    
 10    2453      aio         0.00      0.00      0.00    
 11    2454      aio         0.00      0.00      0.00    
                 tot         2.52      0.39      2.91    

# strace -p 2444 -p 2448 -p 2450 -p 2451 -p 2452 -p 2453 -p 2454  -f 2>&1|grep io_
мощно инстертим и в конце onmode -c
стрейс выдает пустоту

# strace -p 2444 -p 2448 -p 2450 -p 2451 -p 2452 -p 2453 -p 2454  -f 2>&1|grep write
мощно инстертим и в конце onmode -c
[pid  2448] pwrite64(256, "\202\231\0\0\1\0i\375\360\0\1\10\330\3d\0\0\0\0\0\0\0\0"..., 2048, 80482304) = 2048
[pid  2448] pwrite64(256, "\203\231\0\0\1\0K\374\272\0\1\10\0\3\24\2\0\0\0\0\0\0\0"..., 2048, 80484352 <unfinished ...>
[pid  2451] pwrite64(256, "I\231\0\0\1\0J\374\0\0\4\10\30\0\344\7\0\0\0\0\0\0\0\0"..., 2048, 80365568 <unfinished ...>
[pid  2450] pwrite64(256, "\202\231\0\0\1\0\204\374\374\0\1\10\10\4\4\0\0\0\0\0\0"..., 2048, 80482304 <unfinished ...>
[pid  2451] <... pwrite64 resumed> )    = 2048
[pid  2448] <... pwrite64 resumed> )    = 2048
[pid  2450] <... pwrite64 resumed> )    = 2048


> onstat -c |grep -i direct_io
DIRECT_IO       1       # Use direct I/O for chunks (Yes = 1, No = 0)
> onstat -g glo
 vp    pid       class       usercpu   syscpu    total   
 1     2559      cpu         2.45      0.43      2.88    
 2     2560      adm         0.00      0.00      0.00    
 3     2561      lio         0.00      0.00      0.00    
 4     2562      pio         0.00      0.00      0.00    
 5     2563      aio         0.00      0.00      0.00    
 6     2564      msc         0.00      0.00      0.00    
 7     2565      aio         0.00      0.00      0.00    
 8     2566      aio         0.00      0.00      0.00    
 9     2567      aio         0.00      0.00      0.00    
 10    2568      aio         0.00      0.00      0.00    
 11    2569      aio         0.00      0.00      0.00    


# strace -p 2559 -p 2563 -p 2565 -p 2566 -p 2567 -p 2568 -p 2569  -f 2>&1|grep write
мощно инстертим и в конце onmode -c
показывает запись в онлайнлог
[pid  2559] write(6, "12:10:36  ", 10)  = 10
[pid  2559] write(6, "Booting Language <spl> from modu"..., 37) = 37

# strace -p 2559 -p 2563 -p 2565 -p 2566 -p 2567 -p 2568 -p 2569  -f 2>&1|grep io_
мощно инстертим и в конце onmode -c
[pid  2559] io_submit(1077178368, 1, {...}) = 1
[pid  2559] io_getevents(1077178368, 1, 100, {}{0, 1000000}) = 0
[pid  2559] io_getevents(1077178368, 1, 100, {}{0, 1000000}) = 0
[pid  2559] io_getevents(1077178368, 1, 100, {...}{0, 1000000}) = 1
[pid  2559] io_submit(1077178368, 1, {...}) = 1
[pid  2559] io_getevents(1077178368, 1, 100, {...}{0, 1000000}) = 1
[pid  2559] io_submit(1077178368, 1, {...}) = 1
[pid  2559] io_getevents(1077178368, 1, 100, {...}{0, 1000000}) = 1
[pid  2559] io_submit(1077178368, 1, {...}) = 1
[pid  2559] io_getevents(1077178368, 1, 100, {...}{0, 1000000}) = 1
[pid  2559] io_submit(1077178368, 1, {...}) = 1
[pid  2559] io_submit(1077178368, 1, {...}) = 1
[pid  2559] io_getevents(1077178368, 1, 100, {...}{0, 0}) = 1
[pid  2559] io_getevents(1077178368, 1, 100, {...}{0, 0}) = 1
[pid  2559] io_submit(1077178368, 1, {...}) = 1
[pid  2559] io_getevents(1077178368, 1, 100, {}{0, 1000000}) = 0
[pid  2559] io_getevents(1077178368, 1, 100, {}{0, 1000000}) = 0
[pid  2559] io_getevents(1077178368, 1, 100, {...}{0, 1000000}) = 1
[pid  2559] io_submit(1077178368, 1, {...}) = 1
[pid  2559] io_getevents(1077178368, 1, 100, {...}{0, 0}) = 1
[pid  2559] io_submit(1077178368, 1, {...}) = 1
[pid  2559] io_getevents(1077178368, 1, 100, {...}{0, 0}) = 1
[pid  2559] io_submit(1077178368, 1, {...}) = 1
[pid  2559] io_getevents(1077178368, 1, 100, {...}{0, 1000000}) = 1
[pid  2559] io_submit(1077178368, 1, {...}) = 1
[pid  2559] io_submit(1077178368, 1, {...}) = 1
[pid  2559] io_getevents(1077178368, 1, 100, {...}{0, 0}) = 1
[pid  2559] io_getevents(1077178368, 1, 100, {...}{0, 0}) = 1

Причем работает уже cpu а не aio как в первом случае.
-----------------------------------------------------------------------------------------------------------------------------------------
А вазелин еще надо заслужить.
...
Рейтинг: 0 / 0
15.04.2008, 12:18
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255684
svat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
svat2
Гость
onstat-
В предыдущем тесте попробуйте поиграться с параметрами упреждающего чтения Informix при использовании RAW , думаю разница очень сильно сократится, може быть даже вы получите
выигрыш на RAW если на предыдущих тестах процессор был достаточно сильно нагружен( больше70-80 %).


Вот данные загрузки системы/процессора/РЕЙДов по последнему тесту:
...
Рейтинг: 0 / 0
15.04.2008, 12:18
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255693
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vasilis
Участник
Журавлев Денис вы настроили размер логического и физического лога как советует информикс, для максимальной эффективности при новых чекпоинтах?
А как советует информикс ?
...
Рейтинг: 0 / 0
15.04.2008, 12:20
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255750
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
vasilis Журавлев Денис вы настроили размер логического и физического лога как советует информикс, для максимальной эффективности при новых чекпоинтах?
А как советует информикс ?

Я криво выразился видимо.

online.log
15:34:54 Performance Advisory: Based on the current workload, the logical log space might be too small to
accommodate the time it takes to flush the buffer pool.
15:34:54 Results: The server might block transactions during checkpoints.
15:34:54 Action: If transactions are blocked during the checkpoint, increase the size of the
logical log space to at least 46200 KB.
...
Рейтинг: 0 / 0
15.04.2008, 12:29
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255773
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
svat2

Покажите-ка
# rpm -qa libaio
libaio-0.3.104-3
...
Рейтинг: 0 / 0
15.04.2008, 12:33
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255774
onstat-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
onstat-
Участник
svat2 onstat-
В предыдущем тесте попробуйте поиграться с параметрами упреждающего чтения Informix при использовании RAW , думаю разница очень сильно сократится, може быть даже вы получите
выигрыш на RAW если на предыдущих тестах процессор был достаточно сильно нагружен( больше70-80 %).


Вот данные загрузки системы/процессора/РЕЙДов по последнему тесту:

На посторойке индексов слишком низкая нагрузка на CPU, думаю общее время постройки
можно сократить в десятки раз если таблицы фрагментированы.
Если не фрагментированы прирост раза в 1,5 -2 получить тоже можно.

Сколько процов?
Фрагментированы ли таблицы?
Настраивался ли PDQ?
...
Рейтинг: 0 / 0
15.04.2008, 12:34
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255805
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vasilis
Участник
onstat- Журавлев Денис onstat-Когда производится индексный поиск, база с помощью упреждающего чтения читает индексное дерево в буфера.
нонсенс.
Мы читаем одну страницу (корневую), далее смотрим что у нее внутри решаем пойти налево, читаем страницу вообще из другого гигабайта, тут не может быть упреждающего чтения, оно только мешает.
То что для индексов используется упреждающее чтение написано в доке,
я когдато уже цитировал .
Хотя могут быть случаи когда оно и не используется.
Господа, вы оба правы :)
RA используется при чтении группы листьевых страниц индекса, когда нужно прочитать ключ "от и до".
...
Рейтинг: 0 / 0
15.04.2008, 12:39
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255828
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
vasilisГоспода, вы оба правы :)
RA используется при чтении группы листьевых страниц индекса, когда нужно прочитать ключ "от и до".ключ? индекс ты хотел сказать.

В терминах офтопа index_range_scan VS index_fast_full_scan

Таким образом прав я в случае oltp должны быть index_range_scan и никакого ra не будет
...
Рейтинг: 0 / 0
15.04.2008, 12:42
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255835
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vasilis
Участник
Журавлев Денис onstat -c |grep -i direct_io
DIRECT_IO 0 # Use direct I/O for chunks (Yes = 1, No = 0)
informix@nag:~> onstat -g glo
...
# strace -p 2444 -p 2448 -p 2450 -p 2451 -p 2452 -p 2453 -p 2454 -f 2>&1|grep io_
мощно инстертим и в конце onmode -c
стрейс выдает пустоту
# strace -p 2444 -p 2448 -p 2450 -p 2451 -p 2452 -p 2453 -p 2454 -f 2>&1|grep write
мощно инстертим и в конце onmode -c
[pid 2448] pwrite64(256, "\202\231\0\0\1\0i\375\360\0\1\10\330\3d\0\0\0\0\0\0\0\0"..., 2048, 80482304) = 2048
...
> onstat -c |grep -i direct_io
DIRECT_IO 1 # Use direct I/O for chunks (Yes = 1, No = 0)
...
# strace -p 2559 -p 2563 -p 2565 -p 2566 -p 2567 -p 2568 -p 2569 -f 2>&1|grep write
мощно инстертим и в конце onmode -c
показывает запись в онлайнлог
[pid 2559] write(6, "12:10:36 ", 10) = 10
[pid 2559] write(6, "Booting Language <spl> from modu"..., 37) = 37

# strace -p 2559 -p 2563 -p 2565 -p 2566 -p 2567 -p 2568 -p 2569 -f 2>&1|grep io_
мощно инстертим и в конце onmode -c
[pid 2559] io_submit(1077178368, 1, {...}) = 1
[pid 2559] io_getevents(1077178368, 1, 100, {}{0, 1000000}) = 0
...
Денис, если не трудно, теперь своими словами сформулируй - что ты хотел показать (доказать) этими данными ? Или кому что доказывал ?
...
Рейтинг: 0 / 0
15.04.2008, 12:43
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255862
svat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
svat2
Гость
Журавлев Денис
Покажите online.log

Вложил.
Добавлю к этому:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
$ onstat -l | head -20
IBM Informix Dynamic Server Version 11.10.FC2TL -- On-Line -- Up 14:01:32 -- 7737844 Kbytes

Physical Logging
Buffer bufused  bufsize  numpages   numwrits   pages/io
  P-2  0        128      3931584    32507      120.95
      phybegin         physize    phypos     phyused    %used
      2:53             3145500    638203     0          0.00

Logical Logging
Buffer bufused  bufsize  numrecs    numpages   numwrits   recs/pages pages/io
  L-1  0        128      1989109    168977     4374       11.8       38.6
        Subsystem    numrecs    Log Space used
        OLDRSAM      1988196    336565196
        HA           913        32868

address          number   flags    uniqid   begin                size     used    %used
1edb8ae50        4        U-B----  4        3:53                50000    50000   100.00
1edb8aeb8        5        U-B----  5        3:50053             50000    50000   100.00
1edb8af20        6        U-B----  6        3:100053            50000    50000   100.00
1edb8af88        7        U-B----  7        3:150053            50000    50000   100.00
1edb73c50        8        U-B----  8        3:200053            50000    50000   100.00
1edb73cb8        9        U-B----  9        3:250053            50000    50000   100.00
1edb73d20        10       U-B----  10       3:300053            50000    50000   100.00
1edb73d88        11       U-B----  11       3:350053            50000    50000   100.00
1edb73df0        12       U-B----  12       3:400053            50000    50000   100.00
1edb73e58        13       U-B----  13       3:450053            50000    50000   100.00
 1edb73ec0        14       U-B----  14       3:500053            50000    50000   100.00
1edb73f28        15       U-B----  15       3:550053            50000    50000   100.00
1edb73f90        16       U-B----  16       3:600053            50000    50000   100.00 
1ed149278        17       U---C-L  17       3:650053            50000    37703    75.41
1ed1492e0        18       A------  0        3:700053            50000        0     0.00
1ed149348        19       A------  0        3:750053            50000        0     0.00


Код: plaintext
1.
2.
3.
4.
5.
6.
$ cat /var/log/informix/online.log | grep "Complete," | tail -4

21:33:40  Logical Log 13 Complete, timestamp: 0x43a8647e.
 07:36:34  Logical Log 14 Complete, timestamp: 0xaf6fb201.
07:36:50  Logical Log 15 Complete, timestamp: 0xaf7bb462.
08:01:49  Logical Log 16 Complete, timestamp: 0xaf87c129.
Журавлев Денис вы настроили размер логического и физического лога как советует информикс, для максимальной эффективности при новых чекпоинтах?

Можно цитату/ссылку/страницу мануала, где можно ознакомиться с теми советами, которые имеются ввиду?
Я учитывал на всякий случай только рекомендацию делать размер физ.лога как минимут 110% от общего объема BUFFERS. Размер же лога транзакций брался с потолка.
...
Рейтинг: 0 / 0
15.04.2008, 12:47
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255868
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
vasilisДенис, если не трудно, теперь своими словами сформулируй - что ты хотел показать (доказать) этими данными ? Или кому что доказывал ?
Я слабо разбираюсь в программировании таких вещей.
И я считал что в случае (DIRECT_IO 1) я увижу pwrite64 с флагом O_DIRECT. Но оказалось что там совсем другой системный вызов (io_submit). Я искренне удивлен, и буду разбираться что происходит, сюда я это написал как информация к размышлению ну например для onstat-.
...
Рейтинг: 0 / 0
15.04.2008, 12:48
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255873
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vasilis
Участник
Журавлев Денис vasilisГоспода, вы оба правы :)
RA используется при чтении группы листьевых страниц индекса, когда нужно прочитать ключ "от и до".ключ? индекс ты хотел сказать.
В терминах офтопа index_range_scan VS index_fast_full_scan
Таким образом прав я в случае oltp должны быть index_range_scan и никакого ra не будет
А почему при index_range_scan не может быть RA ? В чем принципиальная разница ?
...
Рейтинг: 0 / 0
15.04.2008, 12:49
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255886
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
vasilisА почему при index_range_scan не может быть RA ? В чем принципиальная разница ?может, только зачем? читаются рандомные страницы, RA будет безполезен.
...
Рейтинг: 0 / 0
15.04.2008, 12:52
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255899
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vasilis
Участник
Журавлев Денис vasilisДенис, если не трудно, теперь своими словами сформулируй - что ты хотел показать (доказать) этими данными ? Или кому что доказывал ?
Я слабо разбираюсь в программировании таких вещей.
И я считал что в случае (DIRECT_IO 1) я увижу pwrite64 с флагом O_DIRECT. Но оказалось что там совсем другой системный вызов (io_submit). Я искренне удивлен, и буду разбираться что происходит, сюда я это написал как информация к размышлению ну например для onstat-.
Спасибо. Теперь я перестал чувствовать себя... идиотом :))
...
Рейтинг: 0 / 0
15.04.2008, 12:55
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255906
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
svat2
Можно цитату/ссылку/страницу мануала, где можно ознакомиться с теми советами, которые имеются ввиду?
Я учитывал на всякий случай только рекомендацию делать размер физ.лога как минимут 110% от общего объема BUFFERS. Размер же лога транзакций брался с потолка.
Читаете online.log при старте IBM Informix Dynamic Server Started.
В аттаче старта нет.
...
Рейтинг: 0 / 0
15.04.2008, 12:57
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255934
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vasilis
Участник
Журавлев Денис vasilisА почему при index_range_scan не может быть RA ? В чем принципиальная разница ?может, только зачем? читаются рандомные страницы, RA будет безполезен.
Как это рандомные ?
index_range_scan - это чтение группы подряд лежащих индексных страниц с ключами (чтение диапазона значений ключа, тот же битвин). И для этого (чтения диапазона) даже не нужно подниматься на верхний уровень после каждой листьевой страницы - у них есть ссылки на следующую страницу своего уровня.
Другое дело, что диапазоны могут быть разными, в том числе и маленькими, и вполне помещаться на одну или две страницы и для этого RA не понадобится. Но для большого диапазона (или индексов с большими ключами, а значит большим количеством страниц) это будет очень даже полезно. Вот тут и должен помочь прогноз оптимизатора по количеству возвращаемых строк.
...
Рейтинг: 0 / 0
15.04.2008, 13:04
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255937
svat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
svat2
Гость
Журавлев Денис
Покажите-ка
# rpm -qa libaio
libaio-0.3.104-3

Код: plaintext
1.
# dpkg -l | grep libaio
ii  libaio1                           0.3.106-3                            linux kernel aio access library - shared lib
...
Рейтинг: 0 / 0
15.04.2008, 13:05
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35255943
onstat-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
onstat-
Участник
Журавлев Денис vasilisДенис, если не трудно, теперь своими словами сформулируй - что ты хотел показать (доказать) этими данными ? Или кому что доказывал ?
Я слабо разбираюсь в программировании таких вещей.
И я считал что в случае (DIRECT_IO 1) я увижу pwrite64 с флагом O_DIRECT. Но оказалось что там совсем другой системный вызов (io_submit). Я искренне удивлен, и буду разбираться что происходит, сюда я это написал как информация к размышлению ну например для onstat-.


Спасибо, это действительно полезная информация.
Мне тоже в этом нужно еще разбираться.
...
Рейтинг: 0 / 0
15.04.2008, 13:06
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35256009
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vasilis
Участник
onstat-
В предыдущем тесте попробуйте поиграться с параметрами упреждающего чтения Informix при использовании RAW , думаю разница очень сильно сократится, може быть даже вы получите
выигрыш на RAW если на предыдущих тестах процессор был достаточно сильно нагружен( больше70-80 %).
Я НЕ "думаю разница очень сильно сократится" в данном тесте при использовании каких бы то ни было параметров RA (хотя всегда стараюсь его использовать по максимуму :)

onstat-На посторойке индексов слишком низкая нагрузка на CPU, думаю общее время постройки можно сократить в десятки раз если таблицы фрагментированы.
Если не фрагментированы прирост раза в 1,5 -2 получить тоже можно.
Думаю, что на постройке индексов можно сильно сократить время, если использовать FAQ
http://www.sql.ru/faq/faq_topic.aspx?fid=858
В данном случае нужно распараллелить сортировки, а для этого добавить несколько tempdbs (еще 3), увеличить SHMVIRTSIZE (а для 11-й версии есть даже спецпараметр для сортировок), установить PDQPRIORITY и PSORT_NPROCS=4. Кстати, еще сделать CPUVP=4 (по кол-ву ядер)
onstat-Сколько процов?
Один, но 4-х ядерный, если я правильно помню
onstat-Фрагментированы ли таблицы?
вроде нет, но для блочных устройств было то же самое - не забывайте, тест проводился именно для сравнения ("RAW device" vs "BLOCK device"), а не для поиска оптимального времени загрузки.
Я правильно говорю, svat2 ? :)
onstat-Настраивался ли PDQ?
Только для US.
...
Рейтинг: 0 / 0
15.04.2008, 13:25
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35256088
onstat-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
onstat-
Участник
vasilis
onstat-Фрагментированы ли таблицы?
вроде нет, но для блочных устройств было то же самое - не забывайте, тест проводился именно для сравнения ("RAW device" vs "BLOCK device"), а не для поиска оптимального времени загрузки.
Я правильно говорю, svat2 ? :)


Правильно то оно правильно, вот только нет никакого толку от эксперемента,
когда значения погрешности превосходит значения измеряемой величины.

Прежде чем сравнивать производительность BLOCK vs RAW нужно оценить
уровень погрешностей.

Абсолютная величина и причины недозагрузки процессора(на постройке индекса)
вносит гораздо большее влияние на производительность(погрешность) чем разница в производительности BLOCK vs RAW.

В иделале постройку индекса нужно сравнивать при нагрузке процессоров ~100%.
Тогда разница во времени будет показательна.

По этой причине и возник вопрос.
...
Рейтинг: 0 / 0
15.04.2008, 13:48
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35256271
svat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
svat2
Гость
onstat-
Сколько процов?
Фрагментированы ли таблицы?
Настраивался ли PDQ?

1) Проц 1, 4х-ядерный (я указывал выше)
2) дайте запрос, данные которого Вас интересуют по этому поводу
3) кроме нижеуказанного, ничего не делалось
Код: plaintext
1.
2.
3.
$ onstat -c | grep -i pdq
MAX_PDQPRIORITY   90    # Maximum allowed pdqpriority
DS_NONPDQ_QUERY_MEM 128         # Non PDQ query memory (Kbytes)
...
Рейтинг: 0 / 0
15.04.2008, 14:27
| Ответить | Цитировать | Написать  
"RAW device" vs "BLOCK device"
    #35256293
svat2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
svat2
Гость
Журавлев Денис
Читаете online.log при старте IBM Informix Dynamic Server Started.
В аттаче старта нет.

последний старт был с такими "ругательствами":

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
Mon Apr 14 21:34:41 2008

21:34:41  Event alarms enabled.  ALARMPROG = '/usr/local/informix/etc/alarmprogram.sh'
21:34:41  Booting Language <c> from module <>
21:34:41  Loading Module <CNULL>
21:34:41  Booting Language <builtin> from module <>
21:34:41  Loading Module <BUILTINNULL>
21:34:45  DR: DRAUTO is 0 (Off)
21:34:45  DR: ENCRYPT_HDR is 0 (HDR encryption Disabled)
21:34:45  Event notification facility epoll enabled.
21:34:45  IBM Informix Dynamic Server Version 11.10.FC2TL Software Serial Number AAA#B000000
21:34:46  IBM Informix Dynamic Server Initialized -- Shared Memory Initialized.
21:34:46  Started 1 btree scanners.
21:34:46  Btree scanner threshold set at 50000.
21:34:46  Btree scanner range scan size set to 10000.
21:34:46  Btree scanner ALICE mode set to 0.
21:34:46  Physical Recovery Started at Page (2:2965167).
21:34:47  Physical Recovery Complete: 0 Pages Examined, 0 Pages Restored.
21:34:47  Logical Recovery Started.
21:34:47  10 recovery worker threads will be started.
21:34:50  Logical Recovery has reached the transaction cleanup phase.
21:34:50  Logical Recovery Complete.
          0 Committed, 0 Rolled Back, 0 Open, 0 Bad Locks

21:34:52  Onconfig parameter BUFFERPOOL modified from
size=2K,buffers=3500000,lrus=128,lru_min_dirty=94.500000,lru_max_dirty=95.000000 to
size=2K,buffers=3000000,lrus=128,lru_min_dirty=94.500000,lru_max_dirty=95.000000.
21:34:52  Dataskip is now OFF for all dbspaces
21:34:52  On-Line Mode
21:34:54  SCHAPI: Started dbScheduler thread.
21:34:54  SCHAPI: Started 2 dbWorker threads.
21:35:05  Booting Language <spl> from module <>
21:35:05  Loading Module <SPLNULL>
21:35:52  Checkpoint Completed:  duration was 0 seconds.
21:35:52  Mon Apr 14 - loguniq 14, logpos 0x4929018, timestamp: 0x43afecc1 Interval: 3639
...
Рейтинг: 0 / 0
15.04.2008, 14:34
| Ответить | Цитировать | Написать  
25 сообщений из 66, страница 2 из 3
  2  все
Форумы / Informix [игнор отключен] [закрыт для гостей] / "RAW device" vs "BLOCK device"
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]