Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec / Informix

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / Informix [игнор отключен] [закрыт для гостей] / Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

61 сообщений из 61, показаны все 3 страниц

все

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722459

vvt1

Гость

Доброго дня.

Код: plaintext

1.
2.
3.
4.
5.
6.

Попалась тут в руки Supermicro, платформа SSG-6047R-E1R24L.
Состав:
CPU 2xE5-2637 3.50GHz (16 ядер суммарно)
MEM 8x8Gb
DISK 24x2Tb ATA WDC WD2000FYYZ-0
OS: Linux.
IDS: 12.10.FC1

Построен RAID-10 на 22-х дисках, чисто под Informix chunks.
Stripe Size на RAID сейчас 4Kb (до этого было 512, 16).

Экспериментируем. Берем dbexport с IDS 7.31FD10.

Наблюдаем трансфер данных при dbimport (да навсякий случай, еще и dbload пробуем) - низкий, порядка 1,5Mb/sec в пиках при обоих методах. ВАЖНО - база в обоих случаях не в логируемом режиме (dbimport без всяких ключиков -l)!
При этом, например, в случае построения индекса трансфер видели порядка 300Mb/sec при заливке сортированных данных. При этом же исполнение dd на RAID-10 дает пики порядка 1,5Tb/sec (сейчас запустили тест с разными блоками, приложу позже).

Chunks у нас RAW (пробовали и на cooked с DIRECT_IO 1, разницы не узрели) - тоже без разницы для dbimport или dbload, все те же 1,5Mb/sec в пике, в среднем 1Mb/sec - 1,2Mb/sec.

С размерностями страниц DBSpace так же играли, сейчас 8Kb, было 18Kb и по-моему ставили 4Kb - стабильно 1,5Mb/sec в пике.

PHYSFILE - увеличивали, начинали с 2Gb (в продуктиве занчительно меньше) и до 20Gb, как это описывалось в Migration Guide не менее 2Gb (число 20Gb у нас как-то по авторасчетам проскользнуло в Performance Advisory online.log, но найти не могу, мож потерли). По onstat -l на загрузке я и не видел, чтоб оно использовалось и размер на скорость не повлиял, те же 1,5Mb/sec в пиках.

LRU зажимали, ставили lru_min_dirty=1,lru_max_dirty=5. Нет разницы с lru_min_dirty=50,lru_max_dirty=60.

CLEANERS и LRUS - меняли. Догоняли до 64 - без результативно, да и нет там очередей на сброс, вроде как.

То, что находил на iiug.org от Art Kegel тоже не помогло:

Код: plaintext

setenv FET_BUF_SIZE 32767
setenv PSORT_MAXALLOC 10240

И вкупе с

Код: plaintext

1.
2.

setenv PDQPRIORITY 100
setenv PSORT_NPROCS 14

вобщем, все те же 1,5Mb/sec ...

Собственно вопрос, есть ли возможность это как-то раскочегарить или это предел?
А то, если так экспортировать данные (вместе с индексами, конечно же) БД размерностью в 1,2Tb - то на это уйдет 4 дня и 20 часов. Плюс потом время на процедуры, триггеры, вьюшки, синонимы и апдейт статистики оптимизатора - но это уже мелочь на общем фоне.

Файл конфигурации, не раз правленый, тоже прилагаю.

...

Рейтинг:

0 / 0

18.08.2014, 13:41

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722474

vvt1

Гость

Да, на 4Kb Stripe Size в RAID-10 все печальнее намного, чем на 512K.

Замер по dd:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.

Block                 Speed   
2 kbytes            27.4 MB/s
4 kbytes            45.2 MB/s
8 kbytes            73.4 MB/s
16 kbytes           145  MB/s
32 kbytes           227  MB/s
64 kbytes           273  MB/s
128 kbytes          316  MB/s
256 kbytes          345  MB/s
512 kbytes          354  MB/s
1024 kbytes         359  MB/s

...

Рейтинг:

0 / 0

18.08.2014, 13:51

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722480

vvt1

Гость

Да, на 4K stripe size RAID-10, dbimport рисует в пике те же 1,5Mb/sec.
Т.е. как бы выходит, что stripe size массива вообще на это не влияет.

...

Рейтинг:

0 / 0

18.08.2014, 13:53

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722655

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

рейд аппаратный (шедулер noop) ? рандомы меряли?

fio -name iops -rw=randwrite -bs=4096 -size=10G -iodepth=20 -runtime=100 -directory /testfio -ioengine libaio -direct=1
fio -name iops -rw=randread -bs=4096 -size=10G -iodepth=20 -runtime=100 -directory /testfio -ioengine libaio -direct=1

...

Рейтинг:

0 / 0

18.08.2014, 16:05

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722661

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

vvt1Да, на 4Kb Stripe Size в RAID-10 все печальнее намного, чем на 512K.

Замер по dd:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.

Block                 Speed   
2 kbytes            27.4 MB/s
4 kbytes            45.2 MB/s
8 kbytes            73.4 MB/s
16 kbytes           145  MB/s
32 kbytes           227  MB/s
64 kbytes           273  MB/s
128 kbytes          316  MB/s
256 kbytes          345  MB/s
512 kbytes          354  MB/s
1024 kbytes         359  MB/s��

dd oflag=direct я надеюсь?

...

Рейтинг:

0 / 0

18.08.2014, 16:07

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722664

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

есть снятые во время заливки sar -d или iostat ? они показвают иопсы и % утилизации

...

Рейтинг:

0 / 0

18.08.2014, 16:10

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722676

vvt1

Гость

Журавлев Денисрейд аппаратный (шедулер noop) ? рандомы меряли?

fio -name iops -rw=randwrite -bs=4096 -size=10G -iodepth=20 -runtime=100 -directory /testfio -ioengine libaio -direct=1
fio -name iops -rw=randread -bs=4096 -size=10G -iodepth=20 -runtime=100 -directory /testfio -ioengine libaio -direct=1

Software RAID.
Пакет fio не ставили, посмотрим.

Журавлев Денисdd oflag=direct я надеюсь?

Да, кэш ФС выключен у dd был.

Журавлев Денисесть снятые во время заливки sar -d или iostat ? они показвают иопсы и % утилизации

Сам iostat не сохраняли. Снимем.
sar тоже не ставили, но интереса ради поставим.
Выводы тогда чуть позже приложу.

...

Рейтинг:

0 / 0

18.08.2014, 16:21

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722705

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

vvt1Software RAID.
как создавали? bitmap надеюсь не задавали? попробуйте еще создать рейд с --layout=f2

...

Рейтинг:

0 / 0

18.08.2014, 16:53

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722740

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

Журавлев Денис попробуйте еще создать рейд с --layout=f2хотя на 22 дисках наверно не стоит. И вообще сколько дисков в сервере 24? я бы оставил минимум два на hotspare

...

Рейтинг:

0 / 0

18.08.2014, 17:14

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722788

vvt1

Гость

Журавлев ДенисЖуравлев Денис попробуйте еще создать рейд с --layout=f2хотя на 22 дисках наверно не стоит. И вообще сколько дисков в сервере 24? я бы оставил минимум два на hotspare

Примерно так и будет. Пара уйдет зеркалом на систему, пара в хотспару и 20-ка на чанковое зеркало.
Сейчас без всяких хотов.

Странность то вот в чем выходит, что порядки I/O на порядки разнятся.
Чистый dd гонит трансфера более, чем dbimort/dbload - скорость у которых вообще ни как не меняется на различных конфигурациях.
Мало того, вообще ересь скажу - пробовали на RAID-5 из 4-х ATA дисков ("любимая конфигурация" RAID у Кегеля) - трансфер тот же порядка 1,5Mb/sec.

...

Рейтинг:

0 / 0

18.08.2014, 17:41

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722832

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

вот тут мне не понятно

BUFFERPOOL default,buffers=10000,lrus=8,lru_min_dirty=50.00,lru_max_dirty=60.50
BUFFERPOOL size=2K,buffers=200000,lrus=8,lru_min_dirty=50.00,lru_max_dirty=60.00
BUFFERPOOL size=8K,buffers=400000,lrus=8,lru_min_dirty=50,lru_max_dirty=60

вы спейсы создаете с другим размером страницы? Зачем вам два пула?

и почему при 64гигах, вы используете только 4

...

Рейтинг:

0 / 0

18.08.2014, 18:09

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722852

vvt1

Гость

Это уже на "затюненом" RAID-10 со stripe 4K. Кегел Арт рекомендовал 32K (надо попробовать будет, наверное).
С fio не работал раньше, пока ещё не вкурил на что там надо хорошо смотреть.

Случайная запись:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.

 # fio -name iops -rw=randwrite -bs=4096 -size=10G -iodepth=20 -runtime=100 -directory /mnt/backup/ -ioengine libaio -direct=1 

iops: (g=0): rw=randwrite, bs=4K-4K/4K-4K, ioengine=libaio, iodepth=20
2.0.8
Starting 1 process
Jobs: 1 (f=1): [w] [100.0% done] [0K/19632K /s] [0 /4908  iops] [eta 00m:00s]
iops: (groupid=0, jobs=1): err= 0: pid=9730
  write: io=1965.2MB, bw=20121KB/s, iops=5030 , runt=100011msec
    slat (usec): min=4 , max=21257 , avg=20.78, stdev=32.03
    clat (usec): min=47 , max=55412 , avg=3950.78, stdev=3909.24
     lat (usec): min=87 , max=55442 , avg=3971.92, stdev=3909.21
    clat percentiles (usec):
     |  1.00th=[  106],  5.00th=[  118], 10.00th=[  189], 20.00th=[  788],
     | 30.00th=[ 1752], 40.00th=[ 2480], 50.00th=[ 2960], 60.00th=[ 3696],
     | 70.00th=[ 4640], 80.00th=[ 5984], 90.00th=[ 8640], 95.00th=[11584],
     | 99.00th=[18304], 99.50th=[21632], 99.90th=[30336], 99.95th=[34560],
     | 99.99th=[43776]
    bw (KB/s)  : min=18776, max=30968, per=100.00%, avg=20129.48, stdev=900.59
    lat (usec) : 50=0.01%, 100=0.57%, 250=10.06%, 500=4.23%, 750=4.27%
    lat (usec) : 1000=4.26%
    lat (msec) : 2=9.05%, 4=31.21%, 10=29.07%, 20=6.56%, 50=0.71%
    lat (msec) : 100=0.01%
  cpu          : usr=2.79%, sys=12.16%, ctx=456948, majf=0, minf=22
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=100.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0%
     issued    : total=r=0/w=503073/d=0, short=r=0/w=0/d=0

Run status group 0 (all jobs):
  WRITE: io=1965.2MB, aggrb=20120KB/s, minb=20120KB/s, maxb=20120KB/s, mint=100011msec, maxt=100011msec

Disk stats (read/write):
    dm-112: ios=0/502163, merge=0/0, ticks=0/1981951, in_queue=1982106, util=100.00%, aggrios=0/503075, aggrmerge=0/0, aggrticks=0/0, aggrin_queue=0, aggrutil=0.00%
    md127: ios=0/503075, merge=0/0, ticks=0/0, in_queue=0, util=0.00%, aggrios=0/45735, aggrmerge=0/0, aggrticks=0/138211, aggrin_queue=138187, aggrutil=66.37%
  sdk: ios=0/45531, merge=0/0, ticks=0/114481, in_queue=114452, util=54.04%
  sds: ios=0/45960, merge=0/0, ticks=0/156132, in_queue=156098, util=60.76%
  sdr: ios=0/46012, merge=0/0, ticks=0/153010, in_queue=152983, util=60.30%
  sdl: ios=0/45531, merge=0/0, ticks=0/128348, in_queue=128338, util=56.28%
  sdo: ios=0/45561, merge=0/0, ticks=0/139896, in_queue=139865, util=57.92%
  sde: ios=0/45559, merge=0/0, ticks=0/120147, in_queue=120102, util=55.70%
  sdp: ios=0/45561, merge=0/0, ticks=0/139265, in_queue=139245, util=57.49%
  sdv: ios=0/45641, merge=0/0, ticks=0/234999, in_queue=234980, util=66.37%
  sdc: ios=0/46006, merge=0/0, ticks=0/123699, in_queue=123670, util=56.17%
  sdu: ios=0/45641, merge=0/0, ticks=0/122273, in_queue=122254, util=55.24%
  sdt: ios=0/45960, merge=0/0, ticks=0/125016, in_queue=124993, util=56.28%
  sdn: ios=0/45868, merge=0/0, ticks=0/125965, in_queue=125947, util=56.84%
  sdd: ios=0/46006, merge=0/0, ticks=0/120682, in_queue=120671, util=55.45%
  sdj: ios=0/45946, merge=0/0, ticks=0/136672, in_queue=136657, util=57.82%
  sdq: ios=0/46012, merge=0/0, ticks=0/126220, in_queue=126196, util=56.87%
  sdg: ios=0/45255, merge=0/0, ticks=0/108591, in_queue=108563, util=51.92%
  sdh: ios=0/45255, merge=0/0, ticks=0/105655, in_queue=105638, util=50.70%
  sdf: ios=0/45559, merge=0/0, ticks=0/163564, in_queue=163548, util=61.45%
  sdw: ios=0/45747, merge=0/0, ticks=0/124047, in_queue=124023, util=55.75%
  sdm: ios=0/45868, merge=0/0, ticks=0/130654, in_queue=130630, util=57.11%
  sdi: ios=0/45946, merge=0/0, ticks=0/206888, in_queue=206852, util=64.47%
  sdx: ios=0/45747, merge=0/0, ticks=0/134441, in_queue=134426, util=57.18%

Случайное чтение:

Код: plaintext

 # fio -name iops -rw=randread -bs=4096 -size=10G -iodepth=20 -runtime=100 -directory /mnt/backup/ -ioengine libaio -direct=1 

iops: (g=0): rw=randread, bs=4K-4K/4K-4K, ioengine=libaio, iodepth=20
2.0.8
Starting 1 process
Jobs: 1 (f=1): [r] [100.0% done] [10825K/0K /s] [2706 /0  iops] [eta 00m:00s]
iops: (groupid=0, jobs=1): err= 0: pid=9738
  read : io=1060.4MB, bw=10857KB/s, iops=2714 , runt=100014msec
    slat (usec): min=5 , max=62 , avg=17.97, stdev=10.95
    clat (usec): min=53 , max=75504 , avg=7348.04, stdev=4623.14
     lat (usec): min=64 , max=75514 , avg=7366.29, stdev=4623.15
    clat percentiles (usec):
     |  1.00th=[ 1368],  5.00th=[ 2040], 10.00th=[ 2640], 20.00th=[ 3728],
     | 30.00th=[ 4768], 40.00th=[ 5728], 50.00th=[ 6688], 60.00th=[ 7648],
     | 70.00th=[ 8512], 80.00th=[ 9536], 90.00th=[12480], 95.00th=[15936],
     | 99.00th=[24704], 99.50th=[28544], 99.90th=[38144], 99.95th=[42752],
     | 99.99th=[52992]
    bw (KB/s)  : min=10360, max=11264, per=100.00%, avg=10863.46, stdev=175.12
    lat (usec) : 100=0.04%, 250=0.01%, 500=0.01%, 750=0.02%, 1000=0.11%
    lat (msec) : 2=4.50%, 4=17.86%, 10=60.56%, 20=14.67%, 50=2.22%
    lat (msec) : 100=0.02%
  cpu          : usr=1.30%, sys=5.56%, ctx=247413, majf=0, minf=43
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=100.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0%
     issued    : total=r=271456/w=0/d=0, short=r=0/w=0/d=0

Run status group 0 (all jobs):
   READ: io=1060.4MB, aggrb=10856KB/s, minb=10856KB/s, maxb=10856KB/s, mint=100014msec, maxt=100014msec

Disk stats (read/write):
    dm-112: ios=270924/1, merge=0/0, ticks=1993241/124, in_queue=1993531, util=100.00%, aggrios=271456/1, aggrmerge=0/0, aggrticks=0/0, aggrin_queue=0, aggrutil=0.00%
    md127: ios=271456/1, merge=0/0, ticks=0/0, in_queue=0, util=0.00%, aggrios=12338/2, aggrmerge=0/0, aggrticks=90778/58, aggrin_queue=90832, aggrutil=71.03%
  sdk: ios=13356/2, merge=0/0, ticks=95331/50, in_queue=95379, util=70.09%
  sds: ios=13385/2, merge=0/0, ticks=97509/49, in_queue=97555, util=70.73%
  sdr: ios=11409/2, merge=0/0, ticks=86883/92, in_queue=86973, util=59.55%
  sdl: ios=11284/2, merge=0/0, ticks=84944/36, in_queue=84979, util=58.72%
  sdo: ios=13300/2, merge=0/0, ticks=96774/49, in_queue=96821, util=70.66%
  sde: ios=13279/2, merge=0/0, ticks=96010/79, in_queue=96088, util=70.37%
  sdp: ios=11241/2, merge=0/0, ticks=83951/39, in_queue=83990, util=58.65%
  sdv: ios=11438/2, merge=0/0, ticks=85296/45, in_queue=85335, util=59.10%
  sdc: ios=13385/3, merge=0/0, ticks=95120/124, in_queue=95237, util=70.40%
  sdu: ios=13416/2, merge=0/0, ticks=97323/39, in_queue=97356, util=70.87%
  sdt: ios=11338/2, merge=0/0, ticks=84452/43, in_queue=84492, util=58.82%
  sdn: ios=11299/2, merge=0/0, ticks=86569/65, in_queue=86628, util=59.28%
  sdd: ios=11391/3, merge=0/0, ticks=87483/46, in_queue=87525, util=59.69%
  sdj: ios=11429/2, merge=0/0, ticks=87268/70, in_queue=87334, util=59.13%
  sdq: ios=13404/2, merge=0/0, ticks=96123/72, in_queue=96193, util=70.62%
  sdg: ios=13282/2, merge=0/0, ticks=92335/39, in_queue=92368, util=69.10%
  sdh: ios=10979/2, merge=0/0, ticks=81466/62, in_queue=81522, util=57.08%
  sdf: ios=11335/2, merge=0/0, ticks=86368/57, in_queue=86420, util=59.21%
  sdw: ios=13471/2, merge=0/0, ticks=97238/67, in_queue=97303, util=70.77%
  sdm: ios=13347/2, merge=0/0, ticks=96347/53, in_queue=96395, util=71.03%
  sdi: ios=13402/2, merge=0/0, ticks=95233/55, in_queue=95288, util=70.40%
  sdx: ios=11286/2, merge=0/0, ticks=87094/47, in_queue=87136, util=59.98%

В /mnt/backup примаунчен кусок с RAID-10

...

Рейтинг:

0 / 0

18.08.2014, 18:29

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722864

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

iops=5030

все ок, 20 дисков * 250 iops

...

Рейтинг:

0 / 0

18.08.2014, 18:39

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722865

vvt1

Гость

Журавлев Денисвот тут мне не понятно

BUFFERPOOL default,buffers=10000,lrus=8,lru_min_dirty=50.00,lru_max_dirty=60.50
BUFFERPOOL size=2K,buffers=200000,lrus=8,lru_min_dirty=50.00,lru_max_dirty=60.00
BUFFERPOOL size=8K,buffers=400000,lrus=8,lru_min_dirty=50,lru_max_dirty=60

вы спейсы создаете с другим размером страницы? Зачем вам два пула?

и почему при 64гигах, вы используете только 4

BUFFERPOOL -- это для меня после 7.31 вообще за гранью понимания. Тут правда уже не моя правка, возможно уже кто-то тоже подтюнил, но безрезультатно. Памяти, да, сюда можно отдать больше. Кстати, как IDS12 считает. Он складывает все BUFFERPOOL, для разных страниц или иначе? Ведь, например, те же Logical logs DBSpace, Root DBSpace они могут быть только с 2K страницами.

С другой стороны, как пишут в том же Migration Guide, что конфигурация для dbimort может отличаться от конфигурации для Product System. Т.е. я к тому, что не совсем понятно, как BUFFERPOOL может повлиять на скорость загрузки данных? Ну, там при индексации, когда будут идти чтения/сортировки, он еще может пригодится. Но вот при чистом dbimport/dbload, что-то не ясно.

...

Рейтинг:

0 / 0

18.08.2014, 18:40

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722879

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

еще раз:
>вы спейсы создаете с другим размером страницы?

onstat -d

...

Рейтинг:

0 / 0

18.08.2014, 18:50

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722880

vvt1

Гость

Журавлев Денисвы спейсы создаете с другим размером страницы? Зачем вам два пула?

Да, спейсы создаются с 8K страницами. Вообще, опять же в том Migration Guide пишут, что для больших таблиц желательно задавать 16K страницы (точнее там для больших таблиц - больше размер страницы рекомендован). Но тот же rootdbs и спейс для журналов, он не может быть отличным от 2K страницы. А default в BUFFERPOOL я вообще смутно представляю к какой страничности относится. Кажется, что к 2K, но не факт. Ибо, он определяет шаблон для страниц системы. Что-то я совсем не пойму это положение:
a default entry from which to base new page size entries on, and an entry for the operating system default page size.

А вообще, что применяют в новейшем информиксе сейчас? У меня в 7.31 такого механизма не было. Просто вот пытаемсо съехать, хотя бы из-за того, что уже половину из возможного числа чанков уже выбрали.

...

Рейтинг:

0 / 0

18.08.2014, 18:53

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722885

vvt1

Гость

Журавлев Денисеще раз:
>вы спейсы создаете с другим размером страницы?

onstat -d

onstat -d -- в текущей конфигурации не совсем принципиален, в своем количестве, т.к. скорость импорта мала. Но тем не менее приведу. Да, страницы у нас разные 2K и 8K. Выше я отписал причину.

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.

IBM Informix Dynamic Server Version 12.10.FC1 -- On-Line -- Up 06:26:13 -- 4563444 Kbytes

Dbspaces
address          number   flags      fchunk   nchunks  pgsize   flags    owner    name
13b40d028        1        0x70001    1        1        2048     N  BA    informix rootdbs
14105b7d0        2        0x70001    2        1        2048     N  BA    informix logdbs
14105b978        3        0x42001    3        1        8192     N TBA    informix tempdbs
14105bb20        4        0x60001    4        1        8192     N  BA    informix maindbs
14105bcc8        5        0x60001    5        1        8192     N  BA    informix subdbs
14105be70        6        0x60001    6        1        8192     N  BA    informix othrdbs
14105c028        7        0x60001    7        1        8192     N  BA    informix tlogdbs
14105c1d0        8        0x60001    8        1        8192     N  BA    informix operdbs
14105c378        9        0x60001    9        1        8192     N  BA    informix kazndoc
14105c520        10       0x60001    10       1        8192     N  BA    informix docdbs
14105c6c8        11       0x60001    11       1        8192     N  BA    informix docdbs2
14105c870        12       0x60001    12       1        8192     N  BA    informix kazndoc2
14105ca18        13       0x60001    13       1        8192     N  BA    informix idxdbs
14105cbc0        14       0x60001    14       1        8192     N  BA    informix docdbs3
14105cd68        15       0x60001    15       1        8192     N  BA    informix docdbs4
14105e028        16       0x60001    16       1        8192     N  BA    informix docdbs5
14105e1d0        17       0x60001    17       1        8192     N  BA    informix treesdoc17
14105e378        18       0x60001    18       1        8192     N  BA    informix treesdoc13
14105e520        19       0x60001    19       1        8192     N  BA    informix maindbs_3
14105e6c8        20       0x60001    20       1        8192     N  BA    informix maindbs_4
14105e870        21       0x60001    21       1        8192     N  BA    informix kmpsdbs_1
14105ea18        22       0x60001    22       1        8192     N  BA    informix maindbs_6
14105ebc0        23       0x42001    23       1        8192     N TBA    informix tempdbs1
14105ed68        24       0x42001    24       1        8192     N TBA    informix tempdbs2
141060028        25       0x42001    25       1        8192     N TBA    informix tempdbs3
1410601d0        26       0x60001    26       1        2048     N  BA    informix llogdbs
141060378        27       0x60001    27       1        8192     N  BA    informix maindbs_7
141060520        28       0x60001    28       1        8192     N  BA    informix maindbs_8
1410606c8        29       0x60001    29       1        8192     N  BA    informix maindbs_9
141060870        30       0x60001    30       1        8192     N  BA    informix maindbs_10
141060a18        31       0x60001    31       1        8192     N  BA    informix maindbs_11
141060bc0        32       0x60001    32       1        8192     N  BA    informix maindbs_12
141060d68        33       0x60001    33       1        8192     N  BA    informix treesdoc01
141061028        34       0x60001    34       1        8192     N  BA    informix treesdoc02
. . .
[и так далее, если принципиально, то приведу полностью, но IMHO не принципиально]

То что Вы хотели увидеть, я подсветил.

...

Рейтинг:

0 / 0

18.08.2014, 18:57

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38722892

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

vvt1То что Вы хотели увидеть, я подсветил.ок, верю. А чем вы скорость меряете, откуда число 1,5 Mb/sec ? Сколько времени, какой размер заливали?

...

Рейтинг:

0 / 0

18.08.2014, 19:09

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38723367

vvt1

Гость

Журавлев Денисок, верю. А чем вы скорость меряете, откуда число 1,5 Mb/sec ? Сколько времени, какой размер заливали?

Скорость смотрели через iostat. В Linux он не такой информативный как в Solaris, либо просто дело привычки. Но скажем для dd в iostat показатели были на порядки выше, чем при dbimport.

Заливали, что-то около 26Gb (выгрузка на ФС в районе 11Gb) в размерах Informix. Я специально урезал всю БД до одной таблицы, чтоб тестировать скорость, ну чтоб нашу терабайтную не гонять.

Структура такая (табличку по полям урежу, чтоб не занимать место, serial поля в ней нет):

Код: plsql

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.

{ DATABASE test01  delimiter | }

grant dba to "informix";
grant connect to "public";

{ TABLE logredoc row size = 396 number of columns = 38 index size = 122 }
{ unload file name = logre09988.unl number of rows = 27972982 }

create table logredoc 
  (
. . .
  ) in docdbs extent size 400000 next size 100000 lock mode row;
revoke all on logredoc from "public";

create index time on logredoc (time);
create index logreedcr on logredoc (datecrea,crsubacc);
create index lgrdtcr on logredoc (datecrea);    
create index logreesf on logredoc (father);
create index logreeddb on logredoc (datecrea,dbsubacc);
create index numd on logredoc (numdoc);

...

Рейтинг:

0 / 0

19.08.2014, 12:36

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38723406

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

уберите создание индексов, импортните и замерьте время

...

Рейтинг:

0 / 0

19.08.2014, 13:01

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38723452

vvt1

Гость

Журавлев Денисуберите создание индексов, импортните и замерьте время

Первое, что бросилось в глаза при iostat -xznm 5 , естественно это не первый вывод команды:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
sdd               0,00     0,20    0,00  161,80     0,00     0,10     1,21     0,15    0,94   0,84  13,62
sda               0,00     0,00    0,00    0,20     0,00     0,00     1,00     0,00   16,00  16,00   0,32
sdf               0,00     0,60    0,00  161,20     0,00     0,10     1,22     0,16    0,98   0,86  13,82
sdc               0,00     0,20    0,00  161,80     0,00     0,10     1,21     0,14    0,88   0,82  13,34
sde               0,00     0,20    0,00  161,80     0,00     0,10     1,22     0,17    1,04   0,97  15,74
sdj               0,00     1,00    0,00  162,60     0,00     0,10     1,27     0,17    1,07   0,94  15,26
sdk               0,00     0,80    0,00  162,20     0,00     0,10     1,24     0,19    1,15   1,07  17,32
sds               0,00     0,80    0,00  162,60     0,00     0,10     1,24     0,19    1,15   1,08  17,48
sdg               0,00     0,80    0,00  162,20     0,00     0,10     1,23     0,17    1,05   0,92  14,96
sdn               0,00     0,60    0,00  161,60     0,00     0,09     1,20     0,17    1,05   0,95  15,28
sdl               0,00     0,60    0,00  162,40     0,00     0,10     1,24     0,18    1,12   1,03  16,78
sdh               0,00     0,80    0,00  162,20     0,00     0,10     1,23     0,16    0,98   0,86  14,02
sdm               0,00     0,60    0,00  161,80     0,00     0,09     1,20     0,14    0,88   0,75  12,10
sdt               0,00     0,80    0,00  162,40     0,00     0,10     1,24     0,16    0,99   0,90  14,66
sdo               0,00     0,60    0,00  161,60     0,00     0,09     1,20     0,18    1,11   1,00  16,14
sdp               0,00     0,40    0,00  161,80     0,00     0,09     1,20     0,16    1,01   0,91  14,80
sdb               0,00     0,00    0,00    0,20     0,00     0,00     1,00     0,00   15,00  15,00   0,30
sdv               0,00     0,40    0,00  163,00     0,00     0,10     1,25     0,17    1,06   0,97  15,82
sdw               0,00     0,40    0,00  162,20     0,00     0,10     1,21     0,17    1,02   0,85  13,82
sdx               0,00     0,60    0,00  162,00     0,00     0,10     1,21     0,14    0,89   0,74  12,06
sdi               0,00     0,80    0,00  162,80     0,00     0,10     1,27     0,14    0,86   0,77  12,48
sdu               0,00     0,60    0,00  162,80     0,00     0,10     1,25     0,17    1,03   0,94  15,36
sdq               0,00     0,40    0,00  161,80     0,00     0,10     1,22     0,14    0,89   0,78  12,70
sdr               0,00     0,60    0,00  161,60     0,00     0,10     1,22     0,17    1,08   1,00  16,24
md127             0,00     0,00    0,00  416,40     0,00     1,07     5,25     0,00    0,00   0,00   0,00
dm-106            0,00     0,00    0,00  416,40     0,00     1,07     5,25     6,11   21,57   2,40  99,98

На md127, который и есть RAID-10 видим сейчас 5Mb/sec. Там cpr что-то оттюнил, я конфиг не смотрел еще. С другой стороны Stripe=4K все-таки мало...

Попробую еще до тестовой на Solaris добраться, чтоб там посмотреть.

...

Рейтинг:

0 / 0

19.08.2014, 13:43

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38723466

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

у вас все отлично util 0%, нет никакого io -- rqm/s == 0

vvt1На md127, который и есть RAID-10 видим сейчас 5Mb/sec.ну правильно, не пишет и не читает ваш информикс ничего.

vvt1С другой стороны Stripe=4K все-таки мало...все-таки вы ничего не понимаете про страйп и рейды. Все у вас отлично с диском.

...

Рейтинг:

0 / 0

19.08.2014, 13:56

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38723496

aist-psk

Участник

Откуда: где-то возле балтики

Сообщения: 764

Рейтинг: 0 / 0

Размер страйпа

Размер страницы базы данных умноженный на количество зеркал в массиве. Например, если в массиве 8 дисков, объединенных в четыре зеркала по два диска, а размер страницы базы данных равен 8К, то размер страйпа следует выставить в 8 * 4 = 32К.

...

Рейтинг:

0 / 0

19.08.2014, 14:22

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38723559

vvt1

Гость

Журавлев Денису вас все отлично util 0%, нет никакого io -- rqm/s == 0

vvt1На md127, который и есть RAID-10 видим сейчас 5Mb/sec.ну правильно, не пишет и не читает ваш информикс ничего.

Тут я промахнулся. Там чтение 0, запись 1,07Mb/sec

Журавлев Денисvvt1С другой стороны Stripe=4K все-таки мало...все-таки вы ничего не понимаете про страйп и рейды. Все у вас отлично с диском.

Да, я и не скрывал этого.

...

Рейтинг:

0 / 0

19.08.2014, 15:09

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38723644

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

vvt1Тут я промахнулся. Там чтение 0, запись 1,07Mb/secя говорю в очереди к диску все по нулям, у вас может сама утилита dbimport тормозит, читает с медленного диска или через медленную сеть. В информиксе что у вас, смотрели? onstat -u и т.д. далее, что ждут заливающие сессии?

...

Рейтинг:

0 / 0

19.08.2014, 16:30

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38723742

vvt1

Гость

Журавлев Денися говорю в очереди к диску все по нулям, у вас может сама утилита dbimport тормозит, читает с медленного диска или через медленную сеть. В информиксе что у вас, смотрели? onstat -u и т.д. далее, что ждут заливающие сессии?

Да нет, выгрузка лежит на одной паре из этих 24-х дисков. Там где и система (отдано два диска).
Сейчас сервер забрали под другие тесты. Посмотрим, что там выйдет.
Понятно, что надо просмотреть onstat'ы на момент загрузки.

Будем разбираться.

...

Рейтинг:

0 / 0

19.08.2014, 18:01

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38723751

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

vvt1,

а вообще я невнимательно смотрел, что-то странное

Код: plaintext

1.
2.

md127             0,00     0,00    0,00  416,40     0,00     1,07     5,25     0,00    0,00   0,00   0,00
dm-106            0,00     0,00    0,00  416,40     0,00     1,07     5,25     6,11   21,57   2,40  99,98

...

Рейтинг:

0 / 0

19.08.2014, 18:07

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38723812

vvt1

Гость

Журавлев Денисvvt1,

а вообще я невнимательно смотрел, что-то странное

Код: plaintext

1.
2.

md127             0,00     0,00    0,00  416,40     0,00     1,07     5,25     0,00    0,00   0,00   0,00
dm-106            0,00     0,00    0,00  416,40     0,00     1,07     5,25     6,11   21,57   2,40  99,98

dm-106 это тоже самое, что и md127 и util там 99%.
Вы точно на 22 диска пишете, может ошиблись при создании чанков и пишете в файлы в /dev/ , как вообще чанки создавали, что под ними? lvm ?

LVM. Скажу сразу, RAID строил не я, но буду пробовать отвечать на вопросы.
Вот строение:

Код: plaintext

1.
2.
3.
4.
5.

informix@ifx12-24:unload$ cat /proc/mdstat 
md127 : active raid10 sdx2[21] sdi2[6] sdm2[10] sdw2[20] sdf2[3] sdh2[5] sdg2[4] sdq2[14] 
            sdj2[7] sdd2[1] sdn2[11] sdt2[17] sdu2[18] sdc2[0] sdv2[19] sdp2[13] sde2[2] sdo2[12] 
            sdl2[9] sdr2[15] sds2[16] sdk2[8]
      21484294216 blocks super 1.2 4K chunks 2 near-copies [22/22] [UUUUUUUUUUUUUUUUUUUUUU]

Строение чанков через линковку:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.

informix@ifx12-24:unload$ ls -l /opt/informix/lnk/
total 0
lrwxrwxrwx. 1 root root 22 Aug  8 08:50 chunk-addbs01 -> /dev/vg0/chunk-addbs01
lrwxrwxrwx. 1 root root 22 Aug  8 08:50 chunk-bwstdbs -> /dev/vg0/chunk-bwstdbs
lrwxrwxrwx. 1 root root 21 Aug  8 08:50 chunk-cpsdbs -> /dev/vg0/chunk-cpsdbs
lrwxrwxrwx. 1 root root 21 Aug  8 08:50 chunk-dbmain -> /dev/vg0/chunk-dbmain
lrwxrwxrwx. 1 root root 21 Aug  8 08:50 chunk-docdbs -> /dev/vg0/chunk-docdbs
lrwxrwxrwx. 1 root root 22 Aug  8 08:50 chunk-docdbs2 -> /dev/vg0/chunk-docdbs2
lrwxrwxrwx. 1 root root 22 Aug  8 08:50 chunk-docdbs3 -> /dev/vg0/chunk-docdbs3
lrwxrwxrwx. 1 root root 22 Aug  8 08:50 chunk-docdbs4 -> /dev/vg0/chunk-docdbs4
lrwxrwxrwx. 1 root root 22 Aug  8 08:50 chunk-docdbs5 -> /dev/vg0/chunk-docdbs5
lrwxrwxrwx. 1 root root 20 Aug  8 08:50 chunk-dsdbo -> /dev/vg0/chunk-dsdbo
lrwxrwxrwx. 1 root root 20 Aug  8 08:50 chunk-dttqm -> /dev/vg0/chunk-dttqm
lrwxrwxrwx. 1 root root 21 Aug  8 08:50 chunk-idxdbs -> /dev/vg0/chunk-idxdbs
. . .

Тут мне как Solaris like, не нравится блочный девайс, я хотел, конечно там видеть character, но мне тут объяснили, что я со своей Classical UNIX отстал от жизни и в Linux так правильно:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.

informix@ifx12-24:unload$ ls -lL /opt/informix/lnk/
total 0
brw-rw---- 1 informix informix 253,  73 Aug 19 19:02 chunk-addbs01
brw-rw---- 1 informix informix 253,  79 Aug 19 19:02 chunk-bwstdbs
brw-rw---- 1 informix informix 253,  70 Aug 19 19:02 chunk-cpsdbs
brw-rw---- 1 informix informix 253,  55 Aug 19 19:02 chunk-dbmain
brw-rw---- 1 informix informix 253,  10 Aug 19 19:14 chunk-docdbs
brw-rw---- 1 informix informix 253,  11 Aug 19 19:02 chunk-docdbs2
brw-rw---- 1 informix informix 253,  14 Aug 19 19:02 chunk-docdbs3
brw-rw---- 1 informix informix 253,  15 Aug 19 19:02 chunk-docdbs4
brw-rw---- 1 informix informix 253,  16 Aug 19 19:02 chunk-docdbs5
brw-rw---- 1 informix informix 253,  58 Aug 19 19:02 chunk-dsdbo
brw-rw---- 1 informix informix 253,  59 Aug 19 19:02 chunk-dttqm
brw-rw---- 1 informix informix 253,  13 Aug 19 19:02 chunk-idxdbs
brw-rw---- 1 informix informix 253,  56 Aug 19 19:02 chunk-idxdbs01
. . .

Еще раз, в этой инсталляции (интерпретации) используем RAW chunks.

...

Рейтинг:

0 / 0

19.08.2014, 19:19

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38723814

vvt1

Гость

Еще, как пример, вывод фрагмента onstat -d относящегося к чанкам:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.

Chunks
address          chunk/dbs     offset     size       free       bpages     flags pathname
1f18ea1d0        1      1      0          1048575    1034276               PO-B-- /opt/informix/lnk/chunk-rootdbs
1f7642378        2      2      0          10485760   1048523               PO-B-- /opt/informix/lnk/chunk-logdbs
1f7643028        3      3      0          786432     786379                PO-B-- /opt/informix/lnk/chunk-tempdbs
1f7644028        4      4      0          2097152    2097099               PO-B-- /opt/informix/lnk/chunk-maindbs
1f7645028        5      5      0          262144     262091                PO-B-- /opt/informix/lnk/chunk-subdbs
1f7646028        6      6      0          2097152    2097099               PO-B-- /opt/informix/lnk/chunk-othrdbs
1f7647028        7      7      0          1048576    1048523               PO-B-- /opt/informix/lnk/chunk-tlogdbs
1f7648028        8      8      0          4194304    4194251               PO-B-- /opt/informix/lnk/chunk-operdbs
1f7649028        9      9      0          2621440    2621387               PO-B-- /opt/informix/lnk/chunk-kazndoc
1f764a028        10     10     0          7864320    6964267               PO-B-- /opt/informix/lnk/chunk-docdbs
1f764b028        11     11     0          2621440    2621387               PO-B-- /opt/informix/lnk/chunk-docdbs2
1f764c028        12     12     0          5505024    5504971               PO-B-- /opt/informix/lnk/chunk-kazndoc2
1f764d028        13     13     0          5242880    5242827               PO-B-- /opt/informix/lnk/chunk-idxdbs
1f764e028        14     14     0          2621440    2621387               PO-B-- /opt/informix/lnk/chunk-docdbs3
1f764f028        15     15     0          4194304    4194251               PO-B-- /opt/informix/lnk/chunk-docdbs4
1f7650028        16     16     0          4194304    4194251               PO-B-- /opt/informix/lnk/chunk-docdbs5
. . .

...

Рейтинг:

0 / 0

19.08.2014, 19:21

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38723837

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

и что показывает dd if=/opt/informix/lnk/chunk-rootdbs of=/dev/null bs=64k iflag=direct ?

...

Рейтинг:

0 / 0

19.08.2014, 20:01

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38723909

victor16

Гость

vvt1Еще, как пример, вывод фрагмента onstat -d относящегося к чанкам:

Код: plaintext

flags
PO-B--

Флага рабочего DIRECT_IO не видно, должно быть

Код: plaintext

PO-B-D

с ним должно быть ощутимо быстрее

...

Рейтинг:

0 / 0

19.08.2014, 22:03

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724367

vvt1

Гость

Журавлев Дениси что показывает dd if=/opt/informix/lnk/chunk-rootdbs of=/dev/null bs=64k iflag=direct ?

Код: plaintext

1.
2.
3.

informix@ifx12-24:unload$ dd if=/opt/informix/lnk/chunk-rootdbs of=/dev/null bs=64k iflag=direct
32768+0 records in
32768+0 records out
2147483648 bytes (2.1 GB) copied, 9.36352 s, 229 MB/s

...

Рейтинг:

0 / 0

20.08.2014, 12:44

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724372

vvt1

Гость

victor16vvt1Еще, как пример, вывод фрагмента onstat -d относящегося к чанкам:

Код: plaintext

flags
PO-B--

Флага рабочего DIRECT_IO не видно, должно быть

Код: plaintext

PO-B-D

с ним должно быть ощутимо быстрее

Хм... Сейчас поищу, но разве DIRECT_IO 1 он не на cooked chunks только воздействует?
Сам то он в конфиге включен:

Код: plaintext

1.
2.

informix@ifx12-24:unload$ onstat -c | grep DIRECT_IO
# DIRECT_IO    - Specifies whether direct I/O is used for cooked
DIRECT_IO 1

...

Рейтинг:

0 / 0

20.08.2014, 12:46

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724402

vvt1

Гость

Sorry, торможу. Его, DIRECT_IO 1 выключали вчера, когда я картинку чанков снимал. На скорость dbimport он, как ни странно, не повлиял. Сейчас этот параметр включен обратно и чанки выглядят так:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.

informix@ifx12-24:unload$ onstat -d

IBM Informix Dynamic Server Version 12.10.FC1 -- On-Line -- Up 01:12:42 -- 7550312 Kbytes

Dbspaces
address          number   flags      fchunk   nchunks  pgsize   flags    owner    name
1f18ea028        1        0x70001    1        1        2048     N  BA    informix rootdbs
1f1c89bb8        2        0x70001    2        1        2048     N  BA    informix logdbs
1f1c89d60        3        0x42001    3        1        8192     N TBA    informix tempdbs
1f6eea028        4        0x60001    4        1        8192     N  BA    informix maindbs
1f6eea1d0        5        0x60001    5        1        8192     N  BA    informix subdbs
1f6eea378        6        0x60001    6        1        8192     N  BA    informix othrdbs
1f6eea520        7        0x60001    7        1        8192     N  BA    informix tlogdbs
1f6eea6c8        8        0x60001    8        1        8192     N  BA    informix operdbs
1f6eea870        9        0x60001    9        1        8192     N  BA    informix kazndoc
1f6eeaa18        10       0x60001    10       1        8192     N  BA    informix docdbs
1f6eeabc0        11       0x60001    11       1        8192     N  BA    informix docdbs2
1f6eead68        12       0x60001    12       1        8192     N  BA    informix kazndoc2
1f6eec028        13       0x60001    13       1        8192     N  BA    informix idxdbs
1f6eec1d0        14       0x60001    14       1        8192     N  BA    informix docdbs3
1f6eec378        15       0x60001    15       1        8192     N  BA    informix docdbs4
1f6eec520        16       0x60001    16       1        8192     N  BA    informix docdbs5
. . .
 109 active, 2047 maximum

Chunks
address          chunk/dbs     offset     size       free       bpages     flags pathname
1f18ea1d0        1      1      0          1048575    1034084               PO-B-D /opt/informix/lnk/chunk-rootdbs
1f6eff028        2      2      0          10485760   1048523               PO-B-D /opt/informix/lnk/chunk-logdbs
1f6f00028        3      3      0          786432     786379                PO-B-- /opt/informix/lnk/chunk-tempdbs
1f6f01028        4      4      0          2097152    2097099               PO-B-D /opt/informix/lnk/chunk-maindbs
1f6f03028        5      5      0          262144     262091                PO-B-D /opt/informix/lnk/chunk-subdbs
1f6f04028        6      6      0          2097152    2097099               PO-B-D /opt/informix/lnk/chunk-othrdbs
1f6f05028        7      7      0          1048576    1048523               PO-B-D /opt/informix/lnk/chunk-tlogdbs
1f6f06028        8      8      0          4194304    4194251               PO-B-D /opt/informix/lnk/chunk-operdbs
1f6f07028        9      9      0          2621440    2621387               PO-B-D /opt/informix/lnk/chunk-kazndoc
1f6f09028        10     10     0          7864320    7814267               PO-B-D /opt/informix/lnk/chunk-docdbs
1f6f0a028        11     11     0          2621440    2621387               PO-B-D /opt/informix/lnk/chunk-docdbs2
1f6f0b028        12     12     0          5505024    5504971               PO-B-D /opt/informix/lnk/chunk-kazndoc2
1f6f0c028        13     13     0          5242880    5242827               PO-B-D /opt/informix/lnk/chunk-idxdbs
1f6f0d028        14     14     0          2621440    2621387               PO-B-D /opt/informix/lnk/chunk-docdbs3
1f6f0e028        15     15     0          4194304    4194251               PO-B-D /opt/informix/lnk/chunk-docdbs4
1f6f0f028        16     16     0          4194304    4194251               PO-B-D /opt/informix/lnk/chunk-docdbs5
. . .
1f6f83028        108    108    0          4194304    4194251               PO-B-D /opt/informix/lnk/chunk-maindbs_13
1f6f84028        109    109    0          4194304    4194251               PO-B-D /opt/informix/lnk/chunk-maindbs_14
 109 active, 32766 maximum

NOTE: The values in the "size" and "free" columns for DBspace chunks are
      displayed in terms of "pgsize" of the DBspace to which they belong.


Expanded chunk capacity mode: always

...

Рейтинг:

0 / 0

20.08.2014, 12:59

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724503

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

vvt1Журавлев Дениси что показывает dd if=/opt/informix/lnk/chunk-rootdbs of=/dev/null bs=64k iflag=direct ?

Код: plaintext

1.
2.
3.

informix@ifx12-24:unload$ dd if=/opt/informix/lnk/chunk-rootdbs of=/dev/null bs=64k iflag=direct
32768+0 records in
32768+0 records out
2147483648 bytes (2.1 GB) copied, 9.36352 s, 229 MB/s

мало как-то, на 1,5ГБ в сек не похоже, а с другим bs, или fio read с iodeph=100

...

Рейтинг:

0 / 0

20.08.2014, 14:04

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724530

vvt1

Гость

Журавлев Денисмало как-то, на 1,5ГБ в сек не похоже, а с другим bs, или fio read с iodeph=100

Так полтора тера оно давало когда RAID-10 был построен со strip 512K. Его же раза три перестраивали, сейчас оставили 4K блок, наверное для того, чтобы попробовать с 4K страницами информикс, если такой DBSpace сделать. Я попробую снять с другими блоками и выложу результат.

...

Рейтинг:

0 / 0

20.08.2014, 14:17

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724552

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

vvt1Так полтора тера оно давало когда RAID-10 был построен со strip 512K. Его же раза три перестраивали, сейчас оставили 4K блок, наверное для того, чтобы попробовать с 4K страницами информикс, если такой DBSpace сделать. Я попробую снять с другими блоками и выложу результат.вы уже второй раз пишете полтора тера , вы ничего не путаете? Убиваться на размерах страйпа не надо. Какой смысл при рандомной записи или чтении с диска 8кб, протягивать 512кб. Толку-то от чтения мусора. dd с bs =512k даст примерно тоже самое.

...

Рейтинг:

0 / 0

20.08.2014, 14:33

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724566

vvt1

Гость

Журавлев Денисвы уже второй раз пишете полтора тера , вы ничего не путаете? Убиваться на размерах страйпа не надо. Какой смысл при рандомной записи или чтении с диска 8кб, протягивать 512кб. Толку-то от чтения мусора. dd с bs =512k даст примерно тоже самое.

Денис, Вы правы.
Сейчас спросил того, кто собирал массив - 1,5Gb/sec. Не знаю, что-то много путаться стал последнее время - не успеваю везде. Прошу прощения за заблуждения с пиками скорости. Читаем, что было 1,5 Gb.

...

Рейтинг:

0 / 0

20.08.2014, 14:42

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724567

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

victor16Флага рабочего DIRECT_IO не видно, должно быть

Код: plaintext

PO-B-D

с ним должно быть ощутимо быстреекстати не всегда, надо понимать что оно дает и отнимает. Однажды в оракле я сократил импорт процессинга карточной бд с 40 мин. до 10 (т.е. простой круглосуточных карточек). Там прикол что при заливке данных в таблицу они летят мимо кеша, и потом при построении индексов оно долго вычитывалось с диска, памяти был вагон, почти на всю бд, я уменьшил буфеный пул бд, и включил двойное кеширование.

...

Рейтинг:

0 / 0

20.08.2014, 14:43

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724594

vvt1

Гость

Журавлев Денисили fio read с iodeph=100

Код: plaintext

[root@ifx12-24 ~]# fio -name iops -rw=randread -bs=4096 -size=10G -iodepth=100 -runtime=100 -directory /mnt/backup/ -ioengine libaio -direct=1

iops: (g=0): rw=randread, bs=4K-4K/4K-4K, ioengine=libaio, iodepth=100
2.0.8
Starting 1 process
Jobs: 1 (f=1): [r] [24.0% done] [25402K/0K /s] [6350 /0  iops] [eta 05m:20s] 
iops: (groupid=0, jobs=1): err= 0: pid=6020
  read : io=2453.1MB, bw=25113KB/s, iops=6278 , runt=100058msec
    slat (usec): min=5 , max=29746 , avg=24.60, stdev=296.27
    clat (usec): min=43 , max=253268 , avg=15881.43, stdev=16946.29
     lat (usec): min=65 , max=253277 , avg=15906.30, stdev=16986.97
    clat percentiles (usec):
     |  1.00th=[ 1912],  5.00th=[ 2672], 10.00th=[ 3504], 20.00th=[ 5088],
     | 30.00th=[ 6688], 40.00th=[ 8256], 50.00th=[ 9792], 60.00th=[13120],
     | 70.00th=[17024], 80.00th=[23168], 90.00th=[34560], 95.00th=[47872],
     | 99.00th=[83456], 99.50th=[100864], 99.90th=[156672], 99.95th=[181248],
     | 99.99th=[201728]
    bw (KB/s)  : min= 1167, max=27216, per=100.00%, avg=25132.19, stdev=4756.32
    lat (usec) : 50=0.01%, 100=0.01%, 250=0.01%, 500=0.01%, 750=0.01%
    lat (usec) : 1000=0.01%
    lat (msec) : 2=1.23%, 4=11.95%, 10=37.70%, 20=24.95%, 50=19.67%
    lat (msec) : 100=3.96%, 250=0.52%, 500=0.01%
  cpu          : usr=2.76%, sys=11.90%, ctx=497417, majf=0, minf=123
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.1%
     issued    : total=r=628201/w=0/d=0, short=r=0/w=0/d=0
Run status group 0 (all jobs):
   READ: io=2453.1MB, aggrb=25113KB/s, minb=25113KB/s, maxb=25113KB/s, mint=100058msec, maxt=100058msec

Disk stats (read/write):
    dm-112: ios=629029/1, merge=0/0, ticks=9506458/1265, in_queue=9507982, util=100.00%, aggrios=629029/1, aggrmerge=0/0, aggrticks=0/0, aggrin_queue=0, aggrutil=0.00%
    md127: ios=629029/1, merge=0/0, ticks=0/0, in_queue=0, util=0.00%, aggrios=28592/2, aggrmerge=0/0, aggrticks=432109/238, aggrin_queue=432345, aggrutil=95.91%
  sdk: ios=28545/2, merge=0/0, ticks=424831/346, in_queue=425173, util=95.48%
  sds: ios=28614/2, merge=0/0, ticks=447875/91, in_queue=447961, util=95.61%
  sdr: ios=28655/2, merge=0/0, ticks=435153/211, in_queue=435361, util=94.82%
  sdl: ios=28421/2, merge=0/0, ticks=421410/95, in_queue=421501, util=94.66%
  sdo: ios=28893/2, merge=0/0, ticks=445025/67, in_queue=445088, util=95.74%
  sde: ios=28663/2, merge=0/0, ticks=418335/150, in_queue=418483, util=95.62%
  sdp: ios=28166/2, merge=0/0, ticks=420281/260, in_queue=420539, util=94.70%
  sdv: ios=28527/2, merge=0/0, ticks=432942/333, in_queue=433269, util=94.71%
  sdc: ios=28942/3, merge=0/0, ticks=444225/453, in_queue=444676, util=95.75%
  sdu: ios=28594/2, merge=0/0, ticks=432841/67, in_queue=432905, util=95.61%
  sdt: ios=28713/2, merge=0/0, ticks=439200/541, in_queue=439735, util=95.00%
  sdn: ios=28597/2, merge=0/0, ticks=443129/511, in_queue=443672, util=94.90%
  sdd: ios=28573/3, merge=0/0, ticks=434036/1054, in_queue=435084, util=94.83%
  sdj: ios=28836/2, merge=0/0, ticks=440221/191, in_queue=440408, util=94.84%
  sdq: ios=28777/2, merge=0/0, ticks=434641/97, in_queue=434734, util=95.62%
  sdg: ios=28498/2, merge=0/0, ticks=419200/146, in_queue=419343, util=95.37%
  sdh: ios=28171/2, merge=0/0, ticks=407674/86, in_queue=407753, util=94.82%
  sdf: ios=28421/2, merge=0/0, ticks=435855/72, in_queue=435924, util=94.94%
  sdw: ios=28771/2, merge=0/0, ticks=434228/68, in_queue=434290, util=95.91%
  sdm: ios=28704/2, merge=0/0, ticks=439328/68, in_queue=439390, util=95.55%
  sdi: ios=28528/2, merge=0/0, ticks=418821/219, in_queue=419037, util=95.42%
  sdx: ios=28420/2, merge=0/0, ticks=437164/114, in_queue=437275, util=94.91%

...

Рейтинг:

0 / 0

20.08.2014, 14:59

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724617

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

vvt1, read : io=2453.1MB, bw=25113KB/s, iops=6278
хорошие числа для рандомов

я предлагал проверить не рандомы, и не на файлах

fio -name iops -rw=read -bs=4k -iodepth=100 -runtime=100 -filename=/opt/informix/lnk/chunk-maindbs_13 -ioengine libaio -direct=1 buffered=0

...

Рейтинг:

0 / 0

20.08.2014, 15:12

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724719

vvt1

Гость

Журавлев Денисvvt1, read : io=2453.1MB, bw=25113KB/s, iops=6278
хорошие числа для рандомов

я предлагал проверить не рандомы, и не на файлах

fio -name iops -rw=read -bs=4k -iodepth=100 -runtime=100 -filename=/opt/informix/lnk/chunk-maindbs_13 -ioengine libaio -direct=1 buffered=0

Я вначале так и думал сделать, но подумал, что опять не так понял :-)

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.

[root@ifx12-24 ~]# fio -name iops -rw=randread -bs=4096 -size=10G -iodepth=100 -runtime=100 -filename /opt/informix/lnk/chunk-maindbs_13 -ioengine libaio -direct=1
iops: (g=0): rw=randread, bs=4K-4K/4K-4K, ioengine=libaio, iodepth=100
2.0.8
Starting 1 process
Jobs: 1 (f=1): [r] [100.0% done] [26416K/0K /s] [6604 /0  iops] [eta 00m:00s]
iops: (groupid=0, jobs=1): err= 0: pid=6858
  read : io=2580.9MB, bw=26414KB/s, iops=6603 , runt=100051msec
    slat (usec): min=3 , max=315 , avg=12.68, stdev= 8.46
    clat (usec): min=40 , max=259085 , avg=15128.54, stdev=15133.70
     lat (usec): min=60 , max=259093 , avg=15141.43, stdev=15133.69
    clat percentiles (usec):
     |  1.00th=[ 1880],  5.00th=[ 2640], 10.00th=[ 3440], 20.00th=[ 5024],
     | 30.00th=[ 6560], 40.00th=[ 8096], 50.00th=[ 9664], 60.00th=[12736],
     | 70.00th=[16512], 80.00th=[22400], 90.00th=[33024], 95.00th=[44288],
     | 99.00th=[75264], 99.50th=[88576], 99.90th=[122368], 99.95th=[136192],
     | 99.99th=[173056]
    bw (KB/s)  : min=24061, max=27232, per=100.00%, avg=26418.67, stdev=337.48
    lat (usec) : 50=0.01%, 100=0.01%, 250=0.01%, 500=0.01%, 1000=0.01%
    lat (msec) : 2=1.35%, 4=12.17%, 10=38.20%, 20=25.18%, 50=19.32%
    lat (msec) : 100=3.47%, 250=0.28%, 500=0.01%
  cpu          : usr=2.45%, sys=10.20%, ctx=565820, majf=0, minf=123
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.1%
     issued    : total=r=660697/w=0/d=0, short=r=0/w=0/d=0

Run status group 0 (all jobs):
   READ: io=2580.9MB, aggrb=26414KB/s, minb=26414KB/s, maxb=26414KB/s, mint=100051msec, maxt=100051msec

Disk stats (read/write):
    md2: ios=0/5, merge=0/0, ticks=0/0, in_queue=0, util=0.00%, aggrios=0/27, aggrmerge=0/0, aggrticks=0/245, aggrin_queue=245, aggrutil=0.26%
  sda: ios=0/27, merge=0/0, ticks=0/265, in_queue=265, util=0.26%
  sdb: ios=0/27, merge=0/0, ticks=0/226, in_queue=226, util=0.23%

и еще раз:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.

[root@ifx12-24 ~]# fio -name iops -rw=randread -bs=4096 -iodepth=100 -runtime=100 -filename=/opt/informix/lnk/chunk-maindbs_13 -ioengine libaio -direct=1
iops: (g=0): rw=randread, bs=4K-4K/4K-4K, ioengine=libaio, iodepth=100
2.0.8
Starting 1 process
Jobs: 1 (f=1): [r] [100.0% done] [24872K/0K /s] [6218 /0  iops] [eta 00m:00s]
iops: (groupid=0, jobs=1): err= 0: pid=6867
  read : io=2416.5MB, bw=24731KB/s, iops=6182 , runt=100038msec
    slat (usec): min=3 , max=151 , avg=13.83, stdev= 9.39
    clat (usec): min=54 , max=289566 , avg=16158.16, stdev=16522.52
     lat (usec): min=62 , max=289592 , avg=16172.21, stdev=16522.51
    clat percentiles (msec):
     |  1.00th=[    3],  5.00th=[    3], 10.00th=[    4], 20.00th=[    6],
     | 30.00th=[    7], 40.00th=[    9], 50.00th=[   11], 60.00th=[   14],
     | 70.00th=[   18], 80.00th=[   24], 90.00th=[   36], 95.00th=[   49],
     | 99.00th=[   83], 99.50th=[   98], 99.90th=[  135], 99.95th=[  151],
     | 99.99th=[  194]
    bw (KB/s)  : min=23108, max=25456, per=100.00%, avg=24734.78, stdev=319.13
    lat (usec) : 100=0.01%, 250=0.01%, 750=0.01%, 1000=0.01%
    lat (msec) : 2=0.64%, 4=11.46%, 10=37.39%, 20=25.56%, 50=20.32%
    lat (msec) : 100=4.19%, 250=0.45%, 500=0.01%
  cpu          : usr=2.37%, sys=10.46%, ctx=528145, majf=0, minf=123
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.1%
     issued    : total=r=618508/w=0/d=0, short=r=0/w=0/d=0

Run status group 0 (all jobs):
   READ: io=2416.5MB, aggrb=24730KB/s, minb=24730KB/s, maxb=24730KB/s, mint=100038msec, maxt=100038msec

Disk stats (read/write):
    md2: ios=0/8, merge=0/0, ticks=0/0, in_queue=0, util=0.00%, aggrios=0/36, aggrmerge=0/0, aggrticks=0/320, aggrin_queue=320, aggrutil=0.37%
  sda: ios=0/36, merge=0/0, ticks=0/370, in_queue=370, util=0.37%
  sdb: ios=0/36, merge=0/0, ticks=0/271, in_queue=271, util=0.27%

И, навсякий случай, с iodepth=20:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.

[root@ifx12-24 ~]# fio -name iops -rw=randread -bs=4k -iodepth=20 -runtime=100 -filename=/opt/informix/lnk/chunk-maindbs_13 -ioengine libaio -direct=1

Jobs: 1 (f=1): [r] [100.0% done] [10428K/0K /s] [2607 /0  iops] [eta 00m:00s]
iops: (groupid=0, jobs=1): err= 0: pid=6871
  read : io=1014.0MB, bw=10382KB/s, iops=2595 , runt=100016msec
    slat (usec): min=4 , max=159 , avg=22.63, stdev=10.55
    clat (usec): min=575 , max=81438 , avg=7679.98, stdev=4738.94
     lat (usec): min=584 , max=81475 , avg=7702.87, stdev=4738.96

...

Рейтинг:

0 / 0

20.08.2014, 15:59

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724738

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

я просил просто read, а не randread и ключ size не надо и buffered=0 бы , но еще вот проблема:

Disk stats (read/write):
md2 : ios=0/5, merge=0/0, ticks=0/0, in_queue=0, util=0.00%, aggrios=0/27, aggrmerge=0/0, aggrticks=0/245, aggrin_queue=245, aggrutil=0.26%
sda : ios=0/27, merge=0/0, ticks=0/265, in_queue=265, util=0.26%
sdb : ios=0/27, merge=0/0, ticks=0/226, in_queue=226, util=0.23%

то-ли симлинк не раскрылся из-за fio, то-ли реально /dev/vg0 сделан поверх md2, на зеркале из двух дисков, подозреваю второе, iostat уже на это намекал

[eta 00m:00s] вообще чего-нибудь выполнялось?

...

Рейтинг:

0 / 0

20.08.2014, 16:16

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724783

vvt1

Гость

Журавлев Денися просил просто read, а не randread и ключ size не надо и buffered=0 бы , но еще вот проблема:

Disk stats (read/write):
md2 : ios=0/5, merge=0/0, ticks=0/0, in_queue=0, util=0.00%, aggrios=0/27, aggrmerge=0/0, aggrticks=0/245, aggrin_queue=245, aggrutil=0.26%
sda : ios=0/27, merge=0/0, ticks=0/265, in_queue=265, util=0.26%
sdb : ios=0/27, merge=0/0, ticks=0/226, in_queue=226, util=0.23%

то-ли симлинк не раскрылся из-за fio, то-ли реально /dev/vg0 сделан поверх md2, на зеркале из двух дисков, подозреваю второе, iostat уже на это намекал

[eta 00m:00s] вообще чего-нибудь выполнялось?

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.

 # ls -l /opt/informix/lnk/chunk-maindbs_13 
lrwxrwxrwx. 1 root root 25 Aug  8 08:50 /opt/informix/lnk/chunk-maindbs_13 -> /dev/vg0/chunk-maindbs_13

 # lvdisplay -m /dev/vg0/chunk-maindbs_13 
  --- Logical volume ---
  LV Path                /dev/vg0/chunk-maindbs_13
  LV Name                chunk-maindbs_13
  VG Name                vg0
  LV UUID                YvyMWn-8tyg-p3vo-czim-nJ9C-ITKr-ME4H9d
  LV Write Access        read/write
  LV Creation host, time ifx12-24, 2014-08-15 18:22:17 +0400
  LV Status              available
  # open                 3
  LV Size                32.00 GiB
  Current LE             8192
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:108
   
  --- Segments ---
  Logical extent 0 to 8191:
    Type                linear
    Physical volume     /dev/md127
    Physical extents    547840 to 556031

Physical volume /dev/md127 - это и есть RAID-10 на 22-x дисках.

Код: plaintext

1.
2.
3.
4.

# cat /proc/mdstat
. . .
md127 : active raid10 sdx2[21] sdi2[6] sdm2[10] sdw2[20] sdf2[3] sdh2[5] sdg2[4] sdq2[14] sdj2[7] sdd2[1] sdn2[11] sdt2[17] sdu2[18] sdc2[0] sdv2[19] sdp2[13] sde2[2] sdo2[12] sdl2[9] sdr2[15] sds2[16] sdk2[8]
      21484294216 blocks super 1.2 4K chunks 2 near-copies [22/22] [UUUUUUUUUUUUUUUUUUUUUU]
. . .

Разумеется Informix опущен (или не надо?).
Поправил fio:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.

 # fio -name iops -rw=read -bs=4k -iodepth=100 -runtime=100 -filename=/opt/informix/lnk/chunk-maindbs_13 -ioengine libaio -direct=1 -buffered=0 
iops: (g=0): rw=read, bs=4K-4K/4K-4K, ioengine=libaio, iodepth=100
2.0.8
Starting 1 process
Jobs: 1 (f=1): [R] [100.0% done] [333.3M/0K /s] [85.4K/0  iops] [eta 00m:00s]
iops: (groupid=0, jobs=1): err= 0: pid=8255
  read : io=32768MB, bw=418985KB/s, iops=104746 , runt= 80085msec
   slat (usec): min=3 , max=132 , avg= 7.83, stdev= 1.60
    clat (usec): min=36 , max=27942 , avg=945.70, stdev=274.43
     lat (usec): min=46 , max=27951 , avg=953.75, stdev=275.29
    clat percentiles (usec):
     |  1.00th=[  652],  5.00th=[  660], 10.00th=[  668], 20.00th=[  772],
     | 30.00th=[  884], 40.00th=[  900], 50.00th=[  908], 60.00th=[ 1020],
     | 70.00th=[ 1032], 80.00th=[ 1128], 90.00th=[ 1160], 95.00th=[ 1160],
     | 99.00th=[ 1176], 99.50th=[ 1176], 99.90th=[ 4512], 99.95th=[ 7328],
     | 99.99th=[ 9536]
    bw (KB/s)  : min=338920, max=593928, per=100.00%, avg=419063.25, stdev=74659.59
    lat (usec) : 50=0.01%, 100=0.01%, 250=0.01%, 500=0.01%, 750=13.45%
    lat (usec) : 1000=41.56%
    lat (msec) : 2=44.83%, 4=0.04%, 10=0.11%, 20=0.01%, 50=0.01%
  cpu          : usr=18.18%, sys=81.75%, ctx=55232, majf=0, minf=124
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.1%
     issued    : total=r=8388608/w=0/d=0, short=r=0/w=0/d=0

Run status group 0 (all jobs):
   READ: io=32768MB, aggrb=418985KB/s, minb=418985KB/s, maxb=418985KB/s, mint=80085msec, maxt=80085msec

Disk stats (read/write):
    md2: ios=0/8, merge=0/0, ticks=0/0, in_queue=0, util=0.00%, aggrios=0/33, aggrmerge=0/1, aggrticks=0/308, aggrin_queue=308, aggrutil=0.40%
  sda: ios=0/33, merge=0/1, ticks=0/292, in_queue=292, util=0.36%
  sdb: ios=0/33, merge=0/1, ticks=0/324, in_queue=324, util=0.40%

И теперь напрямую к устройству, минуя линк, если на него есть подозрения (а есть, таки различия):

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.

#  fio -name iops -rw=read -bs=4k -iodepth=100 -runtime=100 -filename=/dev/vg0/chunk-maindbs_13 -ioengine libaio -direct=1 -buffered=0 

iops: (g=0): rw=read, bs=4K-4K/4K-4K, ioengine=libaio, iodepth=100
2.0.8
Starting 1 process
Jobs: 1 (f=1): [R] [100.0% done] [397.7M/0K /s] [102K/0  iops] [eta 00m:00s]
iops: (groupid=0, jobs=1): err= 0: pid=8258
  read : io=32768MB, bw=498966KB/s, iops=124741 , runt= 67248msec
    slat (usec): min=3 , max=48 , avg= 6.73, stdev= 1.04
    clat (usec): min=40 , max=23132 , avg=794.11, stdev=243.78
     lat (usec): min=48 , max=23141 , avg=800.99, stdev=244.21
    clat percentiles (usec):
     |  1.00th=[  684],  5.00th=[  692], 10.00th=[  700], 20.00th=[  700],
     | 30.00th=[  708], 40.00th=[  708], 50.00th=[  796], 60.00th=[  804],
     | 70.00th=[  804], 80.00th=[  812], 90.00th=[  972], 95.00th=[  980],
     | 99.00th=[ 1176], 99.50th=[ 1304], 99.90th=[ 4320], 99.95th=[ 7136],
     | 99.99th=[ 9408]
    bw (KB/s)  : min=339320, max=562696, per=100.00%, avg=499308.54, stdev=58969.88
    lat (usec) : 50=0.01%, 100=0.01%, 250=0.01%, 500=0.01%, 750=44.13%
    lat (usec) : 1000=52.15%
    lat (msec) : 2=3.55%, 4=0.04%, 10=0.10%, 20=0.01%, 50=0.01%
  cpu          : usr=15.25%, sys=84.83%, ctx=6295, majf=0, minf=123
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.1%
     issued    : total=r=8388608/w=0/d=0, short=r=0/w=0/d=0

Run status group 0 (all jobs):
   READ: io=32768MB, aggrb=498965KB/s, minb=498965KB/s, maxb=498965KB/s, mint=67248msec, maxt=67248msec

...

Рейтинг:

0 / 0

20.08.2014, 16:45

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724828

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

от я затупил, [eta 00m:00s] это estimated, надо было смотреть runt= 80085msec

похоже fio пытается угадать с каких дисков статистику выводить и плохо угадывает

Jobs: 1 (f=1): [R] [100.0% done] [333.3M/0K /s] [85.4K/0 iops] [eta 00m:00s]
bw (KB/s) : min=338920, max=593928, per=100.00%, avg=419063.25, stdev=74659.59

Jobs: 1 (f=1): [R] [100.0% done] [397.7M/0K /s] [102K/0 iops] [eta 00m:00s]
bw (KB/s) : min=339320, max=562696, per=100.00%, avg=499308.54, stdev=58969.88

>И теперь напрямую к устройству, минуя линк, если на него есть подозрения (а есть, таки различия):

одно и тоже, различия небольшие (погрешности корявого теста), в пике 0.5Gb/s.

В общем опять вывод, что надо в информикс смотреть, может он файл импорта медленно парсит, может таблица неудачная.

И сколько все-таки времени импортируются эти 20 гигов, без создания индексов?

...

Рейтинг:

0 / 0

20.08.2014, 17:11

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724849

vvt1

Гость

Журавлев Денис И сколько все-таки времени импортируются эти 20 гигов, без создания индексов?

Пока до конца не грузил.
Проведу тест - выложу результат времени.

...

Рейтинг:

0 / 0

20.08.2014, 17:24

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724876

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

vvt1Журавлев Денис И сколько все-таки времени импортируются эти 20 гигов, без создания индексов?

Пока до конца не грузил.
Проведу тест - выложу результат времени.
onstat -u еще посмотрите, во время импорта. Может оказаться что во время записи на 22 диска, с 2 дисков чтение жутко торозит и импорт висит на iowait, фиг знает что там за hba карта, сколько у ней каналов, может все 24 диска через один сата видны.

...

Рейтинг:

0 / 0

20.08.2014, 17:51

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724886

vvt1

Гость

Журавлев Денисonstat -u еще посмотрите, во время импорта. Может оказаться что во время записи на 22 диска, с 2 дисков чтение жутко торозит и импорт висит на iowait, фиг знает что там за hba карта, сколько у ней каналов, может все 24 диска через один сата видны.

Сделал onstat -z.
Подождал, посмотрел ontstat -u.

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.

IBM Informix Dynamic Server Version 12.10.FC1 -- On-Line (CKPT INP) -- Up 01:14:33 -- 7550312 Kbytes

Userthreads
address          flags   sessid   user     tty      wait             tout locks nreads   nwrites
1f1c45028        ---P--D 1        informix -        0                0    0     0        0
1f1c458b8        ---P--F 0        informix -        0                0    0     0        51584
1f1c46148        ---P--F 0        informix -        0                0    0     0        15620
1f1c469d8        ---P--F 0        informix -        0                0    0     0        11520
1f1c47268        ---P--F 0        informix -        0                0    0     0        10432
1f1c47af8        ---P--F 0        informix -        0                0    0     0        11588
1f1c48388        ---P--F 0        informix -        0                0    0     0        10848
1f1c48c18        ---P--F 0        informix -        0                0    0     0        13312
1f1c494a8        ---P--F 0        informix -        0                0    0     0        14656
1f1c49d38        ---P--- 9        informix -        0                0    0     0        0
1f1c4a5c8        ---P--B 10       informix -        0                0    0     0        0
1f1c4ae58        Y--P--D 11       informix -        1f70bc558        0    0     0        0
1f1c4bf78        ---P--D 15       informix -        0                0    0     0        0
1f1c4d098        ---P--D 16       informix -        0                0    0     0        0
1f1c4d928        ---P--- 26       informix -        0                0    1     0        0
1f1c4e1b8        ---P--- 25       informix -        0                0    1     0        0
1f1c4ea48        ---P--- 24       informix -        0                0    2     0        0
1f1c4f2d8        Y--P--- 40       informix 2        1f730a6e8        0    4     0        0
1f1c4fb68        Y--P--D 31       informix -        49162b38         0    0     0        0
 19 active, 128 total, 0 maximum concurrent

...

Рейтинг:

0 / 0

20.08.2014, 18:02

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724888

vvt1

Гость

Стоп.
Это я в character RAW chunk пишу. Там без DIRECT_IO 1.
Потом перезапущу, посмотрю, что выйдет...

...

Рейтинг:

0 / 0

20.08.2014, 18:04

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724953

vvt1

Гость

Но!
Тут заметил такую штучку в online.log:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.

17:39:25  Loading Module <$INFORMIXDIR/lib/libdwa.udr>
17:39:25  The C Language Module </opt/informix/lib/libdwa.udr> loaded
 17:44:42  Checkpoint Completed:  duration was 266 seconds. 
17:44:42  Wed Aug 20 - loguniq 233, logpos 0x1119c018, timestamp: 0x15a4176e Interval: 1291

17:44:42  Maximum server connections 1 
17:44:42  Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 1, Plog used 16, Llog used 1647

 18:47:57  Checkpoint Completed:  duration was 3764 seconds. 
18:47:57  Wed Aug 20 - loguniq 233, logpos 0x111ae018, timestamp: 0x1673d1fc Interval: 1292

Даже, если это случайность, уже есть над чем подумать мне.
Плюс перепроверю конфиг.

...

Рейтинг:

0 / 0

20.08.2014, 18:57

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38724988

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

ну все как обычно, тяжело жить без writeback cache
пробуйте lru_min_dirty=0.1,lru_max_dirty=0.2

...

Рейтинг:

0 / 0

20.08.2014, 20:25

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38725162

vvt1

Гость

Журавлев Денисну все как обычно, тяжело жить без writeback cache
пробуйте lru_min_dirty=0.1,lru_max_dirty=0.2

С WriteBack cache встречался только в аппаратке.
И действительно, там когда батарея помирала до того как её заменяли (или сбрасывали счетчик для Sun Storagetek), то даже backup делался тоскливо и медленно.

...

Рейтинг:

0 / 0

21.08.2014, 08:32

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38725474

cpr

Гость

Журавлев Денис,

Вы бы сначала спросили с какой скоростью этот LRU сбрасывается.

...

Рейтинг:

0 / 0

21.08.2014, 12:42

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38725546

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

cprЖуравлев Денис,

Вы бы сначала спросили с какой скоростью этот LRU сбрасывается.во время чекпоинта или между?

...

Рейтинг:

0 / 0

21.08.2014, 13:38

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38725555

vvt1

Гость

Журавлев Денисну все как обычно, тяжело жить без writeback cache
пробуйте lru_min_dirty=0.1,lru_max_dirty=0.2

Мне сказали, что это не поможет, но тем не менее сделал.

И так, грузим в этот чанк:

Код: plaintext

1.
2.

Chunks
address          chunk/dbs     offset     size       free       bpages     flags pathname
1f7019028        106    106    0          4194304    4093557               PO-B-D /opt/informix/lnk/chunk-maindbs_1

В некоторых случаях:

Код: plaintext

1.
2.

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
md127             0.00     0.00    0.00  386.40     0.00     1.01     5.33     0.00    0.00   0.00   0.00
dm-106            0.00     0.00    0.00  386.40     0.00     1.01     5.33     8.31   27.67   2.59  99.98

onstat счетчики были сбиты в ноль, после старта IDS.
LRU работает, но (CKPT INP) не уходит, т.е. вначале он уходил, а потом через 5-10 минут dbimport стоит стабильно. Вот onstat -F:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.

IBM Informix Dynamic Server Version 12.10.FC1 -- On-Line (CKPT INP) -- Up 00:09:31 -- 7550312 Kbytes

Fg Writes     LRU Writes    Chunk Writes 
0             61547         7259         

address           flusher  state    data     # LRU    Chunk    Wakeups  Idle Tim
1f1c458b8        0        C        6a       17       7        63       42.381  
1f1c46148        1        L        f        14       11       110      88.858  
1f1c469d8        2        L        3        13       2        56       43.097  
1f1c47268        3        L        7        18       1        57       39.273  
1f1c47af8        4        L        9        14       7        111      89.740  
1f1c48388        5        L        1        13       41       88       33.002  
1f1c48c18        6        L        5        14       7        71       48.559  
1f1c494a8        7        L        b        15       39       145      90.401  
      states: Exit Idle Chunk Lru

По onstat -p, тоже вроде чего-то такого не видно:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.

IBM Informix Dynamic Server Version 12.10.FC1 -- On-Line (CKPT INP) -- Up 00:12:05 -- 7550312 Kbytes

Profile
dskreads   pagreads   bufreads   %cached dskwrits   pagwrits   bufwrits   %cached
458        1213       3853890    99.99   90090      362746     2195619    95.90  

isamtot    open       start      read       write      rewrite    delete     commit     rollbk
3826453    6229       5407       10858      1899977    559        27         33         0

gp_read    gp_write   gp_rewrt   gp_del     gp_alloc   gp_free    gp_curs   
0          0          0          0          0          0          0         

ovlock     ovuserthread ovbuff     usercpu  syscpu   numckpts   flushes   
0          0            0          50.89    10.80    2          6         

bufwaits   lokwaits   lockreqs   deadlks    dltouts    ckpwaits   compress   seqscans  
11         0          7065       0          0          2          132        342       

ixda-RA    idx-RA     da-RA      logrec-RA  RA-pgsused lchwaits  
0          316        15         0          55         816

onstat -u:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.

IBM Informix Dynamic Server Version 12.10.FC1 -- On-Line -- Up 00:14:38 -- 7550312 Kbytes

Userthreads
address          flags   sessid   user     tty      wait             tout locks nreads   nwrites
1f1c45028        ---P--D 1        informix -        0                0    0     9        241
1f1c458b8        ---P--F 0        informix -        0                0    0     0        71459
1f1c46148        ---P--F 0        informix -        0                0    0     0        46393
1f1c469d8        ---P--F 0        informix -        0                0    0     0        67746
1f1c47268        ---P--F 0        informix -        0                0    0     0        48544
1f1c47af8        ---P--F 0        informix -        0                0    0     0        56201
1f1c48388        ---P--F 0        informix -        0                0    0     0        51985
1f1c48c18        ---P--F 0        informix -        0                0    0     0        45634
1f1c494a8        ---P--F 0        informix -        0                0    0     0        55327
1f1c49d38        ---P--- 9        informix -        0                0    0     0        0
1f1c4a5c8        ---P--B 10       informix -        0                0    0     0        0
1f1c4ae58        Y--P--D 11       informix -        1f70bc558        0    0     265      0
1f1c4bf78        ---P--D 15       informix -        0                0    0     0        0
1f1c4c808        Y--P--- 5        informix 2        1f72d4610        0    4     679      1631
1f1c4d098        ---P--D 16       informix -        0                0    0     0        0
1f1c4d928        ---P--- 26       informix -        0                0    1     28       15
1f1c4e1b8        ---P--- 27       informix -        0                0    1     11       1
1f1c4ea48        ---P--- 24       informix -        0                0    2     1        5
1f1c50c88        Y--P--D 33       informix -        49162b38         0    0     0        0
 19 active, 128 total, 23 maximum concurrent

Чекпоинт, пока, только один раз был 501 секунду, так, меньше (может это отработал AUTO_CKPTS 1?):

12:49:19 Checkpoint Completed: duration was 58 seconds.
12:49:19 Thu Aug 21 - loguniq 233, logpos 0x137b9018, timestamp: 0x1719e2ad Interval: 1399

12:49:19 Maximum server connections 1
12:49:19 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 1, Plog used 49, Llog used 30

12:58:10 Checkpoint Completed: duration was 501 seconds .
12:58:10 Thu Aug 21 - loguniq 233, logpos 0x137bf018, timestamp: 0x171c4f3f Interval: 1400

12:58:10 Maximum server connections 1
12:58:10 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 1, Plog used 105, Llog used 6

12:59:17 Checkpoint Completed: duration was 37 seconds.
12:59:17 Thu Aug 21 - loguniq 233, logpos 0x137c1018, timestamp: 0x171fc34e Interval: 1401

12:59:17 Maximum server connections 1
12:59:17 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 0, Plog used 23, Llog used 3

13:00:22 Checkpoint Completed: duration was 35 seconds.
13:00:22 Thu Aug 21 - loguniq 233, logpos 0x137c4018, timestamp: 0x17227e93 Interval: 1402

13:00:22 Maximum server connections 1
13:00:22 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 1, Plog used 29, Llog used 3

13:01:16 Checkpoint Completed: duration was 24 seconds.
13:01:16 Thu Aug 21 - loguniq 233, logpos 0x137c7018, timestamp: 0x172552c8 Interval: 1403

13:01:16 Maximum server connections 1
13:01:16 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 1, Plog used 38, Llog used 3

13:02:37 Checkpoint Completed: duration was 21 seconds.
13:02:37 Thu Aug 21 - loguniq 233, logpos 0x137ca018, timestamp: 0x172a438c Interval: 1404

13:02:37 Maximum server connections 1
13:02:37 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 1, Plog used 45, Llog used 3

По чекпоинтам onstat -g ckp:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.

IBM Informix Dynamic Server Version 12.10.FC1 -- On-Line (CKPT INP) -- Up 00:29:36 -- 7550312 Kbytes

AUTO_CKPTS=On   RTO_SERVER_RESTART=Off   

                                                                    Critical Sections                          Physical Log    Logical Log    
           Clock                                  Total Flush Block #      Ckpt  Wait  Long  # Dirty   Dskflu  Total    Avg    Total    Avg   
Interval   Time      Trigger    LSN               Time  Time  Time  Waits  Time  Time  Time  Buffers   /Sec    Pages    /Sec   Pages    /Sec  
1397       12:46:14  Startup    233:0x131330c0    1.9   1.4   0.0   0      0.0   0.0   0.0   140       98      389      0      1        0     
1398       12:47:50  CKPTINTVL  233:0x1379f018    37.1  36.5  0.0   0      0.0   0.0   0.0   3050      83      598      9      1668     27    
1399       12:49:18  CKPTINTVL  233:0x137b9018    58.7  47.2  0.0   1      0.0   5.7   5.7   4281      90      49       0      30       0     
1400       12:58:09  CKPTINTVL  233:0x137bf018    501.4 477.7 0.0   1      0.0   23.1  23.1  61296     128     105      1      6        0     
1401       12:59:16  CKPTINTVL  233:0x137c1018    37.2  37.1  0.0   0      0.0   0.0   0.0   3736      100     23       0      3        0     
1402       13:00:21  CKPTINTVL  233:0x137c4018    35.2  32.0  0.0   1      0.0   2.4   2.4   3825      119     29       0      3        0     
1403       13:01:15  CKPTINTVL  233:0x137c7018    24.1  21.6  0.0   1      0.0   2.4   2.4   3122      144     38       0      3        0     
1404       13:02:36  CKPTINTVL  233:0x137ca018    21.2  16.9  0.0   1      0.0   3.0   3.0   2680      158     45       0      3        0     
1405       13:04:59  CKPTINTVL  233:0x137cd018    82.5  79.1  0.0   1      0.0   2.3   2.3   3860      48      44       0      8        0     

Max Plog       Max Llog       Max Dskflush   Avg Dskflush   Avg Dirty      Blocked      
pages/sec      pages/sec      Time           pages/sec      pages/sec      Time         
200            325            478            106            95             0

Вот что дает onstat -g iof:

Код: plaintext

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.

IBM Informix Dynamic Server Version 12.10.FC1 -- On-Line (CKPT INP) -- Up 00:42:59 -- 7550312 Kbytes

AIO global files:
gfd pathname         bytes read     page reads  bytes write    page writes io/s
108 chunk-maindbs_1  2105344        1028        2744803328     1340236     2.0
        op type     count          avg. time
        seeks       0              N/A
        reads       0              N/A
        writes      0              N/A
        kaio_reads  257            0.0754
        kaio_writes 325824         0.4939

Смущает io/s = 2. Кажется это очень мало.

...

Рейтинг:

0 / 0

21.08.2014, 13:43

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38725564

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

vvt1Журавлев Денисну все как обычно, тяжело жить без writeback cache
пробуйте lru_min_dirty=0.1,lru_max_dirty=0.2

С WriteBack cache встречался только в аппаратке.
И действительно, там когда батарея помирала до того как её заменяли (или сбрасывали счетчик для Sun Storagetek), то даже backup делался тоскливо и медленно.это другой случай, при бекапе последовательная запись и батарейка с кешем чаще даже мешает, рисуя клифы (пишем пишем в кеш --> заполнился, начинаем его сбрасывать на диск, во время сброса вообще изображаем мертвого), а Storagetek без батарейки тупил на 5-х рейдах, индусы скорее всего не рассчитывали на жизнь без кеша. А длинные чекпоинты на без writeback cache это абсолютно другая история.

...

Рейтинг:

0 / 0

21.08.2014, 13:48

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38725592

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

vvt1,

blocked time 0, т.е. никто не был заблокирован чекпоинтом, onstat -u для импорта все время Y показывает?
физлог и файлы с импортом перенесите на зеркало на котором система

...

Рейтинг:

0 / 0

21.08.2014, 14:10

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38725649

vvt1

Гость

Журавлев Денисblocked time 0, т.е. никто не был заблокирован чекпоинтом,

Ага, вот значит что эта колонка значит, теперь понятно.

Журавлев Денисonstat -u для импорта все время Y показывает?

Постоянно висит на этих демон-сессиях:

Код: plaintext

1.
2.
3.

Userthreads
address          flags   sessid   user     tty      wait             tout locks nreads   nwrites
1f1c4ae58        Y--P--D 11       informix -        1f70bc558        0    0     270      0
1f1c50c88        Y--P--D 33       informix -        49162b38         0    0     0        0

На сессии пользователя, осуществляющего загрузку через dbimport - Waiting on a condition, периодически, то есть, то нет.

Журавлев Денисфизлог и файлы с импортом перенесите на зеркало на котором система

С Physlog - надо подумать, а файлы с импортом и так на том зеркале, на котором система висит.

...

Рейтинг:

0 / 0

21.08.2014, 14:43

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38725883

vvt1

Гость

Еще странный момент. Может и так должно быть.
Вобщем, при RAW chunk character device

Код: plaintext

1.
2.

1f701b028        108    108    0          4194304    4194201               PO-B-- /dev/raw/raw1
informix@ifx12-24:~$ ls -la /dev/raw/raw1
crw-rw---- 1 informix informix 162, 1 Aug 21 12:46 /dev/raw/raw1

И установленный в onconfig:

Код: plaintext

BUFFERPOOL      size=8K,buffers=800000,lrus=8,lru_min_dirty=60,lru_max_dirty=70

Время загрузки: 90 min через dbimport.

Код: plaintext

------------------------------------------------------------------------------------------------

При RAW chunk block device

Код: plaintext

informix@ifx12-24:~$ ls -lL /opt/informix/lnk/chunk-maindbs_1
brw-rw---- 1 informix informix 253, 106 Aug 21 17:08 /opt/informix/lnk/chunk-maindbs_1

Но и при установленном в onconfig:

Код: plaintext

BUFFERPOOL      size=8K,buffers=800000,lrus=8,lru_min_dirty=0.1,lru_max_dirty=0.2

Время загрузки 177 минут , почти в два раза дольше.

Сейчас у меня опять сервер отобрали. Решили попробовать превратить его в iSCSI, чтоб отдать Informix на другой хост-машине и посмотреть как там будет себя оно вести.

...

Рейтинг:

0 / 0

21.08.2014, 17:16

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38726472

cpr

Гость

Журавлев ДенисcprЖуравлев Денис,

Вы бы сначала спросили с какой скоростью этот LRU сбрасывается.во время чекпоинта или между?

Мой коллега на мой взгляд зашел слишком издалека. Я делал тесты на этой системе и определил следующее:
1. Сброс грязных страниц во время чекпойнта происходит очень медленно - при включенном KAIO примерно 3.5 метра в секунду. Сброс грязных страниц при работе клинера при включенном KAIO - 1 метр в секунду.
2. Самое неприятное, что когда при работающем клинере наступает событие для чекпойнта (проверял разные в том числе ручные) происходит странный клинч. onstat -F показывает одновременную работу и LRU Writes и Chunk writes, но при этом скорость сброса наименьшая 1 - метр в секунду.
Вышеуказанные скорости сброса примерно удваиваются при отключении KAIO, но клинч механизмов LRU и Chunk writes остается.

Отсюда следует, что массовую загрузку объема данных меньшего чем размер буферного кэша можно ускорить если пороги клинеров задрать до максимальных значений и не давать процессу загрузки загрязнять буфера быстрее, чем они сбрасываются. Мне например в тесте это удалось сделать установкой для dbload'а на загрузку одой записи в транзакцию.
Но если нужно делать импорт данных, превышающих буферный кэш, то обойти клинч не удается и dbimport финиширует с минимально возможной скоростью.

Проблема явно за пределами IDS т.к. аналогичные тесты на системе с ДБ пространством, расположенным на внешней СХД, подключенной по FC, никаких сложностей не выявляют. Чекпойнты сбрасываются со скоростями 64 и 45 метров в секунду для Chunk writes и LRU writes соответственно. Никакого клинча так же не наблюдается - при срабатывании триггера на чекпойнт при работающем LRU грязные страницы сбрасываются с максимальной скоростью

...

Рейтинг:

0 / 0

22.08.2014, 12:05

| Ответить | Цитировать | Написать

Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

#38726526

Журавлев Денис

Участник

Откуда: St.John,NB,CA

Сообщения: 5 515

Рейтинг: 0 / 0

cpr1 - метр в секундуметр рандомов или не рандомов

посмотрите что происходит с помощью
https://github.com/brendangregg/perf-tools/blob/master/iosnoop

http://habrahabr.ru/post/154235/ сравните количество iops у внешней схд и этого сервера при латенси 5мс

...

Рейтинг:

0 / 0

22.08.2014, 12:36

| Ответить | Цитировать | Написать

61 сообщений из 61, показаны все 3 страниц

все

Форумы / Informix [игнор отключен] [закрыт для гостей] / Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?all=1&fid=44&tid=1606936]:	0ms
get settings:	22ms
get forum list:	14ms
check forum access:	4ms
check topic access:	4ms
track hit:	37ms
get topic data:	12ms
get forum data:	3ms
get page messages:	1155ms
get tp. blocked users:	1ms
others:	291ms

total:	1543ms