|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Журавлев Денися говорю в очереди к диску все по нулям, у вас может сама утилита dbimport тормозит, читает с медленного диска или через медленную сеть. В информиксе что у вас, смотрели? onstat -u и т.д. далее, что ждут заливающие сессии? Да нет, выгрузка лежит на одной паре из этих 24-х дисков. Там где и система (отдано два диска). Сейчас сервер забрали под другие тесты. Посмотрим, что там выйдет. Понятно, что надо просмотреть onstat'ы на момент загрузки. Будем разбираться. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.08.2014, 18:01 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
vvt1, а вообще я невнимательно смотрел, что-то странное Код: plaintext 1. 2.
dm-106 это тоже самое, что и md127 и util там 99%. Вы точно на 22 диска пишете, может ошиблись при создании чанков и пишете в файлы в /dev/ , как вообще чанки создавали, что под ними? lvm ? ... |
|||
:
Нравится:
Не нравится:
|
|||
19.08.2014, 18:07 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Журавлев Денисvvt1, а вообще я невнимательно смотрел, что-то странное Код: plaintext 1. 2.
dm-106 это тоже самое, что и md127 и util там 99%. Вы точно на 22 диска пишете, может ошиблись при создании чанков и пишете в файлы в /dev/ , как вообще чанки создавали, что под ними? lvm ? LVM. Скажу сразу, RAID строил не я, но буду пробовать отвечать на вопросы. Вот строение: Код: plaintext 1. 2. 3. 4. 5.
Строение чанков через линковку: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14.
Тут мне как Solaris like, не нравится блочный девайс, я хотел, конечно там видеть character, но мне тут объяснили, что я со своей Classical UNIX отстал от жизни и в Linux так правильно: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15.
Еще раз, в этой инсталляции (интерпретации) используем RAW chunks. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.08.2014, 19:19 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Еще, как пример, вывод фрагмента onstat -d относящегося к чанкам: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18.
... |
|||
:
Нравится:
Не нравится:
|
|||
19.08.2014, 19:21 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
и что показывает dd if=/opt/informix/lnk/chunk-rootdbs of=/dev/null bs=64k iflag=direct ? ... |
|||
:
Нравится:
Не нравится:
|
|||
19.08.2014, 20:01 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
vvt1Еще, как пример, вывод фрагмента onstat -d относящегося к чанкам: Код: plaintext 1.
Флага рабочего DIRECT_IO не видно, должно быть Код: plaintext
... |
|||
:
Нравится:
Не нравится:
|
|||
19.08.2014, 22:03 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Журавлев Дениси что показывает dd if=/opt/informix/lnk/chunk-rootdbs of=/dev/null bs=64k iflag=direct ? Код: plaintext 1. 2. 3.
... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 12:44 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
victor16vvt1Еще, как пример, вывод фрагмента onstat -d относящегося к чанкам: Код: plaintext 1.
Флага рабочего DIRECT_IO не видно, должно быть Код: plaintext
Хм... Сейчас поищу, но разве DIRECT_IO 1 он не на cooked chunks только воздействует? Сам то он в конфиге включен: Код: plaintext 1. 2.
... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 12:46 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Sorry, торможу. Его, DIRECT_IO 1 выключали вчера, когда я картинку чанков снимал. На скорость dbimport он, как ни странно, не повлиял. Сейчас этот параметр включен обратно и чанки выглядят так: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52.
... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 12:59 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
vvt1Журавлев Дениси что показывает dd if=/opt/informix/lnk/chunk-rootdbs of=/dev/null bs=64k iflag=direct ? Код: plaintext 1. 2. 3.
мало как-то, на 1,5ГБ в сек не похоже, а с другим bs, или fio read с iodeph=100 ... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 14:04 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Журавлев Денисмало как-то, на 1,5ГБ в сек не похоже, а с другим bs, или fio read с iodeph=100 Так полтора тера оно давало когда RAID-10 был построен со strip 512K. Его же раза три перестраивали, сейчас оставили 4K блок, наверное для того, чтобы попробовать с 4K страницами информикс, если такой DBSpace сделать. Я попробую снять с другими блоками и выложу результат. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 14:17 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
vvt1Так полтора тера оно давало когда RAID-10 был построен со strip 512K. Его же раза три перестраивали, сейчас оставили 4K блок, наверное для того, чтобы попробовать с 4K страницами информикс, если такой DBSpace сделать. Я попробую снять с другими блоками и выложу результат.вы уже второй раз пишете полтора тера , вы ничего не путаете? Убиваться на размерах страйпа не надо. Какой смысл при рандомной записи или чтении с диска 8кб, протягивать 512кб. Толку-то от чтения мусора. dd с bs =512k даст примерно тоже самое. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 14:33 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Журавлев Денисвы уже второй раз пишете полтора тера , вы ничего не путаете? Убиваться на размерах страйпа не надо. Какой смысл при рандомной записи или чтении с диска 8кб, протягивать 512кб. Толку-то от чтения мусора. dd с bs =512k даст примерно тоже самое. Денис, Вы правы. Сейчас спросил того, кто собирал массив - 1,5Gb/sec. Не знаю, что-то много путаться стал последнее время - не успеваю везде. Прошу прощения за заблуждения с пиками скорости. Читаем, что было 1,5 Gb. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 14:42 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
victor16Флага рабочего DIRECT_IO не видно, должно быть Код: plaintext
... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 14:43 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Журавлев Денисили fio read с iodeph=100 Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54.
... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 14:59 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
vvt1, read : io=2453.1MB, bw=25113KB/s, iops=6278 хорошие числа для рандомов я предлагал проверить не рандомы, и не на файлах fio -name iops -rw=read -bs=4k -iodepth=100 -runtime=100 -filename=/opt/informix/lnk/chunk-maindbs_13 -ioengine libaio -direct=1 buffered=0 ... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 15:12 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Журавлев Денисvvt1, read : io=2453.1MB, bw=25113KB/s, iops=6278 хорошие числа для рандомов я предлагал проверить не рандомы, и не на файлах fio -name iops -rw=read -bs=4k -iodepth=100 -runtime=100 -filename=/opt/informix/lnk/chunk-maindbs_13 -ioengine libaio -direct=1 buffered=0 Я вначале так и думал сделать, но подумал, что опять не так понял :-) Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32.
и еще раз: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32.
И, навсякий случай, с iodepth=20: Код: plaintext 1. 2. 3. 4. 5. 6. 7.
... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 15:59 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
я просил просто read, а не randread и ключ size не надо и buffered=0 бы , но еще вот проблема: Disk stats (read/write): md2 : ios=0/5, merge=0/0, ticks=0/0, in_queue=0, util=0.00%, aggrios=0/27, aggrmerge=0/0, aggrticks=0/245, aggrin_queue=245, aggrutil=0.26% sda : ios=0/27, merge=0/0, ticks=0/265, in_queue=265, util=0.26% sdb : ios=0/27, merge=0/0, ticks=0/226, in_queue=226, util=0.23% то-ли симлинк не раскрылся из-за fio, то-ли реально /dev/vg0 сделан поверх md2, на зеркале из двух дисков, подозреваю второе, iostat уже на это намекал [eta 00m:00s] вообще чего-нибудь выполнялось? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 16:16 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Журавлев Денися просил просто read, а не randread и ключ size не надо и buffered=0 бы , но еще вот проблема: Disk stats (read/write): md2 : ios=0/5, merge=0/0, ticks=0/0, in_queue=0, util=0.00%, aggrios=0/27, aggrmerge=0/0, aggrticks=0/245, aggrin_queue=245, aggrutil=0.26% sda : ios=0/27, merge=0/0, ticks=0/265, in_queue=265, util=0.26% sdb : ios=0/27, merge=0/0, ticks=0/226, in_queue=226, util=0.23% то-ли симлинк не раскрылся из-за fio, то-ли реально /dev/vg0 сделан поверх md2, на зеркале из двух дисков, подозреваю второе, iostat уже на это намекал [eta 00m:00s] вообще чего-нибудь выполнялось? Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26.
Physical volume /dev/md127 - это и есть RAID-10 на 22-x дисках. Код: plaintext 1. 2. 3. 4.
Разумеется Informix опущен (или не надо?). Поправил fio: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32.
И теперь напрямую к устройству, минуя линк, если на него есть подозрения (а есть, таки различия): Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28.
... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 16:45 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
от я затупил, [eta 00m:00s] это estimated, надо было смотреть runt= 80085msec похоже fio пытается угадать с каких дисков статистику выводить и плохо угадывает Jobs: 1 (f=1): [R] [100.0% done] [333.3M/0K /s] [85.4K/0 iops] [eta 00m:00s] bw (KB/s) : min=338920, max=593928, per=100.00%, avg=419063.25, stdev=74659.59 Jobs: 1 (f=1): [R] [100.0% done] [397.7M/0K /s] [102K/0 iops] [eta 00m:00s] bw (KB/s) : min=339320, max=562696, per=100.00%, avg=499308.54, stdev=58969.88 >И теперь напрямую к устройству, минуя линк, если на него есть подозрения (а есть, таки различия): одно и тоже, различия небольшие (погрешности корявого теста), в пике 0.5Gb/s. В общем опять вывод, что надо в информикс смотреть, может он файл импорта медленно парсит, может таблица неудачная. И сколько все-таки времени импортируются эти 20 гигов, без создания индексов? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 17:11 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Журавлев Денис И сколько все-таки времени импортируются эти 20 гигов, без создания индексов? Пока до конца не грузил. Проведу тест - выложу результат времени. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 17:24 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
vvt1Журавлев Денис И сколько все-таки времени импортируются эти 20 гигов, без создания индексов? Пока до конца не грузил. Проведу тест - выложу результат времени. onstat -u еще посмотрите, во время импорта. Может оказаться что во время записи на 22 диска, с 2 дисков чтение жутко торозит и импорт висит на iowait, фиг знает что там за hba карта, сколько у ней каналов, может все 24 диска через один сата видны. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 17:51 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Журавлев Денисonstat -u еще посмотрите, во время импорта. Может оказаться что во время записи на 22 диска, с 2 дисков чтение жутко торозит и импорт висит на iowait, фиг знает что там за hba карта, сколько у ней каналов, может все 24 диска через один сата видны. Сделал onstat -z. Подождал, посмотрел ontstat -u. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23.
... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 18:02 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Стоп. Это я в character RAW chunk пишу. Там без DIRECT_IO 1. Потом перезапущу, посмотрю, что выйдет... ... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 18:04 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Но! Тут заметил такую штучку в online.log: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9.
Даже, если это случайность, уже есть над чем подумать мне. Плюс перепроверю конфиг. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 18:57 |
|
|
start [/forum/topic.php?fid=44&msg=38724402&tid=1606936]: |
0ms |
get settings: |
16ms |
get forum list: |
6ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
25ms |
get topic data: |
4ms |
get forum data: |
1ms |
get page messages: |
490ms |
get tp. blocked users: |
1ms |
others: | 31ms |
total: | 576ms |
0 / 0 |