|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
ну все как обычно, тяжело жить без writeback cache пробуйте lru_min_dirty=0.1,lru_max_dirty=0.2 ... |
|||
:
Нравится:
Не нравится:
|
|||
20.08.2014, 20:25 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Журавлев Денисну все как обычно, тяжело жить без writeback cache пробуйте lru_min_dirty=0.1,lru_max_dirty=0.2 С WriteBack cache встречался только в аппаратке. И действительно, там когда батарея помирала до того как её заменяли (или сбрасывали счетчик для Sun Storagetek), то даже backup делался тоскливо и медленно. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.08.2014, 08:32 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Журавлев Денис, Вы бы сначала спросили с какой скоростью этот LRU сбрасывается. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.08.2014, 12:42 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
cprЖуравлев Денис, Вы бы сначала спросили с какой скоростью этот LRU сбрасывается.во время чекпоинта или между? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.08.2014, 13:38 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Журавлев Денисну все как обычно, тяжело жить без writeback cache пробуйте lru_min_dirty=0.1,lru_max_dirty=0.2 Мне сказали, что это не поможет, но тем не менее сделал. И так, грузим в этот чанк: Код: plaintext 1. 2.
В некоторых случаях: Код: plaintext 1. 2.
onstat счетчики были сбиты в ноль, после старта IDS. LRU работает, но (CKPT INP) не уходит, т.е. вначале он уходил, а потом через 5-10 минут dbimport стоит стабильно. Вот onstat -F: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14.
По onstat -p, тоже вроде чего-то такого не видно: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19.
onstat -u: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23.
Чекпоинт, пока, только один раз был 501 секунду, так, меньше (может это отработал AUTO_CKPTS 1?): 12:49:19 Checkpoint Completed: duration was 58 seconds. 12:49:19 Thu Aug 21 - loguniq 233, logpos 0x137b9018, timestamp: 0x1719e2ad Interval: 1399 12:49:19 Maximum server connections 1 12:49:19 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 1, Plog used 49, Llog used 30 12:58:10 Checkpoint Completed: duration was 501 seconds . 12:58:10 Thu Aug 21 - loguniq 233, logpos 0x137bf018, timestamp: 0x171c4f3f Interval: 1400 12:58:10 Maximum server connections 1 12:58:10 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 1, Plog used 105, Llog used 6 12:59:17 Checkpoint Completed: duration was 37 seconds. 12:59:17 Thu Aug 21 - loguniq 233, logpos 0x137c1018, timestamp: 0x171fc34e Interval: 1401 12:59:17 Maximum server connections 1 12:59:17 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 0, Plog used 23, Llog used 3 13:00:22 Checkpoint Completed: duration was 35 seconds. 13:00:22 Thu Aug 21 - loguniq 233, logpos 0x137c4018, timestamp: 0x17227e93 Interval: 1402 13:00:22 Maximum server connections 1 13:00:22 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 1, Plog used 29, Llog used 3 13:01:16 Checkpoint Completed: duration was 24 seconds. 13:01:16 Thu Aug 21 - loguniq 233, logpos 0x137c7018, timestamp: 0x172552c8 Interval: 1403 13:01:16 Maximum server connections 1 13:01:16 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 1, Plog used 38, Llog used 3 13:02:37 Checkpoint Completed: duration was 21 seconds. 13:02:37 Thu Aug 21 - loguniq 233, logpos 0x137ca018, timestamp: 0x172a438c Interval: 1404 13:02:37 Maximum server connections 1 13:02:37 Checkpoint Statistics - Avg. Txn Block Time 0.000, # Txns blocked 1, Plog used 45, Llog used 3 По чекпоинтам onstat -g ckp: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19.
Вот что дает onstat -g iof: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11.
Смущает io/s = 2. Кажется это очень мало. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.08.2014, 13:43 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
vvt1Журавлев Денисну все как обычно, тяжело жить без writeback cache пробуйте lru_min_dirty=0.1,lru_max_dirty=0.2 С WriteBack cache встречался только в аппаратке. И действительно, там когда батарея помирала до того как её заменяли (или сбрасывали счетчик для Sun Storagetek), то даже backup делался тоскливо и медленно.это другой случай, при бекапе последовательная запись и батарейка с кешем чаще даже мешает, рисуя клифы (пишем пишем в кеш --> заполнился, начинаем его сбрасывать на диск, во время сброса вообще изображаем мертвого), а Storagetek без батарейки тупил на 5-х рейдах, индусы скорее всего не рассчитывали на жизнь без кеша. А длинные чекпоинты на без writeback cache это абсолютно другая история. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.08.2014, 13:48 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
vvt1, blocked time 0, т.е. никто не был заблокирован чекпоинтом, onstat -u для импорта все время Y показывает? физлог и файлы с импортом перенесите на зеркало на котором система ... |
|||
:
Нравится:
Не нравится:
|
|||
21.08.2014, 14:10 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Журавлев Денисblocked time 0, т.е. никто не был заблокирован чекпоинтом, Ага, вот значит что эта колонка значит, теперь понятно. Журавлев Денисonstat -u для импорта все время Y показывает? Постоянно висит на этих демон-сессиях: Код: plaintext 1. 2. 3.
На сессии пользователя, осуществляющего загрузку через dbimport - Waiting on a condition, периодически, то есть, то нет. Журавлев Денисфизлог и файлы с импортом перенесите на зеркало на котором система С Physlog - надо подумать, а файлы с импортом и так на том зеркале, на котором система висит. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.08.2014, 14:43 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Еще странный момент. Может и так должно быть. Вобщем, при RAW chunk character device Код: plaintext 1. 2.
И установленный в onconfig: Код: plaintext
Время загрузки: 90 min через dbimport. Код: plaintext
При RAW chunk block device Код: plaintext 1.
Но и при установленном в onconfig: Код: plaintext
Время загрузки 177 минут , почти в два раза дольше. Сейчас у меня опять сервер отобрали. Решили попробовать превратить его в iSCSI, чтоб отдать Informix на другой хост-машине и посмотреть как там будет себя оно вести. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.08.2014, 17:16 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
Журавлев ДенисcprЖуравлев Денис, Вы бы сначала спросили с какой скоростью этот LRU сбрасывается.во время чекпоинта или между? Мой коллега на мой взгляд зашел слишком издалека. Я делал тесты на этой системе и определил следующее: 1. Сброс грязных страниц во время чекпойнта происходит очень медленно - при включенном KAIO примерно 3.5 метра в секунду. Сброс грязных страниц при работе клинера при включенном KAIO - 1 метр в секунду. 2. Самое неприятное, что когда при работающем клинере наступает событие для чекпойнта (проверял разные в том числе ручные) происходит странный клинч. onstat -F показывает одновременную работу и LRU Writes и Chunk writes, но при этом скорость сброса наименьшая 1 - метр в секунду. Вышеуказанные скорости сброса примерно удваиваются при отключении KAIO, но клинч механизмов LRU и Chunk writes остается. Отсюда следует, что массовую загрузку объема данных меньшего чем размер буферного кэша можно ускорить если пороги клинеров задрать до максимальных значений и не давать процессу загрузки загрязнять буфера быстрее, чем они сбрасываются. Мне например в тесте это удалось сделать установкой для dbload'а на загрузку одой записи в транзакцию. Но если нужно делать импорт данных, превышающих буферный кэш, то обойти клинч не удается и dbimport финиширует с минимально возможной скоростью. Проблема явно за пределами IDS т.к. аналогичные тесты на системе с ДБ пространством, расположенным на внешней СХД, подключенной по FC, никаких сложностей не выявляют. Чекпойнты сбрасываются со скоростями 64 и 45 метров в секунду для Chunk writes и LRU writes соответственно. Никакого клинча так же не наблюдается - при срабатывании триггера на чекпойнт при работающем LRU грязные страницы сбрасываются с максимальной скоростью ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2014, 12:05 |
|
Медленный dbimport (да и dbload) на IDS 12.10 :: 1,5 Mb/sec
|
|||
---|---|---|---|
#18+
cpr1 - метр в секундуметр рандомов или не рандомов посмотрите что происходит с помощью https://github.com/brendangregg/perf-tools/blob/master/iosnoop http://habrahabr.ru/post/154235/ сравните количество iops у внешней схд и этого сервера при латенси 5мс ... |
|||
:
Нравится:
Не нравится:
|
|||
22.08.2014, 12:36 |
|
|
start [/forum/topic.php?fid=44&startmsg=38724988&tid=1606936]: |
0ms |
get settings: |
16ms |
get forum list: |
5ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
25ms |
get topic data: |
3ms |
get forum data: |
1ms |
get page messages: |
257ms |
get tp. blocked users: |
1ms |
others: | 6ms |
total: | 316ms |
0 / 0 |