ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Не понимаю почему память в операционной системе свободна
81 сообщений из 81, показаны все 4 страниц
  все  
Не понимаю почему память в операционной системе свободна
    #39891525
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Доброго дня, товарищи! Подскажите, в чем не прав и куда посмотреть?

Код: plaintext
1.
2.
3.
4.
5.
free -g
             total       used       free     shared    buffers     cached
Mem:            29         29          0         25          0         25
-/+ buffers/cache:          2         26

OS: Oracle Linux Server release 6.6
СУБД: Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production
Память: 30 gb

SQL:

Код: plaintext
1.
2.
show parameter sga_max_size - текущий размер 24gb
show parameter db_cache_size - текущий размер 20gb

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
SQL> show sga

Total System Global Area 2.5655E+10 bytes
Fixed Size    2265224 bytes
Variable Size 4160753528 bytes
Database Buffers 2.1475E+10 bytes
Redo Buffers   16896000 bytes


И это, помимо того, что у меня помимо СУБД, ещё крутится сервер приложений.

Всё тормозит, чтение идет с дисков:

Код: plaintext
1.
2.
3.
4.
5.
6.
SQL> select SUM(decode(Name, 'db block gets', Value, 0)) "DB Block Gets", SUM(decode(Name, 'physical reads', Value, 0)) "Physical Reads"
 from v$sysstat;  2  

DB Block Gets Physical Reads
------------- --------------
      2944063    80063587

Что я делаю не так, товарищи?
...
Рейтинг: 0 / 0
20.11.2019, 11:48
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891531
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
VGusev2007
чтение идет с дисков
+no_parallel
...
Рейтинг: 0 / 0
20.11.2019, 11:57
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891535
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
-2-
VGusev2007
чтение идет с дисков
+no_parallel


Добрый день! Не очень понимаю что это. :( У меня сервер приложений пропиретарный, на запросы я влиять не могу.

Это имеет отношение к памяти?

Спасибо.
...
Рейтинг: 0 / 0
20.11.2019, 12:01
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891536
Фотография Elic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Elic
Участник
VGusev2007
У меня сервер приложений пропиретарный, на запросы я влиять не могу.
На плохие запросы можно не напастись памяти.
...
Рейтинг: 0 / 0
20.11.2019, 12:04
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891538
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Elic
VGusev2007
У меня сервер приложений пропиретарный, на запросы я влиять не могу.
На плохие запросы можно не напастись памяти.
Так суть поста в том, что у меня память как раз таки свободная, и я вечно читаю с диска!
...
Рейтинг: 0 / 0
20.11.2019, 12:06
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891541
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надфиль
Гость
VGusev2007,

а Huge pages используются?
...
Рейтинг: 0 / 0
20.11.2019, 12:08
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891543
Фотография Elic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Elic
Участник
VGusev2007
я вечно читаю с диска!
Если это именно ты, то исправься сам.
...
Рейтинг: 0 / 0
20.11.2019, 12:11
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891550
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Надфиль
VGusev2007,

а Huge pages используются?
А черт его знает. Я не DBA... Гугл меня тоже на Huge pages, вывел. Пытаюсь сейчас понять, используется или нет. Если используется, то что? Пытаюсь понять, и не понимаю, как это влияет на утилиту free, к примеру :)
...
Рейтинг: 0 / 0
20.11.2019, 12:15
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891553
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Elic
VGusev2007
я вечно читаю с диска!
Если это именно ты, то исправься сам.
Это oracle. Вы вывод команды видели по блокам? Я правильно интерпритирую вывод команды? Пож-та, не трольте.
...
Рейтинг: 0 / 0
20.11.2019, 12:16
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891556
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надфиль
Гость
VGusev2007
А черт его знает. Я не DBA...

Пора найти.
лучше чтобы было...

покажи

grep Huge /proc/meminfo
...
Рейтинг: 0 / 0
20.11.2019, 12:21
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891560
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Надфиль
VGusev2007
А черт его знает. Я не DBA...

Пора найти.
лучше чтобы было...

покажи

grep Huge /proc/meminfo



Код: plaintext
1.
2.
3.
4.
5.
grep Huge /proc/meminfo 
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

Спасибо за помощь! Я так понимаю, что не используется? У меня это виртуальная машина, насколько я понял, что kvm не очень дружит с huge page. Надо вникать. Это как-то относится к free, утилите?
...
Рейтинг: 0 / 0
20.11.2019, 12:26
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891565
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
VGusev2007
Надфиль
пропущено...

Пора найти.
лучше чтобы было...

покажи

grep Huge /proc/meminfo



Код: plaintext
1.
2.
3.
4.
5.
grep Huge /proc/meminfo 
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

Спасибо за помощь! Я так понимаю, что не используется? У меня это виртуальная машина, насколько я понял, что kvm не очень дружит с huge page. Надо вникать. Это как-то относится к free, утилите? Или мы говорим только о +10-20% к производительности?
...
Рейтинг: 0 / 0
20.11.2019, 12:27
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891566
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Надфиль
VGusev2007
А черт его знает. Я не DBA...

Пора найти.
лучше чтобы было...

покажи

grep Huge /proc/meminfo


А не может ли быть дело в каком-нибудь: SHMMAX?
...
Рейтинг: 0 / 0
20.11.2019, 12:31
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891568
Фотография Elic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Elic
Участник
VGusev2007
У меня сервер приложений пропиретарный
VGusev2007
Я не DBA
VGusev2007
в чем не прав
Пытаешься занимаеться несвойственной работой.
...
Рейтинг: 0 / 0
20.11.2019, 12:32
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891573
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Elic
VGusev2007
У меня сервер приложений пропиретарный
VGusev2007
Я не DBA
VGusev2007
в чем не прав
Пытаешься занимаеться несвойственной работой.
Спасибо, я уже понял. Но, я пишу из горящего танка. Можете по делу подсказать?
...
Рейтинг: 0 / 0
20.11.2019, 12:36
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891575
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
VGusev2007
Это имеет отношение к памяти?
Сначала разберись с сутью претензии. Ты высказал три тезиса:
- тормозит,
- наличие свободной памяти,
- читает с диска.
Про "тормозит" еще можно сказать, что это проблема, но без указания критериев и предмета оценки это субъективное нытье. Два других не являются проблемой. Почему вывод free=0 привел тебя к заключению о наличии свободной памяти, не понятно.
...
Рейтинг: 0 / 0
20.11.2019, 12:36
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891586
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надфиль
Гость
VGusev2007
Я так понимаю, что не используется?

да не используется.
начни с настройки чтобы использовалось.
не использовать с таким колвом памяти на линуксе это преступление.

https://docs.oracle.com/database/121/UNXAR/appi_vlm.htm#UNXAR402
правда это про 12.
для 11 и твоей версии мануалов в сети полно. там есть некоторые ньюансы.
сам найдешь....
...
Рейтинг: 0 / 0
20.11.2019, 12:46
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891591
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
-2-
VGusev2007
Это имеет отношение к памяти?
Сначала разберись с сутью претензии. Ты высказал три тезиса:
- тормозит,
- наличие свободной памяти,
- читает с диска.
Про "тормозит" еще можно сказать, что это проблема, но без указания критериев и предмета оценки это субъективное нытье. Два других не являются проблемой. Почему вывод free=0 привел тебя к заключению о наличии свободной памяти, не понятно.


Стоп, стоп, стоп!

free=0, это же отлично!

У меня то проблема в другом...

У меня очень конкретный вопрос:

Код: plaintext
1.
2.
# free -g
             total       used       free     shared    buffers     cached
Mem:            29         29          0         25          0         25

У меня, всё в кешах! При-этом, когда в базе делают относительно простой отчет, сама база, объемом в 150 гиг, с вируталки делает обращения на диск на 300 гигов за час... Хрень же, полнейшая.

То есть, мой вопрос прост: почему, у меня всё в cached?

Спасибо!
...
Рейтинг: 0 / 0
20.11.2019, 12:48
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891595
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Надфиль
VGusev2007
Я так понимаю, что не используется?

да не используется.
начни с настройки чтобы использовалось.
не использовать с таким колвом памяти на линуксе это преступление.

https://docs.oracle.com/database/121/UNXAR/appi_vlm.htm#UNXAR402
правда это про 12.
для 11 и твоей версии мануалов в сети полно. там есть некоторые ньюансы.
сам найдешь....


Понял! Мне нужно вкуривать в THP, я так понимаю. У меня виртуализация kvm, я так понял, с HP всё тяжко. Только уходить на реальное железо или юзать какой-нибудь VMware (наверное). Или пробовать юзать THP. Я бы пока отложил этот вопрос, если честно. Я сотни гигов читаю с диска, при том, что сама база в соток гигов, и вся память в cached...
...
Рейтинг: 0 / 0
20.11.2019, 12:50
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891597
Фотография Elic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Elic
Участник
VGusev2007
мой вопрос прост
Ответ так же прост: не понимаешь цифр - не пытайся их интерпретировать.
...
Рейтинг: 0 / 0
20.11.2019, 12:54
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891601
witte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
witte
Участник
VGusev2007

То есть, мой вопрос прост: почему, у меня всё в cached?

show parameter filesystemio_options
...
Рейтинг: 0 / 0
20.11.2019, 12:57
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891603
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надфиль
Гость
VGusev2007


У меня, всё в кешах!

ну это системный. все что свободно линукс пихает в кэш.
кстати использование его ораклом для дисковых операций тоже не очень хорошо. получается как бы двоеное кэшровнаие на уровне ОС и на уровне БД.

оракл ограничен тем что ты задал в СГА в частности Database Buffers 2.1475E+10 bytes

чтения могут быть вызваны тупорылыми запросами к базе от программы.
99%.
возможно это поддается тюнингу внешнему средствами БД...
но я бы не обольщался :D
нужно искать разработчиков и медленно их убивать, втыкая иголки под ногти.
...
Рейтинг: 0 / 0
20.11.2019, 12:58
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891615
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Надфиль
VGusev2007


У меня, всё в кешах!

ну это системный. все что свободно линукс пихает в кэш.
кстати использование его ораклом для дисковых операций тоже не очень хорошо. получается как бы двоеное кэшровнаие на уровне ОС и на уровне БД.

оракл ограничен тем что ты задал в СГА в частности Database Buffers 2.1475E+10 bytes

чтения могут быть вызваны тупорылыми запросами к базе от программы.
99%.
возможно это поддается тюнингу внешнему средствами БД...
но я бы не обольщался :D
нужно искать разработчиков и медленно их убивать, втыкая иголки под ногти.


Я очень сомневаюсь что разработчики SAP (пусть и древней версии), настолько криворуки... Одно б, дело, у меня операционка не кешировала бы ничего, а она ж видит что память свободна, вот и забирает её под кеш.

Вот у меня всей виртуалке выдано 30гб.
Ораклу, выдано 20гб. под кеш. - Чего ещё этой падле надо, чтобы он забрал это у операционки и начал юзать? limits какие-то не верно я задал? - По идее, оно бы падало...

ИМХО, тут не сколько DBA проблема, сколько смежная, между сисадминством и dba. С уклоном в админство...
...
Рейтинг: 0 / 0
20.11.2019, 13:14
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891619
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
witte
VGusev2007

То есть, мой вопрос прост: почему, у меня всё в cached?

show parameter filesystemio_options



Код: plaintext
1.
2.
3.
4.
SQL> show parameter filesystemio_options 

NAME     TYPE VALUE
------------------------------------ ----------- ------------------------------
filesystemio_options     string setall

Не знаю, что бы это значило, но вывод таков. :)
...
Рейтинг: 0 / 0
20.11.2019, 13:16
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891624
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надфиль
Гость
VGusev2007

Я очень сомневаюсь что разработчики SAP (пусть и древней версии), настолько криворуки...

я даже не сомневаюсь))

VGusev2007
Ораклу, выдано 20гб. под кеш. - Чего ещё этой падле надо, чтобы он забрал это у операционки и начал юзать? limits какие-то не верно я задал? - По идее, оно бы падало...

ну увеличь это. раз не нужны те Гб из кэша никому более.
show parameter sga_max_size - текущий размер 24gb
show parameter db_cache_size - текущий размер 20gb

но я тебя уверяю,нет проблем написать запрос, который повалит по любому ресурсу или по всем сразу практически любой сервер.
так что вероятность того что увеличение выше указанных параметров улучшит ситуацию минимальна.

VGusev2007

ИМХО, тут не сколько DBA проблема, сколько смежная, между сисадминством и dba. С уклоном в админство...

проблема в первую очередь с корявыми запросами. в меньшей степени в настройках сервера.
это моё ИХМО
вероятно даже что это исполнение единственого экземпляра единственного запроса, вызвает такие чтения.
...
Рейтинг: 0 / 0
20.11.2019, 13:24
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891628
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
VGusev2007
Одно б, дело, у меня операционка не кешировала бы ничего, а она ж видит что память свободна, вот и забирает её под кеш.
Ты продолжаешь интерпретировать показатели, не понимая их сути. Оракл использует 25ГБ, сколько ему отведено параметрами БД.
...
Рейтинг: 0 / 0
20.11.2019, 13:26
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891633
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Самое интересное по памяти и не покали. Есть ли своп, используется ли он.

Похоже память как раз не "свободна", а ее катастрофически не хватает. Т.к. есть подозрение, что 26 Gb это как раз swap, а не "забирает её под кеш".

IMHO
...
Рейтинг: 0 / 0
20.11.2019, 13:33
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891640
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надфиль
Гость
-2-
Оракл использует 25ГБ, сколько ему отведено параметрами БД.

ну еще не известно,кстати, сколько там под PGA дано...
но еще раз для хозяина темы.
далеко не всегда наличие пиков дисковых операций говорит о недостатке памяти.
я бы даже сказал, редко говорит))
...
Рейтинг: 0 / 0
20.11.2019, 13:43
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891663
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
Надфиль
наличие пиков
Даже для домыслов нужно определиться, что считать пиком.
...
Рейтинг: 0 / 0
20.11.2019, 14:10
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891672
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Надфиль

но еще раз для хозяина темы.
далеко не всегда наличие пиков дисковых операций говорит о недостатке памяти.
я бы даже сказал, редко говорит))

ну автор топика считает, что это говорит о "память в операционной системе свободна" )))
...
Рейтинг: 0 / 0
20.11.2019, 14:17
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891695
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
-2-
VGusev2007
Одно б, дело, у меня операционка не кешировала бы ничего, а она ж видит что память свободна, вот и забирает её под кеш.
Ты продолжаешь интерпретировать показатели, не понимая их сути. Оракл использует 25ГБ, сколько ему отведено параметрами БД.

Угу. Мне показали вывод free -g , с другого сервера, там такая же фигня... Да как так то..? Я если сейчас дам команду на очистку кешей линукс, фактически очищу кеши oracle за одно?

Код: plaintext
sync; echo 1 > /proc/sys/vm/drop_caches
- выходит, вот это, мне шарахнет все кеши oracle?
...
Рейтинг: 0 / 0
20.11.2019, 14:38
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891697
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Leonid Kudryavtsev
Надфиль

но еще раз для хозяина темы.
далеко не всегда наличие пиков дисковых операций говорит о недостатке памяти.
я бы даже сказал, редко говорит))

ну автор топика считает, что это говорит о "память в операционной системе свободна" )))
Да, да... Я свято был уверен, что всё что в cached, то свободно и не колышит... И статистика oralce по чтению блоков мне как-бы говорит что я прав. Он всё читает с диска. Однако, сейчас я запустил после добавления памяти iostat, и вижу, что более у меня нету сотен гигов чтения с диска! Но статистика пока ужасная...

Код: plaintext
1.
2.
3.
4.
5.
SQL> select SUM(decode(Name, 'db block gets', Value, 0)) "DB Block Gets", SUM(decode(Name, 'physical reads', Value, 0)) "Physical Reads"
 from v$sysstat;  2  

DB Block Gets Physical Reads
------------- --------------
      3627349   144427308

Может мне стоит расслабить булки и подождать, пока DB Block Gets, просто начнет увеличиваться? Я уже ниче не понимаю, ребят :)
...
Рейтинг: 0 / 0
20.11.2019, 14:41
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891701
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Leonid Kudryavtsev
Самое интересное по памяти и не покали. Есть ли своп, используется ли он.

Похоже память как раз не "свободна", а ее катастрофически не хватает. Т.к. есть подозрение, что 26 Gb это как раз swap, а не "забирает её под кеш".

IMHO


Неее...

Показываю всё:

Код: plaintext
1.
2.
3.
4.
free -g
             total       used       free     shared    buffers     cached
Mem:            29         29          0         25          0         26
-/+ buffers/cache:          3         26
Swap:           25          0         25

Я по-этому то и недоумеваю... Swap чист. ООМ не просыпается, в кеше дохрена. А статистика вроде как ужасающая...
...
Рейтинг: 0 / 0
20.11.2019, 14:43
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891704
Фотография Vadim Lejnin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vadim Lejnin
Участник
[телепат моде он]
Скорее всего, у тебя дикий swapping

1) huge page не работает если установлен
memory_target а не sga_target

2) Если не используется huge page, то в swap могут улететь серверные процессы oracle, в результате все встает колом
и начинается дикая маструбация

3) Зависание запросов, приводит к истерике пользователей и массовому росту сессий, что еще сильнее усугубляет проблему


4)
автор
Код: plsql
1.
2.
3.
4.
5.
6.
SQL> select SUM(decode(Name, 'db block gets', Value, 0)) "DB Block Gets", SUM(decode(Name, 'physical reads', Value, 0)) "Physical Reads"
 from v$sysstat;  2  

DB Block Gets Physical Reads
------------- --------------
      2944063

80063587




У тебя с начала старта сервера oracle запрошено клиентами всего 23Гигов блоков
и прочитано всего 600гигов данных

Это блин копейки
Что скорее всего показывает, что тормозит система/VM а не oracle

[/телепат моде оff]

Сир,
Студентам, желающим помощи
HOWTO :: Как правильно задавать вопросы
Как мне оформить свое сообщение?

Информация:
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
1) Версия oracle 
select * from v$version;

2)  Последние 100000 строк
tail  -100000 alert.log | tee /tmp/alert.txt

и проверить что в выводе есть старт и параметры oracle
если нет, то скопировать отдельно


3) Настройки системы:
sysctl -a | tee /tmp/sysctl.txt

4) Последние строки messages
tail -10000 /var/log/messages | tee /tmp/syslog.txt

5) буфер ядра

dmesg | tee /tmp/dmesg.txt


6) Системная статистика
файл
/var/log/sa/sa20
и вывод
sar -f var/log/sa/sa20 -B | tee /tmp/sar_B.txt

7) memory info
cat /proc/meminfo | tee /tmp/meminfo.txt



p.s. файлы в аохив, вывод - используя тэги SRC и spoiler для портянок
...
Рейтинг: 0 / 0
20.11.2019, 14:46
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891706
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Парни, помогите посмотреть что у меня по PGA. - Оно не автоматом разве вычисляется?

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
SQL> SELECT ROUND (PGA_TARGET_FOR_ESTIMATE / 1024 / 1024) target_mb,
PGA_TARGET_FACTOR,
ESTD_PGA_CACHE_HIT_PERCENTAGE cache_hit_perc,
ESTD_OVERALLOC_COUNT
FROM V$PGA_TARGET_ADVICE;  2    3    4    5  

 TARGET_MB PGA_TARGET_FACTOR CACHE_HIT_PERC ESTD_OVERALLOC_COUNT
---------- ----------------- -------------- --------------------
       364.125 61       0
       729 .25 61       0
      1457  .5 61       0
      2186 .75 61       0
      2915   1 61       0
      3497 1.2 61       0
      4080 1.4 61       0
      4663 1.6 61       0
      5246 1.8 61       0
      5829   2 61       0
      8744   3 61       0

 TARGET_MB PGA_TARGET_FACTOR CACHE_HIT_PERC ESTD_OVERALLOC_COUNT
---------- ----------------- -------------- --------------------
     11658   4 61       0
     17487   6 61       0
     23316   8 61       0

14 rows selected.

Что-то нужно делать с PGA?
...
Рейтинг: 0 / 0
20.11.2019, 14:48
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891715
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Vadim Lejnin, спасибо! Вкуриваю в пост. До тюнинга, у меня под oracle, было всего: 4гб под SGA и 2гб. под кеш. Я сделал 24gb под SGA, и 20ть под кеш. - Норм? По-этому, скорее всего было такое, дикое чтение.

То, что было до этого, всего 2гб. - это ФЕЙЛ. Я это понимаю. Я не dba, хрен пойми кто. По-этому знаний не хватает. Я посмотрел, разобрался как потюнить :) Уже прогресс.
...
Рейтинг: 0 / 0
20.11.2019, 14:53
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891723
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
VGusev2007
Что-то нужно делать с PGA?
Вытряхнуть пепельницу и попинать колеса, конечно, популярный совет на форумах, но чтобы пациент сам этого просил...
...
Рейтинг: 0 / 0
20.11.2019, 14:57
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891729
Фотография Vadim Lejnin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vadim Lejnin
Участник
Не увидел что swap не используется
Скорее всего тормозит VM
Если пришлешь /var/log/sa/sa20
Будет сразу видно, что проблемы с ней если посмотреть syscall в сек
аргумент для sar сейчас не помню
...
Рейтинг: 0 / 0
20.11.2019, 15:03
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891736
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надфиль
Гость
VGusev2007
4гб под SGA и 2гб. под кеш.

практически "настройки" по умолчанию.

VGusev2007
Я сделал 24gb под SGA, и 20ть под кеш.

правильно читать 24gb под SGA, в том числе 20ть под кеш.
кеш это часть SGA, как правило, самая большая

VGusev2007
По-этому, скорее всего было такое, дикое чтение.

тебе уже написали что из настроек в первую очередь с таким колвом памяти нужно сделать с поддержкой Hugepage
реально будет свапится все, а на виртуалке так вообще....
да и такой раздел памяти как pagetable будет эпичных масштабов. и добавит тормозов....
...
Рейтинг: 0 / 0
20.11.2019, 15:09
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891741
Фотография Vadim Lejnin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vadim Lejnin
Участник
VGusev2007
Парни, помогите посмотреть что у меня по PGA. - Оно не автоматом разве вычисляется?

....
Что-то нужно делать с PGA?


PGA обычно смотрится далеко не в первую очередь

И да забыл, что нужен либо AWR (если есть лицензия diagnostic pack)

Либо statspack отчет
как ставить, снимать отчеты смотри

Код: plsql
1.
$ORACLE_HOME/rdbms/admin/spdoc.txt



Идея:
в таблицах statspack сохраняется текущие значения oracle statistics по команде

Код: plsql
1.
SQL> exec perfstat.statspack.snap



Через некоторое время, еще раз, или настроить job чтобы раз в 15 мин делал новый снимок
Код: plsql
1.
SQL> exec perfstat.statspack.snap



Имея две временные точки, можно вычислить нагрузку в интервал времени между любыми точками snapshot

Код: plsql
1.
SQL> @ ?/rdbms/admin/spreport


Нужен интервал времени когда возникли проблемы
...
Рейтинг: 0 / 0
20.11.2019, 15:13
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891773
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Надфиль

практически "настройки" по умолчанию.

А я и не трогал особо настройки эти. Как поставил СУБД много лет назад, так и не знал, что у меня так всё плохо... :(

Надфиль

кеш это часть SGA, как правило, самая большая.

Угу, вот под SGA отвел 24 под кеш 20ть. - Я фиг знает, норм это или нет... Я так полагаю, что PGA из этих 4гб. сам высчитает сколько ему надо?


Надфиль

тебе уже написали что из настроек в первую очередь с таким колвом памяти нужно сделать с поддержкой Hugepage
реально будет свапится все, а на виртуалке так вообще....
да и такой раздел памяти как pagetable будет эпичных масштабов. и добавит тормозов....

Угу. Ну насколько мне же и написали, что тюнинг oracle под hg, отдельная задача. Сейчас, за час, у меня вроде пока не так всё эпично, около 50гб. Боюсь, что выпендриваться с hg, пока мне рановато. Но на заметку я взял. Надо разбираться как оно в kvm работает на данный момент.

Так swap у меня сейчас не юзается особо... Но, я понял, что мне, нужно ещё памяти! 700 метров занятого swap, это много?
...
Рейтинг: 0 / 0
20.11.2019, 15:40
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891776
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Vadim Lejnin, спасибо огромное! Буду вкуривать. AWR, вроде работает... Буду разбираться. Сейчас, панику тюнингом снял, вроде... Надо далее смотреть как оно будет.
...
Рейтинг: 0 / 0
20.11.2019, 15:42
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891785
witte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
witte
Участник
VGusev2007
Я очень сомневаюсь что разработчики SAP (пусть и древней версии), настолько криворуки...

Там всё что угодно может быть, в том числе и кастомизации.
Я бы поостерегся произвольно трогать настройки БД без консультации с SAP - могут быть нюансы...

PS: На SAP денег хватило, а на DBA нет что-ли?
...
Рейтинг: 0 / 0
20.11.2019, 15:48
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891801
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
witte
VGusev2007
Я очень сомневаюсь что разработчики SAP (пусть и древней версии), настолько криворуки...

Там всё что угодно может быть, в том числе и кастомизации.
Я бы поостерегся произвольно трогать настройки БД без консультации с SAP - могут быть нюансы...

PS: На SAP денег хватило, а на DBA нет что-ли?


"Угу, по принципу работаем: ну ты там разберись как-нибудь... Тебе чта, сложна шоле, тыж мышку видел? У нас инстанс крошечный же, десять колег(к) работают..."

Кастомизаций с 2004 года - вагон и телега... Кривых, косых и т.д. По-этому, и перебрались на SSD с НЖМД. А, когда оно не ускорилось, я обнаружил, что Ora, с настройками по-умолчанию... По-этому, я не хочу ничего трогать (huge pages и т.д.), кроме уж, совсем дубовых вещей, вроде кешей... - Фиг знает как оно повлияет... Вдруг, сама апликация не умеет работать с huge pages... Хрен знает.
...
Рейтинг: 0 / 0
20.11.2019, 16:04
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891883
SQL*Plus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL*Plus
Участник
VGusev2007
AWR, вроде работает...
Не подставь свою контору под лицензионное нарушение использования Diagnostics Pack.
...
Рейтинг: 0 / 0
20.11.2019, 17:30
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891904
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
SQL*Plus
VGusev2007
AWR, вроде работает...
Не подставь свою контору под лицензионное нарушение использования Diagnostics Pack.
Ой... То есть, оно включено и работает, но если даже через консоль посмотреть что оно там логирует, то можно получить за это?
...
Рейтинг: 0 / 0
20.11.2019, 17:48
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891921
Фотография Vadim Lejnin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vadim Lejnin
Участник
Обещал пример, как определить что проблемы на уровне VM, а не системы
очень хорошо видно, что vm с oracle была приостановлена (не получала ресурсов в 8:30, 8:10, 11:30)
При этом на уровне гостевой ОС - вы не видите проблем кроме вот этих
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
-- proc/s - количество новых процессов
-- cswch/s - context switch в sec ( получение активными процессами CPU)
-- /var/log/sa/saDD - файл статистики linux собранный sar, где DD - день месяца  

$ sar -f /var/log/sa/sa17 -s 08:00:00 -e 12:00:00 -w
Linux 2.6.39-400.17.1.el6uek.x86_64 (hostname)       10/16/2019      _x86_64_        (16 CPU)

08:00:01 AM    proc/s   cswch/s
08:10:01 AM      0.62  17501.51
08:20:01 AM      0.58  17444.09
08:30:01 AM      0.00      0.00
08:40:01 AM      0.46  14985.21
08:50:01 AM      1.59  16831.75
09:00:01 AM      0.45  16798.04
09:10:01 AM      0.53  14101.53
09:20:01 AM      0.56  18165.55
09:30:01 AM      0.47  15033.06
09:40:01 AM      0.49  12816.76
09:50:01 AM      0.49  12584.51
10:00:01 AM      0.48  14559.12
10:10:01 AM      0.00      0.00
10:20:01 AM      0.47  12308.29
10:30:01 AM      0.49  12470.51
10:40:01 AM      0.45  12079.00
10:50:01 AM      0.55  10239.14
11:00:01 AM      0.48  10628.45
11:10:01 AM      0.50   8313.00
11:20:02 AM      0.36   6397.13
11:30:01 AM      0.00      0.00
11:40:01 AM      0.32   6465.16
Average:         3.68  89946.33
...
Рейтинг: 0 / 0
20.11.2019, 18:04
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891935
SQL*Plus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL*Plus
Участник
VGusev2007
SQL*Plus
пропущено...
Не подставь свою контору под лицензионное нарушение использования Diagnostics Pack.
Ой... если даже через консоль посмотреть что оно там логирует, то можно получить за это?
Это один из способов "получить за это".
...
Рейтинг: 0 / 0
20.11.2019, 18:16
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891944
SQL*Plus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL*Plus
Участник
SQL*Plus
VGusev2007
AWR, вроде работает...
Не подставь свою контору под лицензионное нарушение использования Diagnostics Pack.
Чтобы уберечься от таких нарушений, установите параметр:
Код: plsql
1.
CONTROL_MANAGEMENT_PACK_ACCESS = NONE
...
Рейтинг: 0 / 0
20.11.2019, 18:26
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891956
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Ребят, ответьте, пожалуйста:



Код: sql
1.
2.
3.
4.
5.
6.
SQL> select SUM(decode(Name, 'db block gets', Value, 0)) "DB Block Gets", SUM(decode(Name, 'physical reads', Value, 0)) "Physical Reads"
 from v$sysstat;  2  

DB Block Gets Physical Reads
------------- --------------
      4140959   188169369



Я правильно понимаю, что это караул как всё плохо?
...
Рейтинг: 0 / 0
20.11.2019, 18:45
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891958
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
SQL*Plus
SQL*Plus
пропущено...
Не подставь свою контору под лицензионное нарушение использования Diagnostics Pack.
Чтобы уберечься от таких нарушений, установите параметр:
Код: plsql
1.
CONTROL_MANAGEMENT_PACK_ACCESS = NONE



Спасибо! Буду аккуратен. Не знал про такие ограничения...



Код: sql
1.
2.
3.
4.
5.
6.
SQL> select SUM(decode(Name, 'db block gets', Value, 0)) "DB Block Gets", SUM(decode(Name, 'physical reads', Value, 0)) "Physical Reads"
 from v$sysstat;  2  

DB Block Gets Physical Reads
------------- --------------
      4140959   188169369


Подскажите, это крайне хреновые цифры? Я понимаю, что тут много сложностей в понимании... Но всё же.
...
Рейтинг: 0 / 0
20.11.2019, 18:46
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891962
SQL*Plus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL*Plus
Участник
VGusev2007
SQL*Plus
пропущено...
Чтобы уберечься от таких нарушений, установите параметр:
Код: plsql
1.
CONTROL_MANAGEMENT_PACK_ACCESS = NONE

Спасибо! Буду аккуратен. Не знал про такие ограничения...

Читайте Database Licensing Information User Manual
...
Рейтинг: 0 / 0
20.11.2019, 18:50
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891969
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Vadim Lejnin
Обещал пример, как определить что проблемы на уровне VM, а не системы
очень хорошо видно, что vm с oracle была приостановлена (не получала ресурсов в 8:30, 8:10, 11:30)
При этом на уровне гостевой ОС - вы не видите проблем кроме вот этих
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
-- proc/s - количество новых процессов
-- cswch/s - context switch в sec ( получение активными процессами CPU)
-- /var/log/sa/saDD - файл статистики linux собранный sar, где DD - день месяца  

$ sar -f /var/log/sa/sa17 -s 08:00:00 -e 12:00:00 -w
Linux 2.6.39-400.17.1.el6uek.x86_64 (hostname)       10/16/2019      _x86_64_        (16 CPU)

08:00:01 AM    proc/s   cswch/s
08:10:01 AM      0.62  17501.51
08:20:01 AM      0.58  17444.09



Это надо на госте или на хосте смотреть? Это как steal time в top?

Вот с гостя где сидит oracle:

Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
sar -f /var/log/sa/sa20 -s 08:00:00 -e 23:00:00 -w
Linux 3.8.13-68.1.2.el6uek.x86_64 (tokkprd6) 11/20/2019 _x86_64_(8 CPU)

08:00:01 AM    proc/s   cswch/s
08:10:01 AM      0.92   3119.03
08:20:01 AM      0.80   2396.20
08:30:01 AM      0.82   2364.64
08:40:01 AM      0.81   2476.23
08:50:01 AM      0.97   2558.84
09:00:01 AM      0.80   2509.90
09:10:01 AM      0.88   3419.62
09:20:01 AM      0.81   3684.38
09:30:01 AM      0.84   4289.37
09:40:01 AM      0.81   3180.21
09:50:01 AM      0.82   2731.31
10:00:01 AM      0.86   4075.66
10:10:01 AM      0.87   2619.89
10:20:01 AM      0.82   3323.54
10:30:01 AM      0.84   2770.78
10:40:01 AM      0.85   3046.82
10:50:01 AM      0.86   3705.63
11:00:01 AM      0.81   4225.61
11:10:01 AM      0.89   6087.05
11:20:01 AM      0.82   4484.73
11:30:01 AM      0.84   4463.19
11:40:01 AM      0.81   5906.73
11:50:01 AM      0.83   3097.19
12:00:01 PM      0.82   3469.44
12:10:01 PM      0.96   3449.24
12:20:01 PM      0.80   2911.67
12:30:01 PM      0.88   3420.35
12:40:01 PM      0.84   3065.72
12:50:01 PM      0.81   2708.50
01:00:01 PM      0.81   4849.04
01:10:01 PM      0.87   3653.36
01:20:01 PM      0.81   2673.07
01:30:01 PM      0.84   2766.84

01:30:01 PM    proc/s   cswch/s
01:40:01 PM      0.84   4838.28
01:50:01 PM      0.82   2776.30
02:00:01 PM      0.88   4948.56
02:10:01 PM      0.91   4399.44
02:20:01 PM      0.81   8434.51
02:30:01 PM      0.82   8093.01
02:40:01 PM      0.82   2911.05
02:50:01 PM      0.82   2878.69
03:00:01 PM      0.82   2725.79
03:10:01 PM      1.25   3031.45
03:20:01 PM      0.81   3750.91
03:30:01 PM      0.85   2968.67
03:40:01 PM      0.81   3841.09
03:50:01 PM      0.81   2538.17
04:00:01 PM      0.83   3947.48
04:10:01 PM      0.88   2577.39
04:20:01 PM      0.83   3721.22
04:30:01 PM      0.83   5221.17
04:40:01 PM      0.82   3163.35
04:50:01 PM      0.81   2798.12
05:00:01 PM      0.81   2439.97
05:10:01 PM      0.93   3587.93
05:20:01 PM      0.82   2952.44
05:30:01 PM      0.81   2393.95
05:40:01 PM      0.81   3120.00
05:50:01 PM      0.80   2332.33
06:00:01 PM      0.80   2340.11
06:10:01 PM      0.91   2364.95
06:20:01 PM      0.80   2337.07
06:30:01 PM      0.81   2344.71
06:40:01 PM      0.82   2449.05
06:50:01 PM      0.82   2437.26
Average:         0.84   3448.76
...
Рейтинг: 0 / 0
20.11.2019, 18:54
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39891976
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
VGusev2007
это крайне хреновые цифры?
Эти цифры сами по себе ни о чем не говорят, как и все, что пытаешься предоставить. Начни с описания проблемы.
...
Рейтинг: 0 / 0
20.11.2019, 19:01
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892049
ivan78
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ivan78
Гость
VGusev2007,

Вывод команды free объясняется просто. Когда не используется huge pages, то Linux показывает shared memory именно в колонке cached. То есть cached=25Gb - это 24Gb SGA + 1Gb файлового кэша.

Почему все тормозит - тут гораздо сложнее. Если совсем нет квалификации ДБА, то я-бы посоветовал для начала освоить утилиту ASH Viewer. Для нее не нужен Diagnostic Pack.

https://github.com/akardapolov/ASH-Viewer
...
Рейтинг: 0 / 0
20.11.2019, 20:33
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892050
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надфиль
Гость
ivan78
Когда не используется huge pages, то Linux показывает shared memory именно в колонке cached. То есть cached=25Gb - это 24Gb SGA + 1Gb файлового кэша.

глупости.
никакой связи.
shared memory всегда в used
...
Рейтинг: 0 / 0
20.11.2019, 20:38
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892079
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
Надфиль
ivan78
Когда не используется huge pages, то Linux показывает shared memory именно в колонке cached. То есть cached=25Gb - это 24Gb SGA + 1Gb файлового кэша.

глупости.
никакой связи.
shared memory всегда в used

без huge pages shared memory в cached отображается
...
Рейтинг: 0 / 0
20.11.2019, 21:58
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892084
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надфиль
Гость
H5N1

без huge pages shared memory в cached отображается

как вы это определили?
верней, источник информации, где черным по белому написано что SGA отображается в cached при отсуствии huge pages?
...
Рейтинг: 0 / 0
20.11.2019, 22:13
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892097
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
Надфиль
H5N1

без huge pages shared memory в cached отображается

как вы это определили?
верней, источник информации, где черным по белому написано что SGA отображается в cached при отсуствии huge pages?

лет 20 назад поднял оракл на линуксе и увидел. но если так нужна справка ...
redhat Oracle uses SGA. Oracle SGA would keep all the shared memory in RAM, which will be unused by other applications. The SGA will be shown under "cached" in free output.
https://access.redhat.com/solutions/58689
...
Рейтинг: 0 / 0
20.11.2019, 22:49
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892103
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
-2-
VGusev2007
это крайне хреновые цифры?
Эти цифры сами по себе ни о чем не говорят, как и все, что пытаешься предоставить. Начни с описания проблемы.


"Проблема", это слово я беру в кавычки, так-как не понимаю, есть проблема или нет: у меня вся база 150гб. там много лет информации. Реально, пользователи, работают с данными, за последние три месяца (плюс есть всё же некоторые вещи, которые явно грузят базу - отчетность). Почему у меня за два часа вычитывается под 200гб, и цифры такие странные? Кеш oracle 20гб. Мне видится мало-реальным тот факт, что нужно вычитывать с диска так МНОГО данных... Я понимаю, что это нужно профилировать запросы и т.д. Но... Прямо странно. Спасибо!

Может всё и нормально, и я себя накручиваю... Но, я не понимаю, почему я увеличил кеш с 2 до 20 гб (а это, в десять раз, простите), а количество чтения с диска не уменьшилось... - Вот это главный мой вопрос, на самом деле. Я дал +20гб., а эффекта не увидел (от слова совсем).
...
Рейтинг: 0 / 0
20.11.2019, 23:21
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892104
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
H5N1
Надфиль
пропущено...

как вы это определили?
верней, источник информации, где черным по белому написано что SGA отображается в cached при отсуствии huge pages?

лет 20 назад поднял оракл на линуксе и увидел. но если так нужна справка ...
redhat Oracle uses SGA. Oracle SGA would keep all the shared memory in RAM, which will be unused by other applications. The SGA will be shown under "cached" in free output.

https://access.redhat.com/solutions/58689 Я снимаю три шляпы! Спасибо! Минус один мой вопрос!
...
Рейтинг: 0 / 0
20.11.2019, 23:22
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892107
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
VGusev2007

"Проблема", это слово я беру в кавычки, так-как не понимаю, есть проблема или нет: у меня вся база 150гб. там много лет информации. Реально, пользователи, работают с данными, за последние три месяца (плюс есть всё же некоторые вещи, которые явно грузят базу - отчетность). Почему у меня за два часа вычитывается под 200гб, и цифры такие странные? Кеш oracle 20гб. Мне видится мало-реальным тот факт, что нужно вычитывать с диска так МНОГО данных... Я понимаю, что это нужно профилировать запросы и т.д. Но... Прямо странно. Спасибо!

Может всё и нормально, и я себя накручиваю... Но, я не понимаю, почему я увеличил кеш с 2 до 20 гб (а это, в десять раз, простите), а количество чтения с диска не уменьшилось... - Вот это главный мой вопрос, на самом деле. Я дал +20гб., а эффекта не увидел (от слова совсем).

самое простое и видимо самое вероятное объяснение - дофига full scan в запросах. при full scan оракл применяет многоблочное чтение и читает мимо любых кешей. причем то что поднимает full scan с диска не оседает в буферном кеше.
открой уже EM (ентерпрайз менеджер) и все увидишь прямо на первой странице. где-то там же смотри топ запросов и их планы. там все на домохозяйку рассчитано, по моему даже советы сразу будут. и по памяти советы и по индексам.
...
Рейтинг: 0 / 0
20.11.2019, 23:33
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892110
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
Надфиль
как вы это определили?
free, startup, free

Надфиль
источник информации,
Где еще быть shared memory, если это по сути файлы в /dev/shm.
...
Рейтинг: 0 / 0
20.11.2019, 23:49
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892113
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
H5N1
VGusev2007

"Проблема", это слово я беру в кавычки, так-как не понимаю, есть проблема или нет: у меня вся база 150гб. там много лет информации. Реально, пользователи, работают с данными, за последние три месяца (плюс есть всё же некоторые вещи, которые явно грузят базу - отчетность). Почему у меня за два часа вычитывается под 200гб, и цифры такие странные? Кеш oracle 20гб. Мне видится мало-реальным тот факт, что нужно вычитывать с диска так МНОГО данных... Я понимаю, что это нужно профилировать запросы и т.д. Но... Прямо странно. Спасибо!

Может всё и нормально, и я себя накручиваю... Но, я не понимаю, почему я увеличил кеш с 2 до 20 гб (а это, в десять раз, простите), а количество чтения с диска не уменьшилось... - Вот это главный мой вопрос, на самом деле. Я дал +20гб., а эффекта не увидел (от слова совсем).

самое простое и видимо самое вероятное объяснение - дофига full scan в запросах. при full scan оракл применяет многоблочное чтение и читает мимо любых кешей. причем то что поднимает full scan с диска не оседает в буферном кеше.
открой уже EM (ентерпрайз менеджер) и все увидишь прямо на первой странице. где-то там же смотри топ запросов и их планы. там все на домохозяйку рассчитано, по моему даже советы сразу будут. и по памяти советы и по индексам.
Круто! А где и как взять этот самый менеджер? - Я пойду в гугл, полагаю, это то, что мне нужно. Похоже, мне следует снять ещё одну шляпу...
...
Рейтинг: 0 / 0
21.11.2019, 00:03
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892116
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
H5N1самое простое и видимо самое вероятное объяснение - дофига full scan в запросах. при full scan оракл применяет многоблочное чтение и читает мимо любых кешей. причем то что поднимает full scan с диска не оседает в буферном кеше.
открой уже EM (ентерпрайз менеджер) и все увидишь прямо на первой странице. где-то там же смотри топ запросов и их планы. там все на домохозяйку рассчитано, по моему даже советы сразу будут. и по памяти советы и по индексам.
Не сочтите, за дерзость... Объясните пож-та, как быть, если у меня он не установлен вместе с сервером? - Посмотрел файл potlist - пусто... Я могу поставить его отдельно, прицепиться, посмотреть да выключить? - Позволяет ли мне это делать моя лицензия, или нет - не знаю... У меня версия Enterprise Oracle. Буду весьма рад ответу!
...
Рейтинг: 0 / 0
21.11.2019, 00:21
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892119
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
VGusev2007

Не сочтите, за дерзость... Объясните пож-та, как быть, если у меня он не установлен вместе с сервером? - Посмотрел файл potlist - пусто... Я могу поставить его отдельно, прицепиться, посмотреть да выключить? - Позволяет ли мне это делать моя лицензия, или нет - не знаю... У меня версия Enterprise Oracle. Буду весьма рад ответу!

установлен, можно пользовать
https://docs.oracle.com/cd/B16254_01/doc/server.102/b14196/em_manage002.htm
...
Рейтинг: 0 / 0
21.11.2019, 00:35
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892123
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
H5N1
VGusev2007

Не сочтите, за дерзость... Объясните пож-та, как быть, если у меня он не установлен вместе с сервером? - Посмотрел файл potlist - пусто... Я могу поставить его отдельно, прицепиться, посмотреть да выключить? - Позволяет ли мне это делать моя лицензия, или нет - не знаю... У меня версия Enterprise Oracle. Буду весьма рад ответу!

установлен, можно пользовать
https://docs.oracle.com/cd/B16254_01/doc/server.102/b14196/em_manage002.htm


Ваши ответы - просто пушка!

Код: plsql
1.
2.
3.
tst:oratst 57> set ORACLE_UNQNAME="tttttttt"
tst:oratst 58> ./emctl start dbconsole
Environment variable ORACLE_UNQNAME not defined. Please set ORACLE_UNQNAME to database unique name.



Пока не понял что ему надо ещё. Завтра буду разбираться, с ног валюсь уже. Спасибо за помощь! Надеюсь, я смогу уже посмотреть что там за запросы..! :)
...
Рейтинг: 0 / 0
21.11.2019, 01:04
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892142
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
VGusev2007
не понял
Без знаний юникса и оракла форумными советами вымощена дорога в ад.
...
Рейтинг: 0 / 0
21.11.2019, 07:07
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892155
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надфиль
Гость
H5N1

https://access.redhat.com/solutions/58689

круто, спасибо. еще один повод перейти на hugepages
у топиккастера тогда еще и памяти не хватает?
порезать нужно sga гигабайт на 5.
...
Рейтинг: 0 / 0
21.11.2019, 07:59
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892156
Фотография Elic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Elic
Участник
VGusev2007
Ваши ответы - просто пушка!
Чудак, когда ты поймёшь, что самоубийственная, мы тебя тут уже перестанем наблюдать. А ты погибнешь недо-кем-то.
...
Рейтинг: 0 / 0
21.11.2019, 08:00
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892174
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
VGusev2007


Код: plsql
1.
2.
3.
tst:oratst 57> set ORACLE_UNQNAME="tttttttt"
tst:oratst 58> ./emctl start dbconsole
Environment variable ORACLE_UNQNAME not defined. Please set ORACLE_UNQNAME to database unique name.



Пока не понял что ему надо ещё. Завтра буду разбираться, с ног валюсь уже. Спасибо за помощь! Надеюсь, я смогу уже посмотреть что там за запросы..! :)

export а не set и кавычки уберай
...
Рейтинг: 0 / 0
21.11.2019, 08:54
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892180
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
Elic
VGusev2007
Ваши ответы - просто пушка!
Чудак, когда ты поймёшь, что самоубийственная, мы тебя тут уже перестанем наблюдать. А ты погибнешь недо-кем-то.
Да тут половина гуру oracle, не знали как кеш oracle отображается в утилите free. Только вот один человек пока весьма интересные ответы даёт (с пруфом). :)
...
Рейтинг: 0 / 0
21.11.2019, 09:28
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892185
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надфиль
Гость
VGusev2007
Да тут половина гуру oracle, не знали как кеш oracle отображается в утилите free.

ибо 100 лет как не осталось идиотов, которые не используют Hugepages.
мне обычно достаточно команды
cat /proc/meminfo
и более менее понятно
PageTables сколько у тебя к примеру?
...
Рейтинг: 0 / 0
21.11.2019, 09:37
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892188
landy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
landy
Участник
И сюда добрался
начало тут - https://www.linux.org.ru/forum/admin/15359289
...
Рейтинг: 0 / 0
21.11.2019, 09:40
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892190
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
H5N1

Пока не понял что ему надо ещё. Завтра буду разбираться, с ног валюсь уже. Спасибо за помощь! Надеюсь, я смогу уже посмотреть что там за запросы..! :)
export а не set и кавычки уберай


Переменную добавил,
Код: plsql
1.
2.
3.
4.
5.
echo $SHELL
/bin/csh
setenv ORACLE_UNQNAME TST
./emctl start dbconsole
OC4J Configuration issue. /oracle/TST/11204/oc4j/j2ee/OC4J_DBConsole_tst.FQDN_TST not found.



TST - подставляется из переменной.
FQDN - имя хоста.

Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
ls /oracle/TST/11204/oc4j/j2ee/OC4J_DBConsole/ -la
total 24
drwxr-x--- 6 oratst dba 4096 Sep 13  2016 .
drwxr-xr-x 8 oratst dba 4096 Sep 13  2016 ..
drwxr-xr-x 3 oratst dba 4096 Sep 13  2016 application-deployments
drwxr-xr-x 3 oratst dba 4096 Sep 13  2016 config
drwxr-xr-x 4 oratst dba 4096 Sep 13  2016 connectors
drwxr-xr-x 2 oratst dba 4096 Sep 13  2016 META-INF



Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
ls /oracle/TST/11204/oc4j/j2ee/ -la
total 36
drwxr-xr-x  8 oratst dba 4096 Sep 13  2016 .
drwxr-xr-x 20 oratst dba 4096 Sep 13  2016 ..
-rw-r--r--  1 oratst dba  940 Sep 13  2016 deploy_db_wf.ini
drwxr-xr-x 14 oratst dba 4096 Sep 13  2016 home
drwxr-xr-x  3 oratst dba 4096 Sep 13  2016 oc4j_applications
drwxr-x---  6 oratst dba 4096 Sep 13  2016 OC4J_DBConsole
drwxr-xr-x  5 oratst dba 4096 Sep 13  2016 OC4J_Workflow_Component_Container
drwxr-xr-x  5 oratst dba 4096 Sep 13  2016 OC4J_Workflow_Management_Container
drwxr-xr-x  2 oratst dba 4096 Sep 13  2016 utilities



Буду признателен, если подскажете, как запустить эту штуку
Что должно быть в переменной: ORACLE_UNQNAME? Я пробовал задать SID от Oracle. Но, так или иначе, там вообще никаких конфигов не видать...
...
Рейтинг: 0 / 0
21.11.2019, 09:42
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892193
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
VGusev2007
H5N1

Пока не понял что ему надо ещё. Завтра буду разбираться, с ног валюсь уже. Спасибо за помощь! Надеюсь, я смогу уже посмотреть что там за запросы..! :)
export а не set и кавычки уберай


Переменную добавил,
Код: plsql
1.
2.
3.
4.
5.
echo $SHELL
/bin/csh
setenv ORACLE_UNQNAME TST
./emctl start dbconsole
OC4J Configuration issue. /oracle/TST/11204/oc4j/j2ee/OC4J_DBConsole_tst.FQDN_TST not found.



TST - подставляется из переменной.
FQDN - имя хоста.

Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
ls /oracle/TST/11204/oc4j/j2ee/OC4J_DBConsole/ -la
total 24
drwxr-x--- 6 oratst dba 4096 Sep 13  2016 .
drwxr-xr-x 8 oratst dba 4096 Sep 13  2016 ..
drwxr-xr-x 3 oratst dba 4096 Sep 13  2016 application-deployments
drwxr-xr-x 3 oratst dba 4096 Sep 13  2016 config
drwxr-xr-x 4 oratst dba 4096 Sep 13  2016 connectors
drwxr-xr-x 2 oratst dba 4096 Sep 13  2016 META-INF



Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
ls /oracle/TST/11204/oc4j/j2ee/ -la
total 36
drwxr-xr-x  8 oratst dba 4096 Sep 13  2016 .
drwxr-xr-x 20 oratst dba 4096 Sep 13  2016 ..
-rw-r--r--  1 oratst dba  940 Sep 13  2016 deploy_db_wf.ini
drwxr-xr-x 14 oratst dba 4096 Sep 13  2016 home
drwxr-xr-x  3 oratst dba 4096 Sep 13  2016 oc4j_applications
drwxr-x---  6 oratst dba 4096 Sep 13  2016 OC4J_DBConsole
drwxr-xr-x  5 oratst dba 4096 Sep 13  2016 OC4J_Workflow_Component_Container
drwxr-xr-x  5 oratst dba 4096 Sep 13  2016 OC4J_Workflow_Management_Container
drwxr-xr-x  2 oratst dba 4096 Sep 13  2016 utilities



Буду признателен, если подскажете, как запустить эту штуку
Что должно быть в переменной: ORACLE_UNQNAME? Я пробовал задать SID от Oracle. Но, так или иначе, там вообще никаких конфигов не видать...



Попробую запустить emca
...
Рейтинг: 0 / 0
21.11.2019, 09:49
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892205
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
VGusev2007,

Ну тогда пробуй пересоздать

emca -deconfig dbcontrol db
emca -config dbcontrol db -repos recreate


https://gerardnico.com/db/oracle/oracledb_emca_how_to_reconfigure
...
Рейтинг: 0 / 0
21.11.2019, 10:15
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892287
Фотография Vadim Lejnin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vadim Lejnin
Участник
Нужно учитывать, что когда первый раз подключаешься к dbconsole или oms
Вам предупреждают о том, что некоторе функции требуют diagnostic или tuning pack

:)
...
Рейтинг: 0 / 0
21.11.2019, 12:51
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892690
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
H5N1
VGusev2007,

Ну тогда пробуй пересоздать

emca -deconfig dbcontrol db
emca -config dbcontrol db -repos recreate


https://gerardnico.com/db/oracle/oracledb_emca_how_to_reconfigure

Пока не получилось. Сейчас смотрю статистику по чтению, буду дергать программистов на предмет, логирования, чтобы они сказали, что конкретно они вычитывают. Не получилось так-как не проходит аутотентификация... Надо вкуривать в oracle. Если ничего не поможет, буду обращаться к вендору ПО. Если буду жёстко упираться во что-то - отпишусь сюда. Спасибо!

Построил примитивные графики чтения, увидел, что, собственно, есть пики чтения. Значит надо их соотнести с активностью пользователей и т.д.

Огромное спасибо за помощь! Без Вас я бы много чего не узнал!
...
Рейтинг: 0 / 0
22.11.2019, 09:56
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39892723
SQL*Plus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL*Plus
Участник
Vadim Lejnin
Нужно учитывать, что когда первый раз подключаешься к dbconsole или oms
Вам предупреждают о том, что некоторые функции требуют diagnostic или tuning pack

:)

SQL*Plus
Не подставь свою контору под лицензионное нарушение использования Diagnostics Pack.
Чтобы уберечься от таких нарушений, установите параметр:
Код: plsql
1.
CONTROL_MANAGEMENT_PACK_ACCESS = NONE

...
Рейтинг: 0 / 0
22.11.2019, 10:35
| Ответить | Цитировать | Написать  
Не понимаю почему память в операционной системе свободна
    #39893886
VGusev2007
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VGusev2007
Гость
SQL*Plus, спасибо огромное за дельный совет!
...
Рейтинг: 0 / 0
25.11.2019, 12:55
| Ответить | Цитировать | Написать  
81 сообщений из 81, показаны все 4 страниц
  все  
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Не понимаю почему память в операционной системе свободна
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=52&tid=1881824]:
 0ms
get settings:
 10ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 68ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 121ms
get tp. blocked users:
 2ms
others: 283ms
total:  522ms
созд. / загр.: 522ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]