|
|
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
mihail_13, не вижу в цитате данных показывающих, что mysql действительно нужно держать открытыми все эти файлы одновременно. то, что кеш дескрипторов легко заполняется - это очевидно. авторВзять админа, взять еще десяток-другой компьютеров каждый со своим 400Mbit каналом в интернет - это все конечно хорошо, но пока в мечтах лишь добавить один жесткий диск в этот компьютер. так уже два года скоро как вы с этим мучаетесь с одной небольшой проблемкой настройки. напомнить ? http://www.sql.ru/forum/990911/otkrytye-tablicy?hl= Я не пойму, почему просто не попробовать решить проблему с mysqldump ? Даже если я и не прав. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 12:32:17 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
Да, но с тех пор многое изменилось. И памяти стало побольше и приложение одно на Си, а не 64 на php. Тогда до 64 потоков я так и не дошел, а сейчас 300 и вероятно будет 600. База организованна совершенно подругому, многие данные стали храниться не в базе, да и количество таблиц возрасло в сотни раз. Тогда проблема временно решилась, сейчас она тоже временно решена, но завершение (если не придется полностью отказаться от mysql) уже близко и нужно окончательное решение. то, что кеш дескрипторов легко заполняется - это очевидно. А вот об этом, и главное как это лечится, пожалуйста поподробнее. (для меня совершенно очевидно, что эта проблема должна решаться mysql, а не администратором или пользователем, хотя зделано наоборот). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 14:41:48 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
[quot netwind] Давайте вы без этой программы, которая как-то странно работает с многопоточными приложениями, просто в /proc/ид_процесса_mysql/fd покопаетесь. quot] Вам нужен список из десятков тысяч файлов в этой дирректории? Мне уже рассказали как пользоваться lsof, чтобы видеть только то что действительно было открыто и я вижу что файлы индексов всех таблиц (который кто-то открывал) открыты по одному разу, а файлы данных по стольку раз из скольких соединений к ним были запросы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 15:29:15 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
mihail_13netwindДавайте вы без этой программы, которая как-то странно работает с многопоточными приложениями, просто в /proc/ид_процесса_mysql/fd покопаетесь. Вам нужен список из десятков тысяч файлов в этой дирректории? нет, мне нужно было подтверждение в произвольной форме, но я уже сам убедился что действительно там могут несколько раз открываться одни и те же файлы. Это никак не отменяет вышенаписанного. Вам не нужно бороться с этим процессом. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 15:44:38 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
Как это не нужно?! У меня более 4000 файлов погут быть открыты 300 раз. Это потребует 1200000 дескрипторов, а в настроках максимум почти меньше этого. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 17:20:27 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
mihail_13, ну подумайте сами как работает КЕШ : N Гб памяти заполняется на 100%, но ведь все равно все работает. Поскольку и у вас речь идет о КЕШЕ файловых дескрипторов, для нормальной работы достаточно некое адекватное число этих дескрипторов чтобы все одновременно работающие запросы могли работать. И, скорее всего, это число у вас явно меньше чем то критическое, которое уже не даст открыть ОС. Все нормально. А вот по какой причине при запуске mysqldump реально необходимых дескрипторов не хватает - с этим предстоит разобраться. Может быть даже все как задумано нормально работает, но замедление работы вызывает превышение. Запостите вообще вывод pt-summary, pt-mysql-summary, конфигурацию mysql отдельно, да вообще все что поможет телепатии. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 18:27:32 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
netwindА вот по какой причине при запуске mysqldump реально необходимых дескрипторов не хватает - с этим предстоит разобраться. А что тут разбираться то? Как только mysql пытается открыть 65536-ой дескриптор, он возвращает "File not found". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 19:07:19 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
mihail_13, приведенные выше программы собирают больше информации о сервере чем вы способны сообщить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 20:48:38 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
netwindя уже сам убедился что действительно там могут несколько раз открываться одни и те же файлы. Под какой версией mysql? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 21:53:32 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
mihail_13, максимально близко к вашему случаю - выбрал реальную конфигурацию mysql 5.0 с завышенным table_cache и убедился. вы вообще проблему собираетесь решать или потрындеть ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 23:16:22 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
Михаил -- попробуйте уменьшить табле_каше. Дело в том что про табле каше сказано что по достожению лимита старые рекорды сбрасываются. А вот если если переполноится опен_файл_дескриптор, то да вылетает файл-нот-фаунд. Если вы читаете на инострано, языке, посмотриоте здесь советы по оптимизации. Это хотя и не mysql но многие советы в тему, типа отключения диск райт каше, использование noatime другие разности. http://wiki.zimbra.com/wiki/Performance_Tuning_Guidelines_for_Large_Deployments (доктор, а поможет? ну, наверно, не помешает!) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.11.2013, 23:24:22 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
netwind, Вы критиковали меня за 5.0, если Вы тестировали не под ним значит переход на другие версии мне не поможет. Проблему можно решить либо найдя способ увеличить ограничение количества дескрипторов (возможно опять временное решение), либо перейдя на другую версию mysql (если это проблема версии), либо отказавшись от mysql (самый трудоемкий вариант). Ни одному из этих вариантов исследование системы не поможет. (а названных Вами программ у меня нет) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 00:29:39 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
javajdbc, Уменьшать придется до примерно 200, а у меня больше 4000 таблиц к которым постоянно идут запросы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 00:32:30 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
javajdbcМихаил -- попробуйте уменьшить табле_каше.Присоединяюсь с уточнением, оно называется table_open_cache . ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 00:36:03 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
mihail_13javajdbc, Уменьшать придется до примерно 200, а у меня больше 4000 таблиц к которым постоянно идут запросы.Но нет таких запросов, где количество используемых таблиц настолько велико? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 00:36:45 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
javajdbc, На английском читаю гуглом, но после его перевода понять что-то еще труднее чем до. Там большой текст - без шансов. noatime и другие настройки файловой системы сделаны. На отключении файлового кеша врятли что-то выиграю - очень много запросов в разные места диска - кеш как раз спасает от еще большего дерганья головок. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 00:40:00 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
mihail_13а названных Вами программ у меня нет гуглятся на раз. но раз у вас плохо с английским дам алгоритм : wget http://percona.com/get/pt-summary chmod +x pt-summary ./pt-summary и весь ВЫВОД ПРОГРАММЫ вставляете на форум. Там нет паролей и какого-то компромата. та же история с pt-mysql-summary, но ей нужны данные root, чтобы подключиться к mysql и собрать статистику wget http://percona.com/get/pt-mysql-summary chmod +x pt-summary ./pt-mysql-summary -- --user=root --password=password Единственный момент, когда она спрашивает Would you like to mysqldump -d the schema and analyze it? , вам лично нужно выбрать N, потому что в вашем случае получится очередное зависание. Так же эта программа напечатает еще и конфиг mysql, удалив все комментарии. Этот способ удобен и снимает почти ВСЕ дополнительные вопросы касающиеся конфигурации сервера. дополнительно покажите еще ulimit -a и pstree (это текстово-плотный вариант ps). Хотелось бы понять что же там у вас за лимиты. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 01:17:27 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
mihail_13netwind, Вы критиковали меня за 5.0, если Вы тестировали не под ним значит переход на другие версии мне не поможет. Я критиковал за то, что вы вроде и взялись обновлять 5.0, но обновили не до последней в линейке 5.0. Сейчас эта версия с номером 5.0.96 . Но, пожалуй, этот момент не очень важен. Проблему можно решить либо найдя способ увеличить ограничение количества дескрипторов (возможно опять временное решение), либо перейдя на другую версию mysql (если это проблема версии), либо отказавшись от mysql (самый трудоемкий вариант). Еще вариант - перестать думать что вам действительно нужен большой кеш дескрипторов. Я уверен, что не нужен. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 01:24:19 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
miksoftmihail_13javajdbc, Уменьшать придется до примерно 200, а у меня больше 4000 таблиц к которым постоянно идут запросы.Но нет таких запросов, где количество используемых таблиц настолько велико? Я же не говорил, что они в одном запросе, к каждой свой запрос, просто запросов много. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 11:10:02 |
|
||
|
Многократно открытые библиотеки
|
|||
|---|---|---|---|
|
#18+
mihail_13miksoftпропущено... Но нет таких запросов, где количество используемых таблиц настолько велико? Я же не говорил, что они в одном запросе, к каждой свой запрос, просто запросов много.Тогда не вижу ничего особенно страшного в уменьшении table_open_cache. Да, быстродействие чуть снизится за счет повторного открытия файлов. Но это лучше, чем полная остановка. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.11.2013, 11:11:46 |
|
||
|
|

start [/forum/topic.php?fid=47&msg=38452401&tid=1835787]: |
0ms |
get settings: |
7ms |
get forum list: |
19ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
43ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
77ms |
get tp. blocked users: |
2ms |
| others: | 238ms |
| total: | 406ms |

| 0 / 0 |
