powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Многократно открытые библиотеки
20 сообщений из 45, страница 2 из 2
Многократно открытые библиотеки
    #38451691
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mihail_13, не вижу в цитате данных показывающих, что mysql действительно нужно держать открытыми все эти файлы одновременно.
то, что кеш дескрипторов легко заполняется - это очевидно.

авторВзять админа, взять еще десяток-другой компьютеров каждый со своим 400Mbit каналом в интернет - это все конечно хорошо, но пока в мечтах лишь добавить один жесткий диск в этот компьютер.
так уже два года скоро как вы с этим мучаетесь с одной небольшой проблемкой настройки. напомнить ? http://www.sql.ru/forum/990911/otkrytye-tablicy?hl=

Я не пойму, почему просто не попробовать решить проблему с mysqldump ? Даже если я и не прав.
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38451855
mihail_13
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Да, но с тех пор многое изменилось. И памяти стало побольше и приложение одно на Си, а не 64 на php.
Тогда до 64 потоков я так и не дошел, а сейчас 300 и вероятно будет 600. База организованна совершенно подругому, многие данные стали храниться не в базе, да и количество таблиц возрасло в сотни раз. Тогда проблема временно решилась, сейчас она тоже временно решена, но завершение (если не придется полностью отказаться от mysql) уже близко и нужно окончательное решение.

то, что кеш дескрипторов легко заполняется - это очевидно.
А вот об этом, и главное как это лечится, пожалуйста поподробнее. (для меня совершенно очевидно, что эта проблема должна решаться mysql, а не администратором или пользователем, хотя зделано наоборот).
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38451947
mihail_13
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
[quot netwind]
Давайте вы без этой программы, которая как-то странно работает с многопоточными приложениями, просто в /proc/ид_процесса_mysql/fd покопаетесь.
quot]
Вам нужен список из десятков тысяч файлов в этой дирректории?
Мне уже рассказали как пользоваться lsof, чтобы видеть только то что действительно было открыто и я вижу что файлы индексов всех таблиц (который кто-то открывал) открыты по одному разу, а файлы данных по стольку раз из скольких соединений к ним были запросы.
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38451966
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mihail_13netwindДавайте вы без этой программы, которая как-то странно работает с многопоточными приложениями, просто в /proc/ид_процесса_mysql/fd покопаетесь.

Вам нужен список из десятков тысяч файлов в этой дирректории?

нет, мне нужно было подтверждение в произвольной форме, но я уже сам убедился что действительно там могут несколько раз открываться одни и те же файлы.

Это никак не отменяет вышенаписанного. Вам не нужно бороться с этим процессом.
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38452057
mihail_13
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Как это не нужно?! У меня более 4000 файлов погут быть открыты 300 раз. Это потребует 1200000 дескрипторов, а в настроках максимум почти меньше этого.
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38452136
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mihail_13, ну подумайте сами как работает КЕШ : N Гб памяти заполняется на 100%, но ведь все равно все работает.

Поскольку и у вас речь идет о КЕШЕ файловых дескрипторов, для нормальной работы достаточно некое адекватное число этих дескрипторов чтобы все одновременно работающие запросы могли работать. И, скорее всего, это число у вас явно меньше чем то критическое, которое уже не даст открыть ОС. Все нормально.

А вот по какой причине при запуске mysqldump реально необходимых дескрипторов не хватает - с этим предстоит разобраться.
Может быть даже все как задумано нормально работает, но замедление работы вызывает превышение.

Запостите вообще вывод pt-summary, pt-mysql-summary, конфигурацию mysql отдельно, да вообще все что поможет телепатии.
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38452174
mihail_13
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
netwindА вот по какой причине при запуске mysqldump реально необходимых дескрипторов не хватает - с этим предстоит разобраться.

А что тут разбираться то? Как только mysql пытается открыть 65536-ой дескриптор, он возвращает "File not found".
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38452278
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mihail_13, приведенные выше программы собирают больше информации о сервере чем вы способны сообщить.
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38452311
mihail_13
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
netwindя уже сам убедился что действительно там могут несколько раз открываться одни и те же файлы.
Под какой версией mysql?
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38452341
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mihail_13, максимально близко к вашему случаю - выбрал реальную конфигурацию mysql 5.0 с завышенным table_cache и убедился.
вы вообще проблему собираетесь решать или потрындеть ?
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38452348
Фотография javajdbc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Михаил -- попробуйте уменьшить табле_каше.
Дело в том что про табле каше сказано что по достожению
лимита старые рекорды сбрасываются.

А вот если если переполноится опен_файл_дескриптор, то да
вылетает файл-нот-фаунд.

Если вы читаете на инострано, языке, посмотриоте здесь
советы по оптимизации. Это хотя и не mysql но
многие советы в тему, типа отключения диск райт каше,
использование noatime другие разности.
http://wiki.zimbra.com/wiki/Performance_Tuning_Guidelines_for_Large_Deployments


(доктор, а поможет? ну, наверно, не помешает!)
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38452399
mihail_13
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
netwind,

Вы критиковали меня за 5.0, если Вы тестировали не под ним значит переход на другие версии мне не поможет.

Проблему можно решить либо найдя способ увеличить ограничение количества дескрипторов (возможно опять временное решение), либо перейдя на другую версию mysql (если это проблема версии), либо отказавшись от mysql (самый трудоемкий вариант). Ни одному из этих вариантов исследование системы не поможет. (а названных Вами программ у меня нет)
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38452401
mihail_13
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
javajdbc,

Уменьшать придется до примерно 200, а у меня больше 4000 таблиц к которым постоянно идут запросы.
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38452404
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
javajdbcМихаил -- попробуйте уменьшить табле_каше.Присоединяюсь с уточнением, оно называется table_open_cache .
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38452405
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mihail_13javajdbc,

Уменьшать придется до примерно 200, а у меня больше 4000 таблиц к которым постоянно идут запросы.Но нет таких запросов, где количество используемых таблиц настолько велико?
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38452408
mihail_13
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
javajdbc,

На английском читаю гуглом, но после его перевода понять что-то еще труднее чем до. Там большой текст - без шансов. noatime и другие настройки файловой системы сделаны. На отключении файлового кеша врятли что-то выиграю - очень много запросов в разные места диска - кеш как раз спасает от еще большего дерганья головок.
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38452433
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mihail_13а названных Вами программ у меня нет
гуглятся на раз. но раз у вас плохо с английским дам алгоритм :
wget http://percona.com/get/pt-summary
chmod +x pt-summary
./pt-summary
и весь ВЫВОД ПРОГРАММЫ вставляете на форум. Там нет паролей и какого-то компромата.


та же история с pt-mysql-summary, но ей нужны данные root, чтобы подключиться к mysql и собрать статистику
wget http://percona.com/get/pt-mysql-summary
chmod +x pt-summary
./pt-mysql-summary -- --user=root --password=password

Единственный момент, когда она спрашивает Would you like to mysqldump -d the schema and analyze it? , вам лично нужно выбрать N, потому что в вашем случае получится очередное зависание.
Так же эта программа напечатает еще и конфиг mysql, удалив все комментарии.

Этот способ удобен и снимает почти ВСЕ дополнительные вопросы касающиеся конфигурации сервера.


дополнительно покажите еще ulimit -a и pstree (это текстово-плотный вариант ps). Хотелось бы понять что же там у вас за лимиты.
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38452438
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mihail_13netwind,

Вы критиковали меня за 5.0, если Вы тестировали не под ним значит переход на другие версии мне не поможет.

Я критиковал за то, что вы вроде и взялись обновлять 5.0, но обновили не до последней в линейке 5.0. Сейчас эта версия с номером 5.0.96 . Но, пожалуй, этот момент не очень важен.
Проблему можно решить либо найдя способ увеличить ограничение количества дескрипторов (возможно опять временное решение), либо перейдя на другую версию mysql (если это проблема версии), либо отказавшись от mysql (самый трудоемкий вариант).

Еще вариант - перестать думать что вам действительно нужен большой кеш дескрипторов. Я уверен, что не нужен.
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38452659
mihail_13
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
miksoftmihail_13javajdbc,

Уменьшать придется до примерно 200, а у меня больше 4000 таблиц к которым постоянно идут запросы.Но нет таких запросов, где количество используемых таблиц настолько велико?
Я же не говорил, что они в одном запросе, к каждой свой запрос, просто запросов много.
...
Рейтинг: 0 / 0
Многократно открытые библиотеки
    #38452662
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mihail_13miksoftпропущено...
Но нет таких запросов, где количество используемых таблиц настолько велико?
Я же не говорил, что они в одном запросе, к каждой свой запрос, просто запросов много.Тогда не вижу ничего особенно страшного в уменьшении table_open_cache.
Да, быстродействие чуть снизится за счет повторного открытия файлов. Но это лучше, чем полная остановка.
...
Рейтинг: 0 / 0
20 сообщений из 45, страница 2 из 2
Форумы / MySQL [игнор отключен] [закрыт для гостей] / Многократно открытые библиотеки
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]